JP2020060824A - 画像処理装置、画像処理システム、画像処理方法、及び、画像処理プログラム - Google Patents

Abstract

【課題】劣化画像から鮮明化画像を生成する際の処理負荷を低減することのできる画像処理装置、画像処理システム、画像処理方法、及び、画像処理プログラムを提供する。【解決手段】画像処理装置１１０は、劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定部１２３と、エリア設定部１２３により設定された鮮明化エリアに対応する属性情報に基づいて学習モデル１３１を特定し、特定した学習モデル１３１を適用することにより鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化部１２４とを備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及び、画像処理プログラムに関する。

近年、劣化画像から鮮明化画像を生成する技術が提案されている。例えば特許文献１に記載の装置では、複数の文字の特徴パターンを複数にクラス分けすることで生成された各クラスの代表パターンを予め記憶する。そして、劣化画像の特徴パターンと各クラスの代表パターンとの類似度を評価し、類似度が最大となるクラスに含まれる特徴パターンを評価の対象とする。また、評価の対象となるグループに含まれる特徴パターンと劣化画像の特徴パターンとの類似度を評価し、類似度が最大となる特徴パターンを特定する。そして、こうして特定した特徴パターンに基づいて、劣化画像で失われている細部の情報までを復元するように鮮明化画像を生成し、文字認識を高精度に行うようにしている。

特開２００８−２５１０２９号公報

しかしながら、上記文献に記載の装置では、例えばナンバープレートの画像における一部の画像領域から地名等を認識する場合であっても、劣化画像の全体を鮮明化の対象としているため、処理負荷が増大してしまうという問題があった。

本発明は、このような実情に鑑みてなされたものであり、その目的は、劣化画像から鮮明化画像を生成する際の処理負荷を低減することのできる画像処理装置、画像処理システム、画像処理方法、及び、画像処理プログラムを提供することにある。

上記課題を解決する画像処理装置は、劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定部と、前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化部とを備える。

上記課題を解決する画像処理方法は、劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定処理と、前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化処理とを含む。

上記課題を解決する画像処理プログラムは、コンピュータに、劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定処理と、前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化処理とを実行させる。

上記構成によれば、劣化画像に設定した鮮明化エリアを鮮明化の対象とするため、劣化画像の全体を鮮明化の対象とする場合と比較して、劣化画像から鮮明化画像を生成する際の処理負荷を低減することができる。また、鮮明化エリアに対応する鮮明化方式を用いるため、鮮明化画像を好適に生成することができる。

上記画像処理装置において、前記属性情報は、前記鮮明化エリアの属性を含むことが好ましい。

上記構成によれば、鮮明化エリアに含まれる対象領域を好適に鮮明化することができる。

上記画像処理装置において、前記属性情報は、前記劣化画像における前記鮮明化エリアの位置情報を含むことが好ましい。

上記構成によれば、劣化画像における所定の位置に含まれる対象領域を好適に鮮明化することができる。

上記画像処理装置において、前記エリア設定部は、所定の画素単位で前記鮮明化エリアを調節可能であることが好ましい。

上記構成によれば、鮮明化エリアを細かく調節しつつ、鮮明化画像を生成することができる。

上記画像処理装置において、前記劣化画像および前記鮮明化エリアに対応付けて前記鮮明化画像の表示制御を行う表示制御部をさらに備えることが好ましい。

上記構成によれば、鮮明化エリアに対応付けて鮮明化画像が把握しやすくなる。

上記画像処理装置において、前記表示制御部は、第１の鮮明化エリアを鮮明化した第１の鮮明化画像と、第２の鮮明化エリアを鮮明化した第２の鮮明化画像とを並列して表示することが好ましい。

上記構成によれば、複数の鮮明化エリアに対応する鮮明化画像を把握しやすくなる。

上記画像処理装置において、前記第２の鮮明化エリアは、前記第１の鮮明化エリアに基づき設定されたエリアであることが好ましい。

上記構成によれば、調節前後の鮮明化エリアに対応する鮮明化画像を把握しやすくなる。

上記画像処理装置において、前記表示制御部は、前記画像鮮明化部により前記属性情報に基づいて特定される鮮明化方式が複数であるとき、複数の鮮明化方式の中から少なくとも１つの鮮明化方式の選択を受け付け、受け付けた鮮明化方式に対応する鮮明化画像を表示することが好ましい。

上記構成によれば、鮮明化エリアに対応する属性情報に基づいて複数の鮮明化方式が特定される場合であっても、ユーザの意図に合致した鮮明化方式に対応する鮮明化画像を把握しやすくなる。

上記画像処理装置において、前記表示制御部は、鮮明化の対象となるエリアを指定するための基準画像を表示制御し、前記エリア設定部は、前記基準画像における鮮明化の対象となるエリアを指定し、指定したエリアに基づいて前記鮮明化エリアを設定することが好ましい。

上記構成によれば、基準画像における鮮明化の対象となるエリアを指定することにより鮮明化エリアが設定されるため、鮮明化エリアを設定する際の操作性を向上することができる。

上記画像処理装置において、前記画像鮮明化部は、前記属性情報に基づいて特定する鮮明化方式が複数であるとき、複数の鮮明化方式の中から少なくとも１つの鮮明化方式の選択を受け付け、受け付けた鮮明化方式を用いて鮮明化画像を生成することが好ましい。

上記構成によれば、鮮明化エリアに対応する属性情報に基づいて複数の鮮明化方式が特定される場合であっても、それらの鮮明化方式の中から選択された鮮明化方式を用いて鮮明化画像が生成されるため、鮮明化画像の生成に要する処理負荷をより一層低減することができる。

上記画像処理装置において、前記エリア設定部は、前記劣化画像に対して鮮明化の対象としない非対象エリアを設定し、前記画像鮮明化部は、前記鮮明化エリアと前記非対象エリアとが重複する領域を、鮮明化の対象から除外して前記鮮明化画像を生成することが好ましい。

上記構成によれば、非対象エリアの設定を通じて鮮明化の対象となるエリアが制限されるため、鮮明化画像の生成に要する処理負荷を低減することができる。

上記画像処理装置において、前記劣化画像は、ナンバープレートの画像であることが好ましい。

上記構成によれば、ナンバープレートの画像を鮮明化した鮮明化画像を好適に生成することができる。

上記課題を解決する画像処理システムは、上記構成の画像処理装置と、前記画像処理装置により生成される鮮明化画像を表示する表示部とを備える。

上記構成によれば、劣化画像から生成された鮮明化画像をユーザに提示することができる。

画像処理システムの第１の実施の形態の概略構成を示すブロック図。 劣化画像を鮮明化するときの処理の流れを説明するための模式図。 鮮明化画像の信頼度を評価するときの処理の流れを説明するための模式図。 鮮明化エリアの設定画面の一例を示す模式図。 鮮明化画像の出力画面の一例を示す模式図。 鮮明化画像の生成処理の処理内容を示すフローチャート。 鮮明化エリアの設定画面の一例を示す模式図。 鮮明化画像の出力画面の一例を示す模式図。 鮮明化画像の生成処理の処理内容を示すフローチャート。

（第１の実施の形態）
以下、画像処理システムの第１の実施の形態について図面を参照して説明する。

本実施の形態の画像処理システムは、屋外に設置されたカメラの撮影画像から、道路を走行している車両のナンバープレートの画像を取得する。ナンバープレートの画像はブレなどにより画質が劣化していることが多いため、こうした劣化画像を鮮明化した鮮明化画像を生成する。鮮明化画像の生成過程では、学習モデルを画像鮮明化部に適用した上で、劣化画像の画像情報を画像鮮明化部に入力し、画像鮮明化部から出力された画像情報を鮮明化画像として取得する。学習モデルは、クラス毎に設定される。クラスとは、文字、数字、記号等を含む。本実施の形態では、クラスは、鮮明化の対象となるナンバープレートの地名を含み、学習モデルは、ナンバープレートの地名毎（例えば、「品川」、「横浜」等）に設定される。また、劣化画像の画像情報は、鮮明化の対象となる地名毎に設定された複数の学習モデルが適用された画像鮮明化部に入力される。また、各々の学習モデルが適用された画像鮮明化部から出力された画像情報を鮮明化の対象に個別に対応する複数の鮮明化画像として取得する。また、劣化画像から生成された複数の鮮明化画像をユーザに表示する。そして、ユーザは、表示された複数の鮮明化画像を視認することにより、ナンバープレートの劣化画像に含まれる地名を判別する。

図１に示すように、画像処理システム１００は、画像処理装置１１０と、表示部１４０とを備える。

画像処理装置１１０は、鮮明化画像の生成処理を制御する制御部１２０と、制御部１２０が鮮明化画像の生成処理の際に実行する画像処理プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部１２０が読み書きする各種のデータを保存する記憶部１３０とを有するコンピュータである。記憶部１３０は、不揮発性のメモリであってもよいし、揮発性のメモリであってもよい。そして、制御部１２０は、記憶部１３０に保存された画像処理プログラムを実行することにより、画像取得部１２１、画像抽出部１２２、エリア設定部１２３、画像鮮明化部１２４、信頼度算出部１２５、及び、表示制御部１２６として機能する。

画像取得部１２１は、カメラ１０により撮影された動画像から画像フレームを取得する。本実施の形態では、カメラ１０が屋外に設置されており、道路を走行している車両を含む動画像を撮影し、当該動画像から画像フレームを取得する。画像取得部１２１は、動画像の撮影時に、当該動画像から画像フレームを取得してもよいし、動画像の録画後に、録画した動画像から画像フレームを取得してもよい。

画像抽出部１２２は、画像取得部１２１により取得された画像フレームの画素値のデータに基づいて、画像フレームに含まれる車両を識別する。次に、画像抽出部１２２は、車両のエリアから車両に取り付けられているナンバープレートを指定する。なお、画像抽出部１２２は、車両のエリアに含まれる画素値のデータに基づいて、車両に取り付けられているナンバープレートを識別してもよい。

エリア設定部１２３は、ユーザが操作部２０を通じて選択したナンバープレートのエリアを受け付ける。操作部２０は、例えばＰＣ（パーソナル・コンピューター）からなり、表示部１４０に表示されたナンバープレートの画像からナンバープレートのエリアを選択する。この場合、ナンバープレートのエリアは、地名、かな、数字等を含む。より詳細には、表示部１４０は、ナンバープレートの基準画像と、画像フレームから識別したナンバープレートの劣化画像とを並列して表示する。ナンバープレートの基準画像は、鮮明化の対象となるエリアを指定するための画像である。そして、操作部２０は、ナンバープレートの基準画像から鮮明化の対象となるエリアが選択されると、基準画像から選択されたエリアに対応するナンバープレートの劣化画像のエリアをエリア設定部１２３に出力する。

エリア設定部１２３は、操作部２０から入力されたナンバープレートの劣化画像のエリアを取得し、取得したエリアを鮮明化の対象となるエリア（以下、「鮮明化エリア」という）として設定する。また、エリア設定部１２３は、ユーザが操作部２０を通じて鮮明化エリアを調節した場合、調節後のエリアを新たな鮮明化エリアとして設定する。

画像鮮明化部１２４は、機械学習のモデルの一種である畳み込みニューラルネットワークを適用したオートエンコーダーにより構成されている。画像鮮明化部１２４は、記憶部１３０に保存された学習モデル１３１を取得し、取得した学習モデル１３１を用いてエリア設定部１２３により設定された鮮明化エリアを鮮明化する。

図２に示す例では、画像抽出部１２２は、入力画像Ｇ０からナンバープレートの領域を抽出する。そして、画像抽出部１２２は、ナンバープレートの領域に含まれる画素値のデータを劣化画像Ｇ１として抽出する。次に、エリア設定部１２３は、操作部２０を通じて受け付けたナンバープレートのエリアを鮮明化エリアＳ１として設定する。画像鮮明化部１２４は、クラス毎に設定された学習モデル１３１が適用されている。図２の画像鮮明化部１２４の地名は、学習モデル１３１のクラスを表している。本実施の形態では、クラスは、鮮明化の対象となる地名を示す文字群を１組ずつ含み、学習モデル１３１は、鮮明化の対象となる地名毎（「品川」、「横浜」、「成田」等）に個別に対応している。また、学習モデル１３１は、高画質画像とその画像を劣化させた劣化画像Ｇ１を教師データとして画像鮮明化部１２４の学習を行ったときに生成されるパラメータである。学習は、鮮明化の対象となる地名毎に行っておく。各学習モデル１３１が適用された画像鮮明化部１２４は、劣化画像Ｇ１の鮮明化エリアＳ１の画像領域Ｇ２を鮮明化した鮮明化画像Ｇ３を出力する。

信頼度算出部１２５は、学習モデル１３１が適用された画像鮮明化部１２４により変換された鮮明化画像Ｇ３の信頼度を算出する。信頼度とは、鮮明化画像の生成過程において鮮明化された画像の尤もらしさを示している。信頼度とは、例えば０〜１０などの一定の数値範囲に限定される。

図３に示す例では、信頼度算出部１２５は、各地名に対応する学習モデル１３１が適用された画像鮮明化部１２４により変換された各鮮明化画像Ｇ３と、学習モデル１３１と同一のクラス（地名）の基準テンプレート１３２とを比較し、鮮明化画像Ｇ３と基準テンプレート１３２との類似度を評価する。基準テンプレート１３２は、ナンバープレートのフォントなどの情報を用いて生成される画像である。そして、信頼度算出部１２５は、基準テンプレート１３２と鮮明化画像Ｇ３との比較により算出される類似度を鮮明化画像Ｇ３の信頼度として算出する。

表示制御部１２６は、表示部１４０による鮮明化画像の表示を制御する。より詳細には、表示制御部１２６は、第１の表示処理として、鮮明化エリアの設定画面を表示部１４０に表示する。

図４に示す例では、表示制御部１２６は、表示部１４０の表示領域を左右に分割して、第１の表示領域Ｄ１及び第２の表示領域Ｄ２を設定する。

第１の表示領域Ｄ１には、カメラ１０により撮影された動画像の画像フレームのうちナンバープレートを示す劣化画像Ｇ１と、劣化画像Ｇ１における鮮明化エリアＳ１及び非対象エリアＳ２とが重ねて表示される。

第２の表示領域Ｄ２には、鮮明化の対象となるナンバープレートの属性を示す選択ボタンＦ１が表示される。同図に示す例では、ナンバープレートの属性は、地名、分類、かな、一連指定番号を含む。

また、第２の表示領域Ｄ２には、ナンバープレートの基準画像ＧＳが表示される。ナンバープレートの基準画像ＧＳは、ナンバープレートの属性である地名（「品川」）、分類（「５００」）、かな（「あ」）、一連指定番号（「００−００」）の規定位置が定義されている。また、ナンバープレートの基準画像ＧＳには、選択ボタンＦ１により選択されたナンバープレートの属性に対応する第１の選択枠Ｔ１が重ねて表示される。第１の選択枠Ｔ１は、劣化画像Ｇ１における鮮明化エリアＳ１と関連付けられている。より詳細には、ナンバープレートの基準画像ＧＳにおける第１の選択枠Ｔ１の中心位置の相対座標と、劣化画像Ｇ１における鮮明化エリアＳ１の中心位置の相対座標とが一致している。同図に示す例では、ナンバープレートの属性として「地名」が選択されていることから、ナンバープレートの基準画像ＧＳのうち「地名」に対応する「品川」の画像領域を囲むように第１の選択枠Ｔ１が表示される。

また、ナンバープレートの基準画像ＧＳには、ナンバープレートを車両に取り付けるためのボルトの規定位置が定義されている。また、ナンバープレートの基準画像ＧＳには、ボルトの画像領域を囲むように第２の選択枠Ｔ２が重ねて表示される。第２の選択枠Ｔ２は、劣化画像Ｇ１における非対象エリアＳ２と関連付けられている。より詳細には、ナンバープレートの基準画像ＧＳにおける第２の選択枠Ｔ２の中心位置の相対座標と、劣化画像Ｇ１における非対象エリアＳ２の中心位置の相対座標とが一致している。

また、第２の表示領域Ｄ２には、第１の選択枠Ｔ１の位置及び大きさを調節するための調節ボタンＦ２が表示される。調節ボタンＦ２は、第１の選択枠Ｔ１の調節箇所を選択するための第１の調節ボタンＦ２Ａと、第１の選択枠Ｔ１を上下左右に調節するための第２の調節ボタンＦ２Ｂとを含む。例えば、第１の調節ボタンＦ２Ａを通じて「左上」を選択した上で、第２の調節ボタンＦ２Ｂを通じて「上」を選択すると、第１の選択枠Ｔ１の左上隅部の位置が上方に移動する。同図に示す例では、第２の調節ボタンＦ２Ｂを通じて第１の選択枠Ｔ１の位置座標がナンバープレートの基準画像ＧＳの画素単位で調節される。その結果、劣化画像Ｇ１における鮮明化エリアＳ１の位置座標が画素単位で調節される。

また、表示制御部１２６は、第１の表示処理に続いて実行される第２の表示処理として、鮮明化画像の出力画面を表示部１４０に表示する。

図５に示す例では、表示制御部１２６は、表示部１４０の表示領域を左右に分割して、第３の表示領域Ｄ３及び第４の表示領域Ｄ４を設定する。

第３の表示領域Ｄ３には、カメラ１０により撮影された動画像の画像フレームのうちナンバープレートを示す劣化画像Ｇ１と、劣化画像Ｇ１における鮮明化エリアＳ１及び非対象エリアＳ２とが重ねて表示される。また、第３の表示領域Ｄ３には、劣化画像Ｇ１における鮮明化エリアＳ１を調節するために調節ボタンＦ２が劣化画像Ｇ１と並列して表示される。調節ボタンＦ２は、図４に示した調節ボタンＦ２と同様の機能を有しており、劣化画像Ｇ１における鮮明化エリアＳ１の位置座標を画素単位で調節する際に用いられる。また、第３の表示領域Ｄ３には、劣化画像Ｇ１における鮮明化エリアＳ１を鮮明化する際に操作される鮮明化ボタンＦ３が表示される。同図に示す例では、劣化画像Ｇ１における鮮明化エリアＳ１と非対象エリアＳ２とが部分的に重なっていることから、劣化画像Ｇ１における鮮明化エリアＳ１から非対象エリアＳ２を除外した領域が鮮明化の対象となる。

第４の表示領域Ｄ４には、各地名に対応する学習モデル１３１が適用された画像鮮明化部１２４により変換された鮮明化画像Ｇ３が信頼度ＳＣと対応付けて一覧表示される。同図に示す例では、一覧表示された鮮明化画像Ｇ３のうち、「成田」という地名に対応する信頼度が最も高い値を示す。そのため、第３の表示領域Ｄ３には、この地名に対応する鮮明化画像Ｇ３が劣化画像Ｇ１及び信頼度ＳＣと並列して表示される。

次に、本実施の形態の画像処理システム１００が実行する鮮明化画像の生成処理について、その具体的な処理内容を説明する。

図６に示すように、この鮮明化画像の生成処理ではまず、画像取得部１２１は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ１０）。そして、画像抽出部１２２は、先のステップＳ１０において取得した画像フレームから所定のエリア（本実施の形態では、ナンバープレート）を対象領域として抽出する（ステップＳ１１）。続いて、エリア設定部１２３は、先のステップＳ１１において抽出した対象領域から鮮明化の対象となる鮮明化エリアの属性（本実施の形態では、地名）を操作部２０から入力される信号に基づいて選択する（ステップＳ１２）。そして、エリア設定部１２３は、先のステップＳ１２において選択された鮮明化エリアの属性に関連付けられた劣化画像Ｇ１のエリアを鮮明化エリアＳ１として設定する（ステップＳ１３）。そして次に、エリア設定部１２３は、鮮明化エリアの属性に対応する学習モデル１３１が適用された画像鮮明化部１２４を特定する（ステップＳ１４）。続いて、エリア設定部１２３は、先のステップＳ１４において特定した画像鮮明化部１２４に対して鮮明化エリアＳ１の画像情報を入力する（ステップＳ１５）。そして次に、画像鮮明化部１２４により変換された鮮明化エリアＳ１の鮮明化画像Ｇ３を取得する（ステップＳ１６）。また、信頼度算出部１２５は、先のステップＳ１６において取得した鮮明化エリアＳ１の複数の鮮明化画像Ｇ３を各々のクラス（地名）に対応する基準テンプレート１３２と比較することにより、鮮明化画像Ｇ３の信頼度を算出する（ステップＳ１７）。そして、表示制御部１２６は、先のステップＳ１６において取得した鮮明化エリアＳ１の鮮明化画像Ｇ３を、先のステップＳ１７において算出された信頼度の値に対応付けて表示部１４０に表示する（ステップＳ１８）。

次に、本実施の形態の画像処理システム１００の作用について説明する。

従来、ナンバープレートの劣化画像を鮮明化した鮮明化画像を生成する際には、劣化画像の画像全体の画像情報を画像鮮明化部に入力していた。ただし、ナンバープレートにおける所定の属性を視認の対象とする場合には、必ずしもナンバープレートの劣化画像の画像全体を鮮明化することは不要である。なお、ナンバープレートは、属性ごとの位置が規格により定まっている。そのため、ナンバープレートの画像が劣化していたとしても、鮮明化の対象となるナンバープレートの属性の大まかな位置を特定することは可能である。

そこで、本実施の形態では、ナンバープレートの基準画像ＧＳにおける属性ごとの相対位置と、ナンバープレートの劣化画像Ｇ１における属性ごとの相対位置とを予め関連付けておく。相対位置とは、例えば、ナンバープレートの画像の左下隅部を基準とした位置である。また、鮮明化の対象となるナンバープレートの属性が選択されたときには、上述のように関連付けられた情報に基づき、ナンバープレートの基準画像ＧＳとナンバープレートの劣化画像Ｇ１との対比により、ナンバープレートの劣化画像Ｇ１における選択された属性の相対位置を特定する。そして、鮮明化の対象として特定された属性の位置を鮮明化エリアとして設定する。また、鮮明化の対象として特定された属性に対応する学習モデルを画像鮮明化部に適用する。その後、鮮明化エリアの画像情報を画像鮮明化部に入力することにより、鮮明化画像を生成する。これにより、ナンバープレートの入力画像のうち、鮮明化の対象となるエリアが制限されるため、鮮明化画像の生成の際の処理負荷が低減される。

以上説明したように、上記第１の実施の形態によれば、以下に列挙する効果を得ることができる。

（１）鮮明化エリアＳ１に対応する属性情報に基づいて学習モデル１３１を特定し、特定した学習モデル１３１を適用した画像鮮明化部１２４を用いて鮮明化エリアＳ１を鮮明化した鮮明化画像Ｇ３を生成する。これにより、劣化画像Ｇ１に設定した鮮明化エリアＳ１を鮮明化の対象とするため、劣化画像の全体を鮮明化の対象とする場合と比較して、劣化画像Ｇ１から鮮明化画像Ｇ３を生成する際の処理負荷を低減することができる。また、鮮明化エリアＳ１に対応する学習モデル１３１を適用した画像鮮明化部１２４を用いるため、鮮明化画像Ｇ３を好適に生成することができる。

（２）鮮明化エリアＳ１に対応する属性情報は、鮮明化エリアＳ１の属性を含む。これにより、鮮明化エリアＳ１に含まれる対象領域を好適に鮮明化することができる。

（３）エリア設定部１２３は、所定の画素単位で鮮明化エリアＳ１を調節する。これにより、鮮明化エリアＳ１を細かく調節しつつ、鮮明化画像Ｇ３を生成することができる。

（４）表示制御部１２６は、基準画像ＧＳを表示し、エリア設定部１２３は、基準画像ＧＳにおける鮮明化の対象となるエリアを指定し、指定したエリアに基づいて鮮明化エリアＳ１を設定する。すなわち、基準画像ＧＳにおける鮮明化の対象となるエリアを指定することにより鮮明化エリアＳ１が設定されるため、鮮明化エリアＳ１を設定する際の操作性を向上することができる。

（５）表示制御部１２６は、劣化画像Ｇ１および鮮明化エリアＳ１に対応付けて鮮明化画像Ｇ３の表示制御を行う。これにより、鮮明化エリアＳ１に対応付けて鮮明化画像Ｇ３が把握しやすくなる。

（６）エリア設定部１２３は、劣化画像Ｇ１に対して鮮明化の対象としない非対象エリアＳ２を設定し、画像鮮明化部１２４は、鮮明化エリアＳ１と非対象エリアＳ２とが重複する領域を、鮮明化の対象から除外して鮮明化画像Ｇ３を生成する。これにより、非対象エリアＳ２の設定を通じて鮮明化の対象となるエリアが制限されるため、鮮明化画像Ｇ３の生成に要する処理負荷を低減することができる。

（７）劣化画像Ｇ１は、ナンバープレートの画像を含む。そのため、ナンバープレートの画像を鮮明化した鮮明化画像Ｇ３を好適に生成することができる。

（第２の実施の形態）
次に、画像処理システムの第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、調節前後の鮮明化エリアを鮮明化した鮮明化画像を一覧表示する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

本実施の形態の画像処理システムでは、図７に示すように、表示制御部１２６が鮮明化エリアＳ１の設定画面を表示部１４０に表示する場合、第１の表示領域Ｄ１には、調節ボタンＦ２の操作を通じて調節される前後の鮮明化エリアＳ１がナンバープレートの劣化画像Ｇ１に重ねて表示される。なお、調節後の鮮明化エリアＳ１は、鮮明化ボタンＦ３の操作を通じて鮮明化エリアを第１の鮮明化エリアＳ１Ａとして一旦確定させた後に、調節ボタンＦ２の操作を通じて第１の鮮明化エリアＳ１Ａの位置座標を画素単位で調節した上で鮮明化ボタンＦ３を再び操作することで第２の鮮明化エリアＳ１Ｂとして決定される。

また、本実施の形態の画像処理システム１００では、図８に示すように、表示制御部１２６が鮮明化画像Ｇ３の表示画面を表示部１４０に表示する場合、第３の表示領域Ｄ３には、調節ボタンＦ２の操作を通じて調節される前後の鮮明化エリアＳ１Ａ，Ｓ１Ｂがナンバープレートの劣化画像Ｇ１に重ねて表示される。また、調節後の鮮明化エリアＳ１Ｂは、調節ボタンＦ２の操作を通じて繰り返し調節することが可能である。第４の表示領域Ｄ４には、調節ボタンＦ２の操作を通じて鮮明化エリアＳ１Ａが調節されつつ鮮明化ボタンＦ３が操作されるごとに、調節後の鮮明化エリアＳ１Ｂを鮮明化した鮮明化画像Ｇ３Ｂが表示される。また、第４の表示領域Ｄ４には、各地名に対応する学習モデル１３１が適用された画像鮮明化部１２４により変換された鮮明化画像Ｇ３Ｂが信頼度ＳＣＢと対応付けて一覧表示される。同図に示す例では、一覧表示された鮮明化画像Ｇ３Ｂのうち、「成田」という地名に対応する信頼度が最も高い値を示す。そのため、第３の表示領域Ｄ３には、この地名に対応する鮮明化画像Ｇ３Ｂが劣化画像Ｇ１の鮮明化エリアＳ１Ｂ及び信頼度ＳＣＡと並列して表示される。なお、第４の表示領域Ｄ４には、鮮明化エリアＳ１が調節されるごとに、最新の鮮明化エリアＳ１Ｂを鮮明化した鮮明化画像Ｇ３Ｂの表示に更新される。また、第３の表示領域Ｄ３には、鮮明化エリアＳ１Ｂが調節されつつ鮮明化画像Ｇ３Ｂが生成されるごとに、生成された鮮明化画像Ｇ３Ｂが鮮明化エリアＳ１Ｂ及び信頼度ＳＣＢと対応付けられた状態で追加表示される。同図に示す例では、第３の表示領域Ｄ３には、調整前の第１の鮮明化エリアＳ１Ａを鮮明化した第１の鮮明化画像Ｇ３Ａと、調整後の第２の鮮明化エリアＳ１Ｂを鮮明化した第２の鮮明化画像Ｇ３Ｂとが履歴情報として信頼度ＳＣＡ，ＳＣＢとともに上下に並列して表示される。

次に、本実施の形態の画像処理システム１００が実行する鮮明化画像の生成処理について、その具体的な処理内容を説明する。

図９に示すように、この鮮明化画像Ｇ３Ａ，Ｇ３Ｂの生成処理ではまず、画像取得部１２１は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ２０）。そして、画像抽出部１２２は、先のステップＳ２０において取得した画像フレームから所定のエリア（本実施の形態では、ナンバープレート）を対象領域として抽出する（ステップＳ２１）。続いて、エリア設定部１２３は、先のステップＳ２１において抽出した対象領域から鮮明化の対象となる鮮明化エリアの属性（本実施の形態では、地名）を操作者の操作により操作部２０から入力される信号に基づいて選択する（ステップＳ２２）。そして、エリア設定部１２３は、先のステップＳ２２において選択された鮮明化エリアの属性に関連付けられた劣化画像Ｇ１のエリアを鮮明化エリアＳ１Ａとして設定する（ステップＳ２３）。そして次に、エリア設定部１２３は、鮮明化エリアの属性に対応する学習モデル１３１が適用された画像鮮明化部１２４を特定する（ステップＳ２４）。続いて、エリア設定部１２３は、先のステップＳ２４において特定した画像鮮明化部１２４に対して鮮明化エリアＳ１の画像情報を入力する（ステップＳ２５）。続いて、エリア設定部１２３は、先のステップＳ２４において特定した画像鮮明化部１２４に対して鮮明化エリアＳ１の画像情報を入力する（ステップＳ２５）。そして次に、画像鮮明化部１２４により変換された鮮明化エリアＳ１の鮮明化画像Ｇ３Ａを取得する（ステップＳ２６）。また、信頼度算出部１２５は、先のステップＳ２６において取得した鮮明化エリアＳ１の鮮明化画像Ｇ３Ａを各々のクラス（地名）に対応する基準テンプレート１３２と比較することにより、鮮明化画像Ｇ３Ａの信頼度を算出する（ステップＳ２７）。続いて、エリア設定部１２３は、操作部２０を通じて入力された信号に基づいて、鮮明化エリアＳ１Ａを調整する（ステップＳ２８）。そして次に、画像鮮明化部１２４は、調整後の鮮明化エリアＳ１Ｂの画像情報を入力する（ステップＳ２９）。続いて、画像鮮明化部１２４により変換された調整後の鮮明化エリアＳ１Ｂの鮮明化画像Ｇ３Ｂを取得する（ステップＳ３０）。そして、信頼度算出部１２５は、先のステップＳ３０において取得した調整後の鮮明化エリアＳ１Ｂの鮮明化画像Ｇ３Ｂを各々のクラス（地名）に対応する基準テンプレート１３２と比較することにより、鮮明化画像Ｇ３Ｂの信頼度を算出する（ステップＳ３１）。その後、表示制御部１２６は、調整前後の鮮明化画像Ｇ３Ａ，Ｇ３Ｂを信頼度ＳＣＡ，ＳＣＢに対応付けて表示部１４０に一覧表示する（ステップＳ３２）。

次に、本実施の形態の画像処理システム１００の作用について説明する。

本実施の形態の画像処理システム１００では、第１の鮮明化エリアＳ１Ａを鮮明化した第１の鮮明化画像Ｇ３Ａと、第２の鮮明化エリアＳ１Ｂを鮮明化した第２の鮮明化画像Ｇ３Ｂとを並列して表示する。そのため、複数の鮮明化エリアＳ１Ａ，Ｓ１Ｂに対応する鮮明化画像Ｇ３Ａ，Ｇ３Ｂを並行して確認することができる。また、複数の鮮明化エリアの属性を鮮明化の対象とする場合であっても、各々の属性に対応付けて鮮明化エリアＳ１Ａ，Ｓ１Ｂを設定することにより、複数の鮮明化エリアの属性を並行して確認することができる。

特に、本実施の形態では、第１の鮮明化エリアＳ１Ａ及び第２の鮮明化エリアＳ１Ｂが共通の鮮明化エリアの属性を対象としており、第１の鮮明化エリアＳ１Ａが調整前の鮮明化エリアＳ１に相当し、第２の鮮明化エリアＳ１Ｂが調整後の鮮明化エリアＳ１に相当する。そして、鮮明化エリアＳ１Ａを調整するごとに、調整後の鮮明化エリアＳ１Ｂを鮮明化した鮮明化画像Ｇ３Ｂを履歴情報として一覧表示する。そのため、調整前後の鮮明化画像Ｇ３Ａ，Ｇ３Ｂの画質を比較することが容易となる。そのため、鮮明化エリアＳ１Ａ，Ｓ１Ｂの調整が鮮明化画像Ｇ３Ａ，Ｇ３Ｂの出力結果に及ぼす影響を確認しつつ、鮮明化エリアＳ１Ａ，Ｓ１Ｂの調整を行うことが可能となる。

以上説明したように、上記第２の実施の形態によれば、上記第１の実施の形態の効果（１）〜（７）に加えて、以下に列挙する効果を得ることができる。

（８）表示制御部１２６は、第１の鮮明化エリアＳ１Ａを鮮明化した第１の鮮明化画像Ｇ３Ａと、第２の鮮明化エリアＳ１Ｂを鮮明化した第２の鮮明化画像Ｇ３Ｂとを並列して表示する。そのため、複数の鮮明化エリアＳ１Ａ，Ｓ１Ｂに対応する鮮明化画像Ｇ３Ａ，Ｇ３Ｂを把握しやすくなる。

（９）第２の鮮明化エリアＳ１Ｂは、第１の鮮明化エリアＳ１Ａを調節したエリアである。そのため、調節前後の鮮明化エリアＳ１Ａ，Ｓ１Ｂに対応する鮮明化画像Ｇ３Ａ，Ｇ３Ｂを把握しやすくなる。

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。

・上記各実施の形態においては、鮮明化の対象がナンバープレートの地名である場合を例に挙げて説明した。ただし、鮮明化の対象としてはその他にも、ナンバープレートの数字（「０〜９」）、記号（「‐（ハイフン）」）であってもよい。また、鮮明化の対象が地名である場合、鮮明化の対象は、必ずしも地名を示す文字群である必要はなく、一文字ずつ鮮明化を行ってもよい。この場合、鮮明化の対象として、ナンバープレートの地名に含まれる文字を適用することも可能となる。

・上記第２の実施の形態においては、表示制御部１２６は、調整前後の鮮明化エリアＳ１に対応する鮮明化画像Ｇ３を並列して表示していた。これに対し、表示制御部１２６は、調整後の最新の鮮明化エリアＳ１に対応する鮮明化画像Ｇ３を表示してもよい。

・上記第２の実施の形態においては、第１の鮮明化エリアＳ１Ａ及び第２の鮮明化エリアＳ１Ｂが共通のナンバープレートの属性を対象としており、第１の鮮明化エリアＳ１Ａが調整前の鮮明化エリアＳ１に相当し、第２の鮮明化エリアＳ１Ｂが調整後の鮮明化エリアＳ１に相当していた。これに対し、第１の鮮明化エリアＳ１Ａ及び第２の鮮明化エリアＳ１Ｂが互いに異なるナンバープレートの属性を対象としてもよい。

・上記各実施の形態においては、表示制御部１２６は、鮮明化の対象となる鮮明化エリアの属性に基づいて特定される学習モデル１３１が複数であるとき、全ての学習モデル１３１を個別に適用した画像鮮明化部１２４から生成される鮮明化画像Ｇ３，Ｇ３Ａ，Ｇ３Ｂを全て表示していた。これに対し、表示制御部１２６は、鮮明化エリアの属性に基づいて特定される複数の学習モデル１３１の中から操作者による少なくとも１つの学習モデル１３１の選択を受け付け、受け付けた学習モデル１３１を適用した画像鮮明化部１２４から生成される鮮明化画像Ｇ３，Ｇ３Ａ，Ｇ３Ｂを表示してもよい。

・上記各実施の形態においては、画像鮮明化部１２４は、鮮明化の対象となる鮮明化エリアの属性に基づいて特定される学習モデル１３１が複数であるとき、全ての学習モデル１３１を個別に適用して鮮明化画像Ｇ３，Ｇ３Ａ，Ｇ３Ｂを生成していた。これに対し、画像鮮明化部１２４は、鮮明化エリアの属性に基づいて特定される複数の学習モデル１３１の中から操作者による少なくとも１つの学習モデル１３１の選択を受け付け、受け付けた学習モデル１３１を適用して鮮明化画像Ｇ３，Ｇ３Ａ，Ｇ３Ｂを生成してもよい。

・上記各実施の形態においては、鮮明化エリアＳ１に対応する属性情報は、鮮明化エリアＳ１に含まれるナンバープレートの属性であった。これに対し、鮮明化エリアＳ１に対応する属性情報は、劣化画像Ｇ１における鮮明化エリアＳ１の位置情報であってもよい。この場合、劣化画像Ｇ１の基準画像ＧＳからエリアが指定されると、指定されたエリアの位置情報に基づき、劣化画像Ｇ１における鮮明化エリアＳ１の位置が特定される。また、劣化画像Ｇ１の基準画像ＧＳにおけるエリアの指定位置が変更されると、変更後のエリアの位置情報を反映するように、劣化画像Ｇ１における鮮明化エリアＳ１の位置が変更される。

・上記各実施の形態において、教師データを用いて学習した画像鮮明化部１２４に代えて、ユーザが事前にパラメータを最適化した関数モデルを用いて、劣化画像Ｇ１から鮮明化画像Ｇ３を生成してもよい。

・上記各実施の形態においては、鮮明化の対象がナンバープレートである場合を例に挙げて説明した。ただし、鮮明化の対象はナンバープレートに限らず、例えば、スキャナにより読み取った文書データ等、文字、数字、記号等を含む劣化画像であれば、鮮明化の対象として適用することは可能である。

１００…画像処理システム、１１０…画像処理装置、１２４…画像鮮明化部（鮮明化方式の一例）、１２６…表示制御部、１４０…表示部、Ｇ１…劣化画像、Ｇ３…鮮明化画像、Ｇ３Ａ…第１の鮮明化画像、Ｇ３Ｂ…第２の鮮明化画像、ＧＳ…基準画像、Ｓ１…鮮明化エリア、Ｓ１Ａ…第１の鮮明化エリア、Ｓ１Ｂ…第２の鮮明化エリア、Ｓ２…非対象エリア。

Claims (15)

1. 劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定部と、
   前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化部と
   を備える画像処理装置。
2. 前記属性情報は、前記鮮明化エリアの属性を含む
   請求項１に記載の画像処理装置。
3. 前記属性情報は、前記劣化画像における前記鮮明化エリアの位置情報を含む
   請求項１に記載の画像処理装置。
4. 前記エリア設定部は、所定の画素単位で前記鮮明化エリアを調節可能である
   請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記劣化画像および前記鮮明化エリアに対応付けて前記鮮明化画像の表示制御を行う表示制御部をさらに備える
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記表示制御部は、第１の鮮明化エリアを鮮明化した第１の鮮明化画像と、第２の鮮明化エリアを鮮明化した第２の鮮明化画像とを並列して表示する
   請求項５に記載の画像処理装置。
7. 前記第２の鮮明化エリアは、前記第１の鮮明化エリアに基づき設定されたエリアである
   請求項６に記載の画像処理装置。
8. 前記表示制御部は、前記画像鮮明化部により前記属性情報に基づいて特定される鮮明化方式が複数であるとき、複数の鮮明化方式の中から少なくとも１つの鮮明化方式の選択を受け付け、受け付けた鮮明化方式に対応する鮮明化画像を表示する
   請求項５〜７のいずれか一項に記載の画像処理装置。
9. 前記表示制御部は、鮮明化の対象となるエリアを指定するための基準画像を表示制御し、
   前記エリア設定部は、前記基準画像における鮮明化の対象となるエリアを指定し、指定したエリアに基づいて前記鮮明化エリアを設定する
   請求項５〜８のいずれか一項に記載の画像処理装置。
10. 前記画像鮮明化部は、前記属性情報に基づいて特定する鮮明化方式が複数であるとき、複数の鮮明化方式の中から少なくとも１つの鮮明化方式の選択を受け付け、受け付けた鮮明化方式を用いて鮮明化画像を生成する
    請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記エリア設定部は、前記劣化画像に対して鮮明化の対象としない非対象エリアを設定し、
    前記画像鮮明化部は、前記鮮明化エリアと前記非対象エリアとが重複する領域を、鮮明化の対象から除外して前記鮮明化画像を生成する
    請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記劣化画像は、ナンバープレートの画像である
    請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 請求項１〜１２のいずれか一項に記載の画像処理装置と、
    前記画像処理装置により生成される鮮明化画像を表示する表示部と
    を備える
    画像処理システム。
14. 劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定処理と、
    前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化処理と
    を含む画像処理方法。
15. コンピュータに、
    劣化画像に対して鮮明化の対象となる鮮明化エリアを設定するエリア設定処理と、
    前記鮮明化エリアに対応する属性情報に基づいて鮮明化方式を特定し、特定した鮮明化方式を用いて前記鮮明化エリアを鮮明化した鮮明化画像を生成する画像鮮明化処理と
    を実行させる画像処理プログラム。