JP2021197149A

JP2021197149A - 画像強調モデルのトレーニング方法、装置及び記憶媒体

Info

Publication number: JP2021197149A
Application number: JP2021018016A
Authority: JP
Inventors: リャンジャン; Liang Zhang
Original assignee: Beijing Xiaomi Pinecone Electronic Co Ltd
Current assignee: Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date: 2020-06-12
Filing date: 2021-02-08
Publication date: 2021-12-27
Anticipated expiration: 2041-02-08
Also published as: EP3923234B1; CN111709890A; EP3923234A1; KR102612632B1; US11475243B2; KR20210154710A; JP7100729B2; US20210390340A1; CN111709890B

Abstract

【課題】画像強調モデルのトレーニング方法、装置及び記憶媒体を提供する。【解決手段】画像強調モデルのトレーニング方法は、各トレーニング入力画像グループを画像強調モデルに入力して、画像強調モデルによって出力される予測画像を取得することＳ１４と、各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで画像強調モデルをトレーニングすることＳ１６とを含む。損失関数は、複数の周波数間隔に１対１で対応する複数のグレースケール損失成分を含む。各グレースケール損失成分は、各周波数間隔内の予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定される。異なるグレースケール損失成分は、異なる周波数間隔に対応する。【選択図】図１

Description

本願は、２０２０年０６月１２日に中国特許局に提出された、出願番号がＣＮ２０２０１０５３４２４３．９である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本開示は、画像処理技術に関し、特に、画像強調モデルのトレーニング方法、装置及び記憶媒体に関する。

モバイル端末は、一般的にカメラ機能を備えている。モバイル端末のイメージセンサのサンプリングレートの不十分、および画像の収集、伝送、圧縮などの様々な側面からのノイズにより、モバイル端末でキャプチャされた画像には、ディテールの喪失、過度のカラーノイズの問題が発生する。暗い環境で撮影された画像やビデオにもこの問題があり、且つ、小口径カメラ付きスマートフォンで撮影された画像ではより深刻である。さらに、画像を収集するプロセスにおいて、サンプリングレートが低いと、エイリアシングが発生する。

画像効果に対するユーザのニーズが高まり続けるにつれて、画像の解像度をさらに向上させ、画像の詳細を充実させ、画像のノイズを低減する方法は、常に解決する必要のある技術的課題である。

従来の画像強調方法において、複数の画像の同じ位置にあるピクセルに対して加重平均を実行して処理後の画像を取得して、ノイズ除去効果を実現するか、または、サブピクセルの位置合わせと画像融合を実行して、高周波部分に位置する画像の詳細を維持する。適切なピクセルを効果的に選択して、加重融合およびサブピクセルの位置合わせを実行することは、画像強調の効果に影響を与える鍵である。

深層学習技術の急速な発展に伴い、人々は深層画像強調モデルを使用して画像強調を完成させ始めた。まず、トレーニングデータとして多数の自然画像を使用して、深層画像強調モデルが、低品質の画像から高品質の画像へのマッピングを学習するようにするが、ほとんどの深層画像強調モデルには過度の平滑化の問題があり、効果的にノイズ除去と同時に画像の詳細を強調することが困難であり、ここで深層画像強調モデルの損失関数は、当該効果に対する影響は非常に大きい。画像の復元は機能レベルの低いビジョンタスクであることを考慮すると、現在、ピクセルレベルの損失関数が通常使用されている。

本開示は、関連する技術に存在する問題を克服するために、画像強調モデルのトレーニング方法、装置及び記憶媒体を提供する。

本明細書の実施例の第１態様によれば、画像強調モデルのトレーニング方法を提供し、前記方法は、
撮影機器で撮影した複数のサンプル画像グループを決定することと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定することと、
複数のトレーニングペアを構築することであって、各トレーニングペアは、１つのトレーニング入力画像グループと、対応するターゲット画像を含むことと、
各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得することと、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングすることと、を含み、
前記損失関数には、前記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応する。

一実施形態において、特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなる。

一実施形態において、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得することは、前記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することを含み、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することは、前記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用して使用することを含み、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含む。

一実施形態において、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得することは、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することを含み、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することは、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することを含み、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含む。

一実施形態において、前記方法は、各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得し、前記エッジ画像に従ってエッジ確率マップを決定することをさらに含み、
前記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における前記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、前記エッジ確率マップとのドット積行列を含む。

一実施形態において、前記エッジ画像に従ってエッジ確率マップを決定することは、
前記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することを含み、前記ガイド付きフィルタリングのガイドマップは、前記ターゲット画像または前記ターゲット画像のグレースケール成分画像である。

一実施形態において、前記損失関数は、複数のグレースケール損失成分の和を含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
前記色度損失成分は、前記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、前記色飽和損失成分は、前記画像強調モデルによって出力された予測画像の色飽和損失成分画像と、対応するターゲット画像の色飽和損失成分画像との差である。

一実施形態において、同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なり、
前記各サンプル画像グループに関連付けられるターゲット画像を決定することは、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得することのうちのいずれか１つを含み、
前記各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定することは、
前記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
前記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成することのうちのいずれか１つを含む。

本明細書の実施例の第２態様によれば、画像強調モデルのトレーニング装置を提供し、前記装置は、
撮影機器で撮影した複数のサンプル画像グループを決定するように構成される、第１決定モジュールと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定するように構成される、第２決定モジュールと、
複数のトレーニングペアを構築するように構成される、構築モジュールであって、各トレーニングペアに、１つのトレーニング入力画像グループと対応するターゲット画像を含む、構築モジュールと、
各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得するように構成される、入力モジュールと、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される、分周モジュールと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングするように構成されるトレーニングモジュールであって、前記損失関数には、前記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応するように構成される、トレーニングモジュールと、を含む。

一実施形態において、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュールは、さらに、前記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成され、
さらに、前記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される。

一実施形態において、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュールは、さらに、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成され、さらに、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される。

一実施形態において、前記装置は、さらに、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得するように構成される、エッジ検出モジュールと、
前記エッジ画像に従ってエッジ確率マップを決定するように構成される、エッジ確率計算モジュールと、を含み、
前記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における前記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、前記エッジ確率マップとのドット積行列を含む。

一実施形態において、前記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することであって、前記ガイド付きフィルタリングのガイドマップは前記ターゲット画像または前記ターゲット画像のグレースケール成分画像であること、を使用して、前記エッジ確率計算モジュールは、前記エッジ画像に従ってエッジ確率マップを決定するように構成される。

一実施形態において、同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なり、
第２決定モジュールは、さらに、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるターゲット画像を決定するように構成され、
前記第２決定モジュールは、さらに、
前記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
前記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定するように構成される。

本明細書の実施例の第３態様によれば、画像強調モデルのトレーニング装置を提供し、前記装置は、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
ここで、前記プロセッサは、前記メモリ内の実行可能な命令を実行して、上記方法のステップを実現するように構成される。

本明細書の実施例の第４態様によれば、実行可能命令が記憶される非一時的なコンピュータ可読記憶媒体を提供し、前記実行可能命令が、プロセッサによって実行されるとき、上記の方法のステップを実現することを特徴とする。

例えば、本願は以下の項目を提供する。
（項目１）
画像強調モデルのトレーニング方法であって、
撮影機器で撮影した複数のサンプル画像グループを決定することと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定することと、
複数のトレーニングペアを構築することであって、各トレーニングペアは、１つのトレーニング入力画像グループと、対応するターゲット画像を含むことと、
各トレーニング入力画像グループを上記画像強調モデルに入力して、上記画像強調モデルによって出力された予測画像を取得することと、
上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、上記複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得することと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで上記画像強調モデルをトレーニングすることと、を含み、
上記損失関数には、上記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の上記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応することを特徴とする、上記画像強調モデルのトレーニング方法。
（項目２）
上記画像強調モデルのトレーニング方法は、
特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなることを特徴とする、
上記項目に記載の画像強調モデルのトレーニング方法。
（項目３）
上記画像強調モデルのトレーニング方法は、
上記損失関数は、２つのグレースケール損失成分を含み、上記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得することは、上記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、上記予測画像のグレースケール成分画像と上記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することを含み、２つの周波数間隔における上記予測画像のグレースケール分周画像は、上記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
上記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得することは、上記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、上記ターゲット画像のグレースケール成分画像と上記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することを含み、２つの周波数間隔における上記ターゲット画像のグレースケール分周画像は、上記第２グレースケール低周波画像と第２グレースケール高周波画像を含むことを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目４）
上記画像強調モデルのトレーニング方法は、
上記損失関数は、２つのグレースケール損失成分を含み、上記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得することは、上記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、上記予測画像のグレースケール成分画像と上記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することを含み、２つの周波数間隔における上記予測画像のグレースケール分周画像は、上記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
上記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得することは、上記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、上記ターゲット画像のグレースケール成分画像と上記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することを含み、２つの周波数間隔における上記ターゲット画像のグレースケール分周画像は、上記第２グレースケール低周波画像と第２グレースケール高周波画像を含むことを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目５）
上記画像強調モデルのトレーニング方法は、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得し、上記エッジ画像に従ってエッジ確率マップを決定することをさらに含み、
上記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における上記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、上記エッジ確率マップとのドット積行列を含むことを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目６）
上記画像強調モデルのトレーニング方法は、
上記エッジ画像に従ってエッジ確率マップを決定することは、
上記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することを含み、上記ガイド付きフィルタリングのガイドマップは、上記ターゲット画像または上記ターゲット画像のグレースケール成分画像であることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目７）
上記画像強調モデルのトレーニング方法は、
上記損失関数は、複数のグレースケール損失成分の和を含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
上記色度損失成分は、上記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、上記色飽和損失成分は、上記画像強調モデルによって出力された予測画像の色飽和成分画像と、対応するターゲット画像の色飽和成分画像との差であることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目８）
上記画像強調モデルのトレーニング方法は、
同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シシーンは異なり、
上記各サンプル画像グループに関連付けられるターゲット画像を決定することは、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、上記参照画像に従って上記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のうちのいずれか１つを含み、
上記各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定することは、
上記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
上記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成することのうちのいずれか１つを含むことを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング方法。
（項目９）
画像強調モデルのトレーニング装置であって、
撮影機器で撮影した複数のサンプル画像グループを決定するように構成される、第１決定モジュールと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定するように構成される、第２決定モジュールと、
複数のトレーニングペアを構築するように構成される構築モジュールであって、各トレーニングペアに、１つのトレーニング入力画像グループと対応するターゲット画像を含む、構築モジュールと、
各トレーニング入力画像グループを上記画像強調モデルに入力して、上記画像強調モデルによって出力された予測画像を取得するように構成される、入力モジュールと、
上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、上記複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得するように構成される、分周モジュールと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで上記画像強調モデルをトレーニングするように構成されるトレーニングモジュールであって、上記損失関数には、上記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の上記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応するように構成される、トレーニングモジュールと、を含むことを特徴とする、上記画像強調モデルのトレーニング装置。
（項目１０）
上記画像強調モデルのトレーニング装置は、
特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなることを特徴とする、
上記項目に記載の画像強調モデルのトレーニング装置。
（項目１１）
上記画像強調モデルのトレーニング装置は、
上記損失関数は、２つのグレースケール損失成分を含み、上記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
上記分周モジュールは、さらに、上記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、上記予測画像のグレースケール成分画像と上記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することであって、２つの周波数間隔における上記予測画像のグレースケール分周画像は、上記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得するように構成され、
さらに、上記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、上記ターゲット画像のグレースケール成分画像と上記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することであって、２つの周波数間隔における上記ターゲット画像のグレースケール分周画像は、上記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、上記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１２）
上記画像強調モデルのトレーニング装置は、
上記損失関数は、２つのグレースケール損失成分を含み、上記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
上記分周モジュールは、さらに、上記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、上記予測画像のグレースケール成分画像と上記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することであって、２つの周波数間隔における上記予測画像のグレースケール分周画像は、上記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、上記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記予測画像のグレースケール分周画像を取得するように構成され、
さらに、上記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、上記ターゲット画像のグレースケール成分画像と上記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することであって、２つの周波数間隔における上記ターゲット画像のグレースケール分周画像は、上記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、上記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における上記ターゲット画像のグレースケール分周画像を取得するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１３）
上記画像強調モデルのトレーニング装置は、さらに、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得するように構成される、エッジ検出モジュールと、
上記エッジ画像に従ってエッジ確率マップを決定するように構成される、エッジ確率計算モジュールと、を含み、
上記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における上記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、上記エッジ確率マップとのドット積行列を含むことを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１４）
上記画像強調モデルのトレーニング装置は、
上記エッジ確率計算モジュールは、上記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することであって、上記ガイド付きフィルタリングのガイドマップは上記ターゲット画像または上記ターゲット画像のグレースケール成分画像であること、を使用して、上記エッジ画像に従ってエッジ確率マップを決定するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１５）
上記画像強調モデルのトレーニング装置は、
上記損失関数は、複数のグレースケール損失成分の和を含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、上記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
上記色度損失成分は、上記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、上記色飽和損失成分は、上記画像強調モデルによって出力された予測画像の色飽和損失成分画像と、対応するターゲット画像の色飽和損失成分画像との差であることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１６）
上記画像強調モデルのトレーニング装置は、
同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なり、
第２決定モジュールは、さらに、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、上記参照画像に従って上記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるターゲット画像を決定するように構成され、
上記第２決定モジュールは、さらに、
上記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
上記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定するように構成されることを特徴とする、
上記項目のいずれか一項に記載の画像強調モデルのトレーニング装置。
（項目１７）
画像強調モデルのトレーニング装置であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
上記プロセッサは、上記メモリの実行可能命令を実行して、上記項目のいずれか一項に記載の方法のステップを実現するように構成されることを特徴とする、上記トレーニング装置。
（項目１８）
実行可能命令が記憶される、非一時的なコンピュータ可読記憶媒体であって、上記実行可能命令が、プロセッサによって実行されるとき、上記項目のいずれか一項に記載の方法のステップを実現することを特徴とする、上記非一時的なコンピュータ可読記憶媒体。
（摘要）
本開示は、画像強調モデルのトレーニング方法、装置及び記憶媒体に関し、当該方法は、各トレーニング入力画像グループを画像強調モデルに入力して、画像強調モデルによって出力される予測画像を取得することと、各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで画像強調モデルをトレーニングすることとを含み、損失関数は、複数の周波数間隔に１対１で対応する複数のグレースケール損失成分を含み、各グレースケール損失成分は、各周波数間隔内の予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は、異なる周波数間隔に対応する。本開示において、損失関数に、対応するトレーニングペアの予測画像とターゲット画像の詳細なコンテンツ情報とセマンティック情報を具現させ、画像強調モデルのトレーニングプロセスでの不適切な問題による過度の平滑化の問題を効果的に緩和する。

本開示の実施例によって提供される技術的解決策は、以下の有利な効果を含み得る。トレーニングペアに関連付けられる損失関数を定義し、画像の詳細な特性は主にグレースケール成分部分に存在することを考慮して、損失関数に、画像強調モデルがトレーニングペアを使用するときの予測画像グレースケール成分画像の分周情報と、ターゲット画像のグレースケール成分画像の分周情報を追加し、異なるトレーニングペアについて異なる損失関数を使用するとき、損失関数に、このトレーニングペアの予測画像とターゲット画像のコンテンツ情報とセマンティック情報を具現させ、画像強調モデルのトレーニングプロセスでの不適切な問題による過度の平滑化の問題を効果的に緩和する。

上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本開示を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の原理を説明するために使用される。
一例示的な実施例によって示された画像強調モデルのトレーニング方法のフローチャートである。一例示的な実施例によって示されたターゲット画像のグレースケール成分画像、グレースケール成分画像の低周波画像、グレースケール成分画像の高周波画像である。一例示的な実施例によって示された画像強調モデルのトレーニング装置の構造図である。一例示的な実施例によって示された画像強調モデルのトレーニング装置の構造図である。

ここで、例示的な実施例について詳細に説明し、その例は図面に示す。特に明記しない限り、以下の説明が添付の図面に関する場合、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されたように、本開示の特定の態様と一致する装置および方法の例である。

本開示の実施例において、画像強調モデルのトレーニング方法を提供する。図１を参照すれば、図１は、一例示的な実施例によって示された画像強調モデルのトレーニング方法のフローチャートである。図１に示されたように、当該方法は、次にステップを含む。

ステップＳ１１において、撮影機器で撮影した複数のサンプル画像グループを決定する。

ステップＳ１２において、各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定する。

ステップＳ１３において、複数のトレーニングペアを構築し、各トレーニングペアに、１つのトレーニング入力画像グループと、対応するターゲット画像を含む。

ステップＳ１４において、各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得する。

ステップＳ１５において、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得する。

ステップＳ１６において、各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングし、前記損失関数には、前記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応する。

本実施例において、トレーニングペアに関連付けられる損失関数を定義し、画像の詳細な特性は主にグレースケール成分部分に存在することを考慮して、損失関数に、画像強調モデルがトレーニングペアを使用するときの予測画像グレースケール成分画像の分周情報と、ターゲット画像のグレースケール成分画像の分周情報を追加し、異なるトレーニングペアが異なる損失関数を使用するとき、損失関数に、このトレーニングペアの予測画像とターゲット画像のコンテンツ情報とセマンティック情報を具現させ、画像強調モデルのトレーニングプロセスでの不適切な問題による過度の平滑化の問題を効果的に緩和する。

本開示の実施例において、画像強調モデルのトレーニング方法を提供し、当該方法は図１に示される方法を含み、さらに、ステップＳ１２において、各サンプル画像グループに関連付けられるターゲット画像を決定することは、以下の方法のうちの１つを含む。

方法１において、サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得する。

方法２において、サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得する。

方法３において、サンプル画像グループから第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得する。

方法４において、サンプル画像グループから、鮮明度が最も高いサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得する。

ここで、サンプル画像の鮮明度を計算する方法は、ラプラシアン演算子を介してすべての画像の勾配値を取得し、各画像の勾配値を計算し、勾配値に従って鮮明度を決定する方法を含み、勾配値は鮮明度に比例する。鮮明度が最も高いサンプル画像を選択して勾配値が最も高いサンプル画像として選択する。

参照画像を決定した後、特徴点およびオプティカルフロー法を使用して、他の入力画像を参照画像と位置合わせし、位置合わせの後、融合処理を実行し、融合のプロセスにおいて同じ位置のピクセル間の差を計算し、当該差は、通常、ノイズによる差と部分的なコンテンツの変更によって引き起こされる。この差に従って融合するときの重みを決定し、部分的な内容の差は、融合した後にアーティファクトを引き起こしやすいが、ノイズの差は、ノイズ除去に役立ち、重みを調整することにより、ノイズ除去とアーティファクト解除のバランスが取れる。画像に対してノイズ推定を実行することにより、当該グループの画像のノイズレベルを知ることができ、ノイズが大きい場合は、他の画像と参照フレームとの差が主にノイズであることを意味し、他の画像の重みを適切に大きくして、融合後のノイズ除去効果を良好にすることができ、逆に、重みを低く抑えてアーティファクトを回避することができる。

本実施例において、マルチフレーム低品質のサンプル画像を使用して、ノイズシミュレーションやブラーシミュレーションに関しない、高品質のターゲット画像を融合して、ターゲット画像に、より多いサンプル画像の詳細な特徴を持たせ、詳細な機能に対するマシンイ画像強調モデルの学習に役立つ。

本開示の実施例において、画像強調モデルのトレーニング方法を提供し、前記方法は図１に示される方法を含み、且つ、ステップＳ１１において撮影機器を介して撮影するとき、安定した支持機器（三脚など）に撮影機器をを固定して、連続撮影を実行する。同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なる。例えば、撮影シーンは、印刷物のコンテンツを近距離で撮影するシーン、オフィスシーン、自画像シーン、風景シーン、建築シーンなどを含む。

一実施形態において、ステップＳ１２において、各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定することは、以下の方法のうちのいずれか１つを含む。

方法１において、サンプル画像グループを、トレーニング入力画像グループとして使用する。

方法２において、サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成する。

当該方法２における選択方法は、撮影シーケンスの中位の複数の画像を選択する方法、各画像の鮮明度を計算し、且つ鮮明度ランキングでミドルフロント設定比率の複数の画像を選択する方法、各画像の鮮明度を計算し、鮮明度ランキングでミドルフロントに設定した比例の複数の画像を選択する方法のうちのいずれか１つを含む。一実現形態において、各サンプル画像グループのサンプル画像が第１固定数量である場合、選択したサンプル画像の一部のデータは第２固定数量であり、第１固定数量は第２固定数量より大きい。

例えば、ステップＳ１１には、５００のシナリオが含まれ、各シナリオで２０枚の画像を連続撮影して、サンプル画像グループを形成する。ステップＳ１２において、前記方法１を使用するとき、サンプル画像グループをトレーニング入力画像グループとして使用し、それにより５００個のトレーニングペアを構築し、各トレーニングペアは、１つのトレーニング入力画像グループと１つのターゲット画像を含み、各トレーニング入力画像グループは、２０枚のサンプル画像を含む。ステップＳ１２において、前記方法２を使用するとき、各サンプル画像グループから１０枚のサンプル画像を選択してトレーニング入力画像グループを構築する。それにより、５００個のトレーニングペアを構築し、各トレーニングペアは、１つのトレーニング入力画像グループと１つのターゲット画像を含み、各トレーニング入力画像グループは、１０枚のサンプル画像を含む。

本実施例において、各サンプル画像グループから、関連付けられるトレーニング入力画像グループを決定するステップを介して、サンプル画像のさまざまな互換性レベルを選択する権利を提供し、サンプル画像との互換性が高い場合、前記方法１を使用して、サンプル画像グループのサンプル画像のすべてをトレーニングに使用し、サンプル画像との互換性が低い場合、前記方法２を使用して、サンプル画像グループのサンプル画像に対してフィルタリングを実行した後、フィルタリングされたサンプル画像をトレーニングに使用する。

本開示の実施例において、画像強調モデルの方法を提供し、前記方法は図１に示される方法を含み、さらに、ステップＳ１５において、分周処理を実行する前に、画像強調モデルによって出力された予測画像のグレースケール成分画像及びターゲット画像のグレースケール成分画像を計算する。

カメラ機器で撮影した画像は、通常、赤、黄、青の３成分画像を含む、ＲＧＢ色空間の画像であり、以下の関係により、グレースケール、彩度、色飽和の３成分を含む、ＹＵＶ色空間画像に変換される。

Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｕ＝−０．１６７８＊Ｒ−０．３３１３＊Ｇ＋０．５＊Ｂ、
Ｙ＝０．５＊Ｒ−０．４１８７＊Ｇ−０．０８１３＊Ｂ。

上述の変換方式により、ターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒを取得することができる。

カメラ機器で撮影した画像がＹＵＶ色空間画像である場合、画像からグレースケール成分画像を抽出する。

ステップＳ１５において、ターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇに対して分周処理を実行し、ターゲット画像Ｇが異なる周波数間隔におけるグレースケール分周画像を取得する。予測画像Ｒのグレースケール成分画像Ｙ＿Ｒに対して分周処理を実行して、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒの異なる周波数間隔のグレースケール成分画像を取得する。

本開示の実施例において、画像強調モデルの方法を提供し、当該方法は図１に示された方法を含み、当該方法において、周波数間隔の数は、２、３または３以上である。分周処理を実行するとき、周波数範囲はガウスフィルタリングの半径によって決定される。例えば、元の画像はＡであり、半径がＲで、分散が０であるガウスフィルタリングを使用して、Ａに対してガウスフィルタリングを実行して低周波画像Ｂを取得し、ＡからＢを減算してＣを取得し、Ｃは高周波画像である。半径Ｒは、ＢとＣの間の間隔を決定する。Ｒが大きいほど、Ｃの成分が多くなる。同様に、引き続きＢでガウスフィルタリングを実行してより周波数の低いＤを取得し、ＢからＤを減算してＥを取得できる。ＥはＤに比べて高い周波数であるが、Ｃに比べては中間の周波数である。または、周波数間隔の数が２つ以上である場合、異なるバンドパスフィルタを使用してフィルタリング処理を実行し、各周波数間隔に対応する分周画像を取得する。

一実施形態において、周波数間隔の数は２つであり、損失関数は２つのグレースケール損失成分を含み、当該２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含む。

ステップＳ１５において、予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における予測画像のグレースケール成分画像を取得することは、予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、予測画像のグレースケール成分画像と第１グレースケール低周波画像の差を計算して第１グレースケール高周波画像として使用し、２つの周波数間隔における予測画像のグレースケール成分画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含む。

ステップＳ１５において、ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔におけるターゲット画像のグレースケール分周画像を取得することは、ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、ターゲット画像のグレースケール成分画像と第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用し、ターゲット画像が２つの周波数間隔におけるグレースケール成分画像は、第２グレースケール低周波画像と第２グレースケール高周波画像を含む。

例えば、ターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇに対して２つの周波数間隔の分周処理を実行するとき、ターゲット画像Ｇのグレースケール低周波画像Ｙ＿Ｇ＿ｂａｓｅｌａｙｅｒを取得し、グレースケール成分画像Ｙ＿Ｇとグレースケール低周波画像Ｙ＿Ｇ＿ｂａｓｅｌａｙｅｒが差し引かれて、ターゲット画像Ｇのグレースケール高周波画像Ｙ＿Ｇ＿ｄｅｔａｉｌｌａｙｅｒを取得する。図２に示されるような３つの画像では、左から順に、例示のターゲット画像のグレースケール成分画像、グレースケール低周波画像、グレースケール高周波画像である。

ステップＳ１５において、予測画像のグレースケール成分画像に対して分周処理を実行し、複数の周波数間隔における予測画像のグレースケール成分画像を取得することは、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用し、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含む。

ステップＳ１５において、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することは、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用し、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含む。

損失関数Ｍ＿Ｌｏｓｓは行列であり、損失関数は各グレースケール損失成分の和であり、式（１）に示すようである。

ここで、Ｋ１は、高周波数間隔に対応する重み係数であって、Ｙ＿ｄｅｔａｉｌｌａｙｅｒ＿ｄｆはターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール高周波画像Ｙ＿Ｇ＿ｄｅｔａｉｌｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール高周波画像Ｙ＿Ｒ＿ｄｅｔａｉｌｌａｙｅｒとの差である。

Ｋ２は、低周波数範囲に対応する重み係数であって、Ｙ＿ｂａｓｅｌａｙｅｒ＿ｄｉｆはターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール低周波画像Ｙ＿Ｒ＿ｂａｓｅｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ｂａｓｅｌａｙｅｒとの差である。

Ｋ１は、Ｋ２よりも大きく、画像の詳細をより多く具現するために、高周波成分であるほど、重みも大きくされ、特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなる。特性周波数は、例えば、周波数間隔の最高周波数、最低周波数、中心周波数など、周波数間隔の位置を示す周波数であり、または特性周波数は同時に最高周波数と最低周波数を含む。異なる周波数間隔間はオーバーラップ部分はない。

一実施形態において、周波数間隔の数は３つで、損失関数は３つのグレースケール損失成分を含み、当該３つのグレースケール損失成分は、低周波損失成分、中周波損失成分および高周波損失成分を含む。

損失関数Ｍ＿Ｌｏｓｓは、行列であり、損失関数は各グレースケール損失成分の和であり、式（２）に示すようである。

ここで、Ｘ１は、高周波数間隔に対応する重み係数であって、Ｙ＿ＦＨｌａｙｅｒ＿ｄｉｆは、ターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール高周波画像Ｙ＿Ｇ＿ＦＨｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール高周波画像Ｙ＿Ｒ＿ＦＨｌａｙｅｒとの差である。

Ｘ２は、中周波数範囲に対応する重み係数であり、Ｙ＿ＦＭｌａｙｅｒ＿ｄｉｆは、ターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール中周波画像Ｙ＿Ｇ＿ＦＭｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール中周波画像Ｙ＿Ｒ＿ＦＭｌａｙｅｒとの差である。

Ｘ３は、低周波数範囲に対応する重み係数であり、Ｙ＿ＦＬｌａｙｅｒ＿ｄｉｆはターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール低周波画像Ｙ＿Ｇ＿ＦＬｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ＦＬｌａｙｅｒとの差である。

特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなり、即ち、Ｘ１は、Ｘ２より大きいく、Ｘ２は、Ｘ３より大きい。

一実施形態において、周波数間隔の数は４つであり、損失関数は４つのグレースケール損失成分を含み、当該４つのグレースケール損失成分は、周波数の高いものから低いものへの順に、第１損失成分、第２損失成分、第３損失成分および第４損失成分を含む。

同様に、損失関数は、さらに、４つ以上のグレースケール損失成分を含み得る。

本実施例において、特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくして、より多くの画像の詳細を具現し、画像の詳細に関するより多くの情報を損失関数に表示させる。

本開示の実施例において、画像強調モデルの方法を提供し、前記方法は図１に示される方法を含み、前記方法は、さらに、各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像Ｙ＿Ｇ＿ｅｄｇｅを取得し、エッジ画像Ｙ＿Ｇ＿ｅｄｇｅに従ってエッジ確率マップＹ＿Ｇ＿Ｐを決定することを含む。損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、予測画像が、当該周波数間隔のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、エッジ確率マップとのドット積行列を含む。

エッジ検出を実行する方法は様々あり、例えば、Ｃａｎｎｙ演算子検出方法を使用し、当該検出方法は、下記のステップのうちの少なくとも１つを含む。

１、ガウスフィルタリング処理のステップであって、ノイズを除去と平滑化処理のために使用される。

２、非最大抑制（ｎｏｎ−ｍａｘｉｍｕｍｓｕｐｐｒｅｓｓｉｏｎ）技術を適用して、エッジの誤検出を排除し、各ピクセルの勾配強度の最大値を維持し、最大値以外の他の値を削除する。

３、二重閾値法を適用して、可能な（潜在的な）境界を決定し、２つの閾値を設定する。上限閾値よりも大きいのは強いエッジであり、下限閾値よりも小さいのはエッジではなく、中央のエッジは未決定のエッジである。

４、ヒステリシステクノロジを使用して境界を追跡し、未決定のエッジと強いエッジの間の接続をエッジと見なし、逆に、エッジと見なさない。

一実施形態において、エッジ画像Ｙ＿Ｇ＿ｅｄｇｅに従ってエッジ確率マップＹ＿Ｇ＿Ｐを決定することは、エッジ画像Ｙ＿Ｇ＿ｅｄｇｅに対して、ガイド付きフィルタリングを実行して、エッジ確率マップＹ＿Ｇ＿Ｐを取得することを含み、前記ガイド付きフィルタリングのガイドマップはターゲット画像またはターゲット画像のグレースケール成分画像である。ガイド付きフィルタリングは、画像フィルタリングテクノロジであって、１つのガイドマップを介してエッジ画像Ｙ＿Ｇ＿ｅｄｇｅに対してフィルタリング処理を実行して、最終的な予測画像が検出されたエッジを可能な限り保持すると同時に、誤ってエッジとしてチェックされたノイズを可能な限り除去し、最終的に１つの確率マップＹ＿Ｇ＿Ｐを取得し、当該確率マップの各ピクセルの確率値は、当該ピクセルがエッジポイントである確率を表す。

一実施形態において、損失関数は、２つのグレースケール損失成分を含み、当該２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含む。

損失関数Ｍ＿Ｌｏｓｓは行列であり、損失関数は各グレースケール損失成分の和であり、式（３）に示すようである。

ここで、Ｋ１は、高周波数間隔に対応する重み係数であり、Ｙ＿Ｇ＿Ｐは、ターゲット画像のグレースケール成分画像のエッジ画像Ｙ＿Ｇ＿ｅｄｇｅに対してガイド付きフィルタリングを実行して取得したエッジ確率マップＹ＿Ｇ＿Ｐであり、Ｙ＿ｄｅｔａｉｌｌａｙｅｒ＿ｄｉｆはターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール高周波画像Ｙ＿Ｇ＿ｄｅｔａｉｌｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール高周波画像Ｙ＿Ｒ＿ｄｅｔａｉｌｌａｙｅｒとの差であり、＊は行列ドット演算を表す。Ｋ２は、低周波数範囲の重み係数であり、Ｙ＿ｂａｓｅｌａｙｅｒ＿ｄｉｆは予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ｂａｓｅｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ｂａｓｅｌａｙｅｒとの差である。

一実施形態において、周波数間隔の数が３である場合、低周波数間隔、中周波数間隔、および高周波数間隔の３つの間隔に分割され、損失関数は３つのグレースケール損失成分を含み、前記３つのグレースケール損失成分は、低周波損失成分、中周波損失成分と高周波損失成分を含む。

損失関数は、行列Ｍ＿Ｌｏｓｓであり、損失関数は各グレースケール損失成分の和であり、式（４）に示すようである。

ここで、Ｘ１は、高周波数間隔に対応する重み係数であり、Ｙ＿Ｇ＿Ｐは、ターゲット画像のグレースケール成分画像のエッジ画像Ｙ＿Ｇ＿ｅｄｇｅに対してガイド付きフィルタリングを実行して取得したエッジ確率マップＹ＿Ｇ＿Ｐであり、Ｙ＿ＦＨｌａｙｅｒ＿ｄｉｆはターゲット画像Ｇのグレースケール成分画像Ｙ＿Ｇのグレースケール高周波画像Ｙ＿Ｇ＿ＦＨｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール高周波画像Ｙ＿Ｒ＿ＦＨｌａｙｅｒとの差であり、＊は行列ドット演算を表す。

Ｘ２は、中周波数範囲に対応する重み係数であり、Ｙ＿ＦＭｌａｙｅｒ＿ｄｉｆは予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール中周波画像Ｙ＿Ｒ＿ＦＭｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール中周波画像Ｙ＿Ｒ＿ＦＭｌａｙｅｒとの差である。

Ｘ３は、低周波数範囲に対応する重み係数であり、Ｙ＿ＦＬｌａｙｅｒ＿ｄｉｆは予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ＦＬｌａｙｅｒと、予測画像Ｒのグレースケール成分画像Ｙ＿Ｒのグレースケール低周波画像Ｙ＿Ｒ＿ＦＬｌａｙｅｒとの差である。

本実施例において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分に確率画像の重みを増加することを介して、損失関数に画像のセマンティック情報を増加して、サンプルの不均衡の問題を解決する。

本開示の実施例において、画像強調モデルの方法を提供し、当該方法は図１に示された方法を含み、当該方法において、損失関数は、各グレースケール損失成分の和を含む基で、さらに、色度損失成分および／または色飽和損失成分を含む。具体的には、下記のようである。

損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含む。

または、損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含む。

または、損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含む。

前記色度損失成分は、前記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、前記色飽和損失成分は、前記画像強調モデルによって出力された予測画像の色飽和損失成分画像と、対応するターゲット画像の色飽和損失成分画像との差である。

一実施形態において、式（１）に基づいて、損失関数は、式（５）、（６）、（７）のうちの任意の１つの式に示すようである。

式（３）に基づいて、損失関数は、式（８）、（９）、（１０）のうちの任意の１つの式に示すようである。

ここで、Ｕ＿ｄｉｆは、ターゲット画像Ｇの色度成分画像Ｕ＿Ｇと、予測画像Ｒの色度成分画像Ｕ＿Ｒとの差であり、Ｖ＿ｄｉｆは、ターゲット画像Ｇの色飽和成分画像Ｖ＿Ｇと、予測画像Ｒの色度成分画像Ｖ＿Ｒとの差である。

周波数間隔の数が２より大きい場合、損失関数の設定方法は、上記の周波数間隔の数が２である場合と同様で、ここで再び説明しない。

本開示の実施例において画像強調方法を提供し、当該方法は、上記のトレーニング方法を使用して画像強調モデルのトレーニングに成功した後、レーニングに成功した画像強調モデルを使用して、処理される画像に対して強調処理を実行することを含む。

本開示の実施例において、画像強調モデルのトレーニング装置を提供する。図３を参照すれば、図３は、一例示的な実施例によって示された画像強調モデルのトレーニング装置の構造図である。図３に示されるように、当該装置は、
撮影機器で撮影した複数のサンプル画像グループを決定するように構成される、第１決定モジュール３０１と、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定するように構成される、第２決定モジュール３０２と、
複数のトレーニングペアを構築するように構成される構築モジュール３０３であって、各トレーニングペアに、１つのトレーニング入力画像グループと対応するターゲット画像を含む、構築モジュール３０３と、
各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得するように構成される、入力モジュール３０４と、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される、分周モジュール３０５と、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングするように構成されるトレーニングモジュール３０６であって、前記損失関数には、複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応するトレーニングモジュール３０６と、を含む。

一実施形態において、損失関数の損失特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなる。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、当該トレーニング装置は図３に示されるトレーニング装置を含み、さらに、ここで、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュール３０５は、さらに、前記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含む、ことを使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成される。

前記分周モジュール３０５は、さらに、前記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、当該トレーニング装置は図３に示されるトレーニング装置を含み、さらに、ここで、前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュール３０５は、さらに、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成される。

前記分周モジュール３０５は、さらに、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、当該トレーニング装置は、図３に示されるトレーニング装置を含み、且つ、前記装置は、さらに、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得するように構成される、エッジ検出モジュールと、
前記エッジ画像に従ってエッジ確率マップを決定するように構成される、エッジ確率計算モジュールとを含み、
前記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における前記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、前記エッジ確率マップとのドット積行列を含む。

一実施形態において、前記エッジ確率計算モジュールは、前記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することであって、前記ガイド付きフィルタリングのガイドマップは前記ターゲット画像または前記ターゲット画像のグレースケール成分画像であること、を使用して、前記エッジ画像に従ってエッジ確率マップを決定するように構成される。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、当該トレーニング装置は、図３に示されるトレーニング装置を含み、さらに、前記損失関数は複数のグレースケール損失成分の和を含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
前記色度損失成分は、前記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、前記色飽和損失成分は、前記画像強調モデルによって出力された予測画像の色飽和損失成分画像と、対応するターゲット画像の色飽和損失成分画像との差である。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、当該トレーニング装置は、図３に示されるトレーニング装置を含み、さらに、同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なり、
第２決定モジュール３０２は、さらに、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のうちのいずれか１つを使用して、各サンプル画像グループに関連付けられるターゲット画像を決定するように構成され、
前記第２決定モジュールは、さらに、
前記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
前記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成すること、のうちのいずれか１つを使用して、各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定するように構成される。

本開示の実施例において、画像強調装置を提供し、当該トレーニング装置は、上記のトレーニング装置および強調処理モジュールを含み、前記強調処理モジュールは、前記トレーニング装置でトレーニングに成功した画像強調モデルを使用して、処理される画像を対して強調処理を実行するように構成される。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、前記トレーニング装置は、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
ここで、前記プロセッサは、前記メモリ内の実行可能な命令を実行して、上記方法のステップを実現するように構成される。

本開示の実施例において、画像強調モデルのトレーニング装置を提供し、実行可能命令が記憶される、非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令がプロセッサによって実行される時に、前記方法のステップを実現することを特徴とする。

図４は、一例示的な実施例によって示された画像強調モデルのトレーニング装置４００のブロック図である。例えば、装置４００は携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等であり得る。

図４を参照すると、装置４００は、処理コンポーネント４０２、メモリ４０４、電力コンポーネント４０６、マルチメディアコンポーネント４０８、オーディオコンポーネント４１０、入力／出力（Ｉ／Ｏ）インターフェース４１２、センサコンポーネント４１４、及び通信コンポーネント４１６のうちの１つまたは複数のコンポーネットを含み得る。

処理コンポーネント４０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような装置４００の全般的な操作を制御する。処理コンポーネント４０２は、前記方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ４２０を含んで命令を実行することができる。加えて、処理コンポーネント４０２は、処理コンポーネント４０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント４００は、マルチメディアコンポーネント４０８と処理コンポーネント４０２との間の相互作用を容易にするために、マルチメディアモジュールを含むことができる。

メモリ４０４は、機器４００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、装置４００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ４０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせで実装することができる。

電力コンポーネント４０６は、装置４００の様々なコンポーネントに電力を提供する。電力コンポーネント４０６は、電力管理システム、１つまたは複数の電源、及び装置４００の電力の生成、管理および割り当てに関する他のコンポーネントを含むことができる。

マルチメディアコンポーネント４０８は、前記バッテリの充電装置４００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント４０８は、１つのフロントカメラ及び／またはリアカメラを含む。機器４００が、撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラ及び／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。

オーディオコンポーネント４１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント４１０は、１つのマイクロフォン（ＭＩＣ）を含み、装置４００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ４０４さらに記憶されてもよく、または通信コンポーネント４１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント４１０は、さらに、オーディオ信号を出力するためのスピーカを含む。

Ｉ／Ｏインターフェース４１２は、処理コンポーネント４０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであり得る。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含むが、これらに限定されない。

センサコンポーネント４１４は、装置４００に各態様の状態の評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント４１４は、機器４００のオン／オフ状態と、装置４００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント４１４は、さらに、装置４００または装置４００のコンポーネントの位置の変化、ユーザとの装置４００の接触の有無、装置４００の向きまたは加速／減速、及び装置４００の温度の変化も検出することができる。センサコンポーネット４１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサコンポーネント４１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント４１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。

通信コンポーネント４１６は、装置５００と他の装置の間の有線または無線通信を容易にするように構成される。装置４００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント４１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント４１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現することができる。

例示的な実施例において、装置４００は、前記方法を実行するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって実現されることができる。

例示的な実施例において、さらに、命令を含むメモリ４０４などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記命令は、装置４００のプロセッサ４２０によって実行されて前記方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクおよび光学データ記憶装置などであり得る。

当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本開示の他の実施形態を容易に想到し得るであろう。本願は、本開示のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本開示の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本開示の真の範囲および思想は添付の特許請求の範囲によって示される。

本開示は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims

画像強調モデルのトレーニング方法であって、
撮影機器で撮影した複数のサンプル画像グループを決定することと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定することと、
複数のトレーニングペアを構築することであって、各トレーニングペアは、１つのトレーニング入力画像グループと、対応するターゲット画像を含むことと、
各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得することと、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングすることと、を含み、
前記損失関数には、前記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応することを特徴とする、前記画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなることを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得することは、前記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することを含み、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することは、前記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することを含み、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むことを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得することは、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することを含み、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含み、
前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得することは、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することを含み、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むことを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得し、前記エッジ画像に従ってエッジ確率マップを決定することをさらに含み、
前記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における前記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、前記エッジ確率マップとのドット積行列を含むことを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
前記エッジ画像に従ってエッジ確率マップを決定することは、
前記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することを含み、前記ガイド付きフィルタリングのガイドマップは、前記ターゲット画像または前記ターゲット画像のグレースケール成分画像であることを特徴とする、
請求項５に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
前記損失関数は、複数のグレースケール損失成分の和を含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
前記色度損失成分は、前記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、前記色飽和損失成分は、前記画像強調モデルによって出力された予測画像の色飽和成分画像と、対応するターゲット画像の色飽和成分画像との差であることを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
前記画像強調モデルのトレーニング方法は、
同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シシーンは異なり、
前記各サンプル画像グループに関連付けられるターゲット画像を決定することは、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のうちのいずれか１つを含み、
前記各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定することは、
前記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
前記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成することのうちのいずれか１つを含むことを特徴とする、
請求項１に記載の画像強調モデルのトレーニング方法。
画像強調モデルのトレーニング装置であって、
撮影機器で撮影した複数のサンプル画像グループを決定するように構成される、第１決定モジュールと、
各サンプル画像グループに関連付けられるターゲット画像、及びトレーニング入力画像グループを決定するように構成される、第２決定モジュールと、
複数のトレーニングペアを構築するように構成される構築モジュールであって、各トレーニングペアに、１つのトレーニング入力画像グループと対応するターゲット画像を含む、構築モジュールと、
各トレーニング入力画像グループを前記画像強調モデルに入力して、前記画像強調モデルによって出力された予測画像を取得するように構成される、入力モジュールと、
前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得し、対応するターゲット画像のグレースケール成分画像に対して分周処理を実行して、前記複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成される、分周モジュールと、
各トレーニングペアにそれぞれ対応する損失関数を使用して、収束するまで前記画像強調モデルをトレーニングするように構成されるトレーニングモジュールであって、前記損失関数には、前記複数の周波数間隔に１対１で対応する複数のグレースケール損失成分が含まれ、各グレースケール損失成分は、各周波数間隔内の前記予測画像のグレースケール分周画像と、対応するターゲット画像のグレースケール分周画像との差に基づいて決定され、異なるグレースケール損失成分は異なる周波数間隔に対応するように構成される、トレーニングモジュールと、を含むことを特徴とする、前記画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
特性周波数が高い周波数間隔であるほど、対応するグレースケール損失成分の重み係数が大きくなることを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュールは、さらに、前記予測画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第１グレースケール低周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール低周波画像との差を計算して第１グレースケール高周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成され、
さらに、前記ターゲット画像のグレースケール成分画像に対してローパスフィルタリングを実行して、第２グレースケール低周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール低周波画像との差を計算して第２グレースケール高周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成されることを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
前記損失関数は、２つのグレースケール損失成分を含み、前記２つのグレースケール損失成分は、低周波損失成分と高周波損失成分を含み、
前記分周モジュールは、さらに、前記予測画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第１グレースケール高周波画像を取得し、前記予測画像のグレースケール成分画像と前記第１グレースケール高周波画像との差を計算して第１グレースケール低周波画像として使用することであって、２つの周波数間隔における前記予測画像のグレースケール分周画像は、前記第１グレースケール低周波画像と第１グレースケール高周波画像を含むこと、を使用して、前記予測画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記予測画像のグレースケール分周画像を取得するように構成され、
さらに、前記ターゲット画像のグレースケール成分画像に対してハイパスフィルタリングを実行して、第２グレースケール高周波画像を取得し、前記ターゲット画像のグレースケール成分画像と前記第２グレースケール高周波画像との差を計算して第２グレースケール低周波画像として使用することであって、２つの周波数間隔における前記ターゲット画像のグレースケール分周画像は、前記第２グレースケール低周波画像と第２グレースケール高周波画像を含むこと、を使用して、前記ターゲット画像のグレースケール成分画像に対して分周処理を実行して、複数の周波数間隔における前記ターゲット画像のグレースケール分周画像を取得するように構成されることを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、さらに、
各トレーニングペアにおけるターゲット画像のグレースケール成分画像に対してエッジ検出を実行してエッジ画像を取得するように構成される、エッジ検出モジュールと、
前記エッジ画像に従ってエッジ確率マップを決定するように構成される、エッジ確率計算モジュールと、を含み、
前記損失関数において、特性周波数が最も高い周波数間隔に対応するグレースケール損失成分は、当該周波数間隔における前記予測画像のグレースケール成分画像と当該周波数間隔における対応するターゲット画像のグレースケール成分画像との差と、前記エッジ確率マップとのドット積行列を含むことを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
前記エッジ確率計算モジュールは、前記エッジ画像に対してガイド付きフィルタリングを実行して、エッジ確率マップを取得することであって、前記ガイド付きフィルタリングのガイドマップは前記ターゲット画像または前記ターゲット画像のグレースケール成分画像であること、を使用して、前記エッジ画像に従ってエッジ確率マップを決定するように構成されることを特徴とする、
請求項１３に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
前記損失関数は、複数のグレースケール損失成分の和を含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色飽和損失成分の和とを含み、
または、前記損失関数は、複数のグレースケール損失成分の和と、色度損失成分及び色飽和損失成分の和とを含み、
前記色度損失成分は、前記画像強調モデルによって出力された予測画像の色度成分画像と、対応するターゲット画像の色度成分画像との差であり、前記色飽和損失成分は、前記画像強調モデルによって出力された予測画像の色飽和損失成分画像と、対応するターゲット画像の色飽和損失成分画像との差であることを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
前記画像強調モデルのトレーニング装置は、
同じサンプル画像グループにおけるサンプル画像の撮影シーンは同じであり、異なるサンプル画像グループにおけるサンプル画像の撮影シーンは異なり、
第２決定モジュールは、さらに、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセルの平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループの各サンプル画像に従って、同じ位置のピクセル加重平均値を計算して、ターゲット画像を取得すること、
サンプル画像グループから、鮮明度が最も高いサンプル画像、第１フレームのサンプル画像または、最後の１フレームのサンプル画像を参照画像として選択し、サンプル画像グループの各サンプル画像に従って特徴点を計算し、前記参照画像に従って前記サンプル画像グループの他のサンプル画像に対して特徴点の位置合わせ操作を実行し、位置合わせ操作の後のサンプル画像に対してマルチフレーム画像融合を実行して、ターゲット画像を取得すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるターゲット画像を決定するように構成され、
前記第２決定モジュールは、さらに、
前記サンプル画像グループを、トレーニング入力画像グループとして使用すること、
前記サンプル画像グループから、サンプル画像の一部を選択して、トレーニング入力画像グループを形成すること、のいずれか１つを使用して、各サンプル画像グループに関連付けられるトレーニング入力画像グループを決定するように構成されることを特徴とする、
請求項９に記載の画像強調モデルのトレーニング装置。
画像強調モデルのトレーニング装置であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリの実行可能命令を実行して、請求項１ないし８のいずれか一項に記載の方法のステップを実現するように構成されることを特徴とする、前記トレーニング装置。
実行可能命令が記憶される、非一時的なコンピュータ可読記憶媒体であって、前記実行可能命令が、プロセッサによって実行されるとき、請求項１ないし８のいずれか一項に記載の方法のステップを実現することを特徴とする、前記非一時的なコンピュータ可読記憶媒体。