JP2021519051A - ビデオ修復方法および装置、電子機器、ならびに記憶媒体 - Google Patents

Abstract

本開示は、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するステップ（Ｓ１００）と、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い（Ｓ２００）、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行するステップ（Ｓ３００）と、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得るステップ（Ｓ４００）と、を含むビデオ修復方法および装置、電子機器、ならびに記憶媒体に関する。【選択図】図１

Description

関連出願の相互参照

本開示は、２０１９年１月３１日に中国特許局に提出された、出願番号２０１９１００９９７６２．４、出願の名称「ビデオ修復方法および装置、電子機器、ならびに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。

本開示は、ビデオ修復の分野に関し、特にビデオ修復方法および装置、電子機器、ならびに記憶媒体に関する。

画像修復は従来から、コンピュータビジョンにおける重量な課題であり、例えば、画像修復によって画像透かしの除去や画像補修等の目的が実現できるように、多くの分野で重要な適用を有する。ビデオ修復は、画像修復のビデオへの拡大適用として、単純な画像修復の課題に比べて、その実現がはるかに困難である。しかしながら、インターネットの発展に伴い、ビデオ修復アルゴリズムは、例えばビデオ透かしの除去やビデオの何らかの部分の除去等、より広範な用途展開の可能性が高くなる。

本開示の実施例は、ビデオ修復の解決手段を提供する。

本開示の第１の態様によれば、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得することと、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行することと、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得ることと、を含むビデオ修復方法を提供する。

いくつかの可能な実施形態では、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得することは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定することと、ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数であることと、を含む。

いくつかの可能な実施形態では、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行うことは、前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得ることと、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、Ｎは１以上の正整数であることと、前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、を含む。

いくつかの可能な実施形態では、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行うことは、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対して１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得ることと、前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してそれぞれｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得て、ｉは１より大きく且つＮより小さい正整数であることとを含み、Ｎ回目の最適化処理により得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定し、ここで、各回のオプティカルフロー最適化処理は残差処理およびアップサンプリング処理を含む。

いくつかの可能な実施形態では、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行うことは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得ることと、得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、を含む。

いくつかの可能な実施形態では、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて各画像の第１の修復画像を得ることは、前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得ることと、ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すことと、を含む。

いくつかの可能な実施形態では、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることと、得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、を含む。

いくつかの可能な実施形態では、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることは、前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得ることと、ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すことと、を含む。

いくつかの可能な実施形態では、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得ることは、複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得ることと、複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得ることと、各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得ることと、を含む。

いくつかの可能な実施形態では、前記方法は、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることを、オプティカルフロー最適化モジュールによって実行することを含み、前記方法は、前記オプティカルフロー最適化モジュールをトレーニングすることをさらに含み、前記トレーニングは、複数群のオプティカルフローサンプル、および各オプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを取得することと、前記オプティカルフロー最適化モジュールを用いて前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得ることと、前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点のマスク画像におけるマスク値を調整して新しいマスクサンプルを得ることと、予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得ることと、前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化モジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化モジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行することと、を含む。

いくつかの可能な実施形態では、前記予め設定された損失関数の表現式は以下のとおりである。

式中、Ｌはオプティカルフロー最適化処理の損失関数を表し、Ｍは元のマスクサンプルであり、

は新しいマスクサンプルを表し、

は得られた最適化オプティカルフローを表し、

は実際のオプティカルフローを表し、

は重み値である。

本開示の第２の態様によれば、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するための取得モジュールと、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得るためのオプティカルフロー最適化モジュールと、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行するための伝播最適化モジュールと、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得るための修復モジュールと、を含むビデオ修復装置を提供する。

いくつかの可能な実施形態では、前記取得モジュールはさらに、前記複数フレームの画像の各々のマスク画像を取得し、また前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定することと、ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、前記マスク画像は対応画像の修復対象領域を表し、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数であることと、に用いられる。

いくつかの可能な実施形態では、前記オプティカルフロー最適化モジュールはさらに、前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得ることと、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、Ｎは１以上の正整数であるステップと、前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、に用いられる。

いくつかの可能な実施形態では、前記オプティカルフロー最適化モジュールはさらに、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対して１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得ることと、前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してそれぞれｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得て、ｉは１より大きく且つＮより小さい正整数であることとに用いられ、Ｎ回目の最適化処理により得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定し、ここで、各回のオプティカルフロー最適化処理は残差処理およびアップサンプリング処理を含む。

いくつかの可能な実施形態では、前記伝播最適化モジュールは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得ることと、得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、に用いられる第１の伝播最適化ユニットを含む。

いくつかの可能な実施形態では、前記第１の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得ることと、ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すことと、に用いられる。

いくつかの可能な実施形態では、前記伝播最適化モジュールは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることと、得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、に用いられる第２の伝播最適化ユニットをさらに含む。

いくつかの可能な実施形態では、前記第２の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得ることと、ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すことと、に用いられる。

いくつかの可能な実施形態では、前記修復モジュールはさらに、複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得ることと、複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得ることと、各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得ることと、に用いられる。

いくつかの可能な実施形態では、前記オプティカルフロー最適化モジュールをトレーニングするためのトレーニングモジュールをさらに含み、前記トレーニングモジュールは、前記オプティカルフロー最適化モジュールに、複数群のオプティカルフローサンプル、および各オプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを入力することと、前記オプティカルフロー最適化モジュールを用いて前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得ることと、前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点のマスク画像におけるマスク値を調整して新しいマスクサンプルを得ることと、予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得ることと、前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化モジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化モジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行することと、に用いられる。

いくつかの可能な実施形態では、前記予め設定された損失関数の表現式は以下のとおりである。

式中、Ｌはオプティカルフロー最適化処理の損失関数を表し、Ｍは元のマスクサンプルであり、

は新しいマスクサンプルを表し、

は得られた最適化オプティカルフローを表し、

は実際のオプティカルフローを表し、

は重み値である。

本開示の第３の態様によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、第１の態様のいずれか一項に記載の方法を実行するように構成される電子機器を提供する。

本開示の第４の態様によれば、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、プロセッサに実行されると第１の態様のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ可読記憶媒体を提供する。

本開示の第５の態様によれば、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードは、電子機器で実行されると、前記電子機器のプロセッサに第１の態様のいずれか一項に記載の方法を実現するための命令を実行させるコンピュータプログラムを提供する。

本開示の実施例は、同時に複数の連続時間フレームのビデオ画像に対して修復処理を行うことができ、ここで、まず隣接するフレームの画像間の順方向オプティカルフローおよび逆方向オプティカルフローを最適化し、修復後の精度の高いオプティカルフローを取得し、その後、最適化された順方向オプティカルフローおよび逆方向オプティカルフローによってビデオ修復をガイドし、ビデオ画像の修正を完了することができる。このプロセスは、ビデオ修復の正確度を高めるとともに、フレーム間の連続性および整合性を高めることができる。また、本開示の実施例は修復速度が速く、修復のリアルタイム性が満たされる。

以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。

以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。

ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例に係るビデオ修復方法のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ１００のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ２００のフローチャートを示す。 本開示の実施例に係るオプティカルフロー最適化ネットワークの構成図を示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ３００のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ３０２のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ３００のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ３００２のフローチャートを示す。 本開示の実施例に係るビデオ修復方法におけるステップＳ４００のフローチャートを示す。 本開示の実施例に係るオプティカルフロー最適化モジュールのトレーニング方法のフローチャートを示す。 本開示の実施例に係るビデオ修復装置のブロック図を示す。 本開示の実施例に係る電子機器８００のブロック図を示す。 本開示の実施例に係る電子機器１９００のブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。

本明細書の用語の「および／または」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａおよび／またはＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示すことができる。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種または多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、ＢおよびＣから構成される集合から選択されるいずれか１つまたは複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。

図１は本開示の実施例に係るビデオ修復方法のフローチャートを示し、本開示の実施例のビデオ修復方法はビデオ画像の修復に用いることができ、また本開示の実施例は、連続したビデオフレームの修復の整合性を保証でき、且つ修復精度が高く、効率が高い。

本開示の実施例は、例えば携帯電話、カメラ、ノートパソコン、ＰＡＤ、クラウドサーバ等任意の端末機器やサーバ機器であり得る画像処理機器、またはビデオ収集機器に適用でき、画像処理の機能を有するものまたはビデオ情報を収集できるものであれば、本開示の実施例のビデオ修復方法を適用することができる。以下、本開示の実施例を詳細に説明する。

図１に示すように、本開示の実施例のビデオ修復方法は、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するステップＳ１００と、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得るステップＳ２００と、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行するステップＳ３００と、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得るステップＳ４００と、を含んでもよい。

本開示の実施例では、例えば深層学習ニューラルネットワークによってビデオ画像の修復を実現するように、構築されたニューラルネットワークによってビデオ修復のプロセスを実行してもよいが、これについて本開示は具体的に限定せず、本開示の実施例では、本開示の実施例により限定される機能とマッチするアルゴリズムによってビデオ修復のプロセスを実行してもよい。

ステップＳ１００の前に、まず修復対象のビデオ画像を取得し、連続したビデオフレーム画像（すなわち、上記連続した複数フレームの画像）を取得するようにしてもよく、ここで、本開示の実施例では、設定数の連続時間フレームの画像、例えば５フレームの画像を取得してもよく、または、他の実施例では、設定数は他の数値であってもよく、異なるニーズや状況に応じて当業者により自ら設定することができる。

連続した複数フレームの画像を取得した後、該複数フレームの画像に対して修復処理を行うことができる。まずステップＳ１００では、隣接画像間のオプティカルフローを取得してもよく、ここで、隣接画像とは隣接する２フレームの画像を意味する。時間フレームが時系列的なものであるため、本開示の実施例では、時間の順方向および逆方向の２つの方向から画像を処理して、ビデオの修復を実現するようにしてもよい。

また、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）は動画像間の変化を表すために用いることができ、時変画像におけるパターンの動き速度を指す。対象物体が動いている場合、画像におけるその対応点の輝度パターンも動いているため、オプティカルフローは画像間の変化を表すために用いることができ、また、オプティカルフローには対象の動き情報が含まれるため、対象の動き状況を特定するために観察者によって使用され得る。

相応して、本開示の実施例では、ステップＳ１００において、例えば時間フレームの順方向順序に従って、２つの隣接画像間の第１の順方向オプティカルフローを取得し、および時間フレームの逆方向順序に従って、２つの隣接画像間の第１の順方向オプティカルフローを取得するように、隣接する２つの画像間毎にオプティカルフローを取得するようにしてもよい。ここで、本開示の実施例における複数フレームの画像を

と仮定し、すなわち、例えば５または他の数値であってもよいＧフレームの画像が含まれ得る。第１の順方向オプティカルフロー

は時間フレームの順方向順序に従って取得でき、ここで、

は画像

から画像

への第１の順方向オプティカルフローを表し、ｉは１以上且つＧ未満の任意の整数である。また、第１の逆方向オプティカルフロー

は時間フレームの逆方向順序に従って取得でき、ここで、

は画像

から画像

への第１の逆方向オプティカルフローを表し、ｊは１以上且つＧ未満の整数である。

ここで、本開示の実施例では、例えばＦｌｏｗＮｅｔ ２．０であり得るオプティカルフロー推定モデルを用いて、画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得してもよく、本開示の他の実施例では、他の方法で画像間のオプティカルフローを取得してもよく、これについて本開示は具体的に限定しない。

また、オプティカルフロー最適化の正確度を高めるために、本開示の実施例では、マスク画像を併用して画像間のオプティカルフローを処理し、第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するようにしてもよい。図２は、本開示の実施例に係るビデオ修復方法におけるステップＳ１００のフローチャートを示す。ここで、連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得することは、以下を含んでもよい。

Ｓ１０１では、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得する。

本開示の実施例では、取得された複数フレームの画像のうちのいずれも、対応するマスク画像を有してもよく、該マスク画像は人為的に定められてもよい。例えば、各画像内の修復すべき領域に応じて対応するマスク画像を作成してもよく、ここで、マスク画像のスケールは対応画像のスケールと同じであり、且つマスク画像における画素点は対応画像の画素点と一対一対応になっている。本開示の実施例では、修復対象領域内の画素点の、マスク画像におけるマスクを１として定義し、他の修復対象外の領域の画素点の、マスク画像におけるマスクを０として定義するようにしてもよく、または、修復対象領域内の画素点の、マスク画像におけるマスクを０として定義し、他の修復対象外の領域の画素点の、マスク画像におけるマスクを１として定義するようにしてもよく、マスクは異なるニーズに応じて当業者により設定されてもよく、これについて本開示は具体的に限定しない。

Ｓ１０２では、前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定する。

このプロセスは、上記実施例に説明されたオプティカルフローを決定するプロセスと同じであり、例えば、オプティカルフロー推定モデルによって複数フレームの画像から隣接画像間の順方向オプティカルフローおよび逆方向オプティカルフローを取得するようにしてもよく、ここで、このプロセスの詳細について再度説明しない。

ここで、説明すべきものとして、ステップＳ１０１とステップＳ１０２の順序について、本開示の実施例は具体的に限定せず、ステップＳ１０１はステップＳ１０２の前に実行してもよく、ステップＳ１０２の後に実行してもよく、ステップＳ１０１とステップＳ１０２を同時に実行してもよい。ステップＳ１０３を実行する前に、各画像のマスク画像、および任意の２つの隣接画像間の順方向オプティカルフローと逆方向オプティカルフローが特定されていたならば、本開示の実施例となり得る。

Ｓ１０３では、ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、ここで、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数である。

すなわち、本開示の実施例では、順方向オプティカルフローに、対応するマスク画像を乗算し、順方向オプティカルフローのうち、最適化が必要なオプティカルフロー領域を特定し、対応する第１の順方向オプティカルフローを得るようにしてもよい。同様に、逆方向オプティカルフローに、対応するマスク画像を乗算し、逆方向オプティカルフローのうち、最適化が必要なオプティカルフロー領域を特定し、対応する第１の逆方向オプティカルフローを得るようにしてもよい。

上記実施例で説明したように、複数フレームの画像を

とし、得られた隣接画像間の順方向オプティカルフローを

とし、画像間の逆方向オプティカルフローを

とするようにしてもよい。ここで、各画像のマスク画像は

と表されてもよく、

はｋ番目の画像

のマスク画像を表し、ｋは１以上且つＧ以下の整数である。

相応して、本開示の実施例では、１番目の画像

と２番目の画像

との間の順方向オプティカルフローを得た後、例えば対応要素を乗算するように、該順方向オプティカルフローに２番目の画像

のマスク画像

を乗算し、１番目の画像

と２番目の画像

との間の第１の順方向オプティカルフローを得るようにしてもよい。同様に、２番目の画像

と３番目の画像

との間の順方向オプティカルフローを得て、そして例えば対応要素を乗算するように、該順方向オプティカルフローに３番目の画像

のマスク画像

を乗算し、２番目の画像

と３番目の画像

との間の第１の順方向オプティカルフローを得るようにしてもよい。同様に、例えば対応要素を乗算するように、ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローに、ｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得るようにしてもよい。上記のようにして、隣接画像間の第１の順方向
オプティカルフロー

を得ることができる。

また、同様に、本開示の実施例では、最後の画像

と最後から２番目の画像

との間の逆方向オプティカルフローを得た後、例えば対応要素を乗算するように、該逆方向オプティカルフローに該最後から２番目の画像

のマスク画像

を乗算し、最後の画像

と最後から２番目の画像

との間の第１の逆方向オプティカルフローを得るようにしてもよい。同様に、最後から２番目の画像

と最後から３番目の画像

との間の逆方向オプティカルフローを得て、例えば対応要素を乗算するように、該逆方向オプティカルフローに最後から３番目の画像

のマスク画像

を乗算し、最後から２番目の画像

と最後から３番目の画像

との間の第１の逆方向オプティカルフローを得るようにしてもよい。同様に、例えば対応要素を乗算するように、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得るようにしてもよい。上記のようにして、隣接画像間の第１の逆方向オプティカルフロー

を得ることができる。

本開示の実施例では、得られた順方向オプティカルフローおよび逆方向オプティカルフローに対応画像のマスク画像を乗算することで、対応する第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを得る。得られた第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローにはオプティカルフロー最適化が必要な領域が含まれ得るため、オプティカルフローの最適化精度を高めることができる。

画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを得た後、オプティカルフローに対して最適化処理、すなわちステップＳ２００を実行してもよい。本開示の実施例では、第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれ最適化を行い、対応する第２の順方向オプティカルフローおよび第２の逆方向オプティカルフローを得るようにしてもよい。本開示の実施例のオプティカルフロー最適化プロセスは、少なくとも１つのオプティカルフロー最適化ネットワークモジュールを含み得るオプティカルフロー最適化ネットワークによって実現されてもよく、各オプティカルフロー最適化ネットワークモジュールは同じである。オプティカルフロー最適化の回数は、オプティカルフロー最適化ネットワークモジュールの数に応じて決定でき、オプティカルフロー最適化処理の回数について、本開示の実施例は具体的に限定せず、異なるニーズに応じて当業者により選択および設定することができる。以下、第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローの最適化プロセスをそれぞれ詳細に説明する。

図３は、本開示の実施例に係るビデオ修復方法におけるステップＳ２００のフローチャートを示し、ここで、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行うことは、以下を含む。

Ｓ２０１では、前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得る。

本開示の実施例では、オプティカルフロー最適化を行う前に、まずは、例えば、それぞれ縦続するように、隣接画像間の第１の順方向オプティカルフローをそれぞれ連結する。ここで、深さ方向において第１の順方向オプティカルフローを連結し、多層の第１の順方向オプティカルフローからなる第１の連結オプティカルフローを形成する。同様に、例えば深さ方向において第１の逆方向オプティカルフローを連結するように、隣接画像間の第１の逆方向オプティカルフローをそれぞれ連結し、多層の第１の逆方向オプティカルフローからなる第２の連結オプティカルフローを形成するようにしてもよい。

Ｓ２０２では、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、ここで、Ｎは１以上の正整数である。

第１の連結オプティカルフローおよび第２の連結オプティカルフローを得た後、第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行うようにしてもよく、上記実施例で説明したように、本開示の実施例では、オプティカルフロー最適化処理プロセスを少なくとも１回行ってもよい。例えば、本開示の実施例では、ニューラルネットワークから構成されてもよいオプティカルフロー最適化モジュールによって毎回のオプティカルフロー最適化処理を実行してもよく、または、対応するアルゴリズムで最適化の操作を実行してもよい。相応して、オプティカルフロー最適化処理をＮ回行う場合、Ｎ個の順次接続されるオプティカルフロー最適化ネットワークモジュールを含み、前のオプティカルフロー最適化ネットワークモジュールの出力を、次のオプティカルフロー最適化ネットワークモジュールの入力とし、最後のオプティカルフロー最適化ネットワークモジュールの出力を、第１の連結オプティカルフローおよび第２の連結オプティカルフローに対する最適化の結果とするようにしてもよい。

１つのオプティカルフロー最適化ネットワークモジュールを含む場合、該オプティカルフロー最適化ネットワークモジュールを用いて、第１の連結オプティカルフローに対して最適化処理を行って第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得て、オプティカルフロー最適化ネットワークモジュールによって第２の連結オプティカルフローに対して最適化処理を行い、第２の連結オプティカルフローに対応する第２の最適化サブオプティカルフローを得るようにしてもよい。ここで、オプティカルフロー最適化処理は、残差処理およびアップサンプリング処理を含んでもよく、すなわち、オプティカルフロー最適化ネットワークモジュールは、残差ユニットおよびアップサンプリングユニットをさらに含んでもよい。複数の畳込み層を含み得る残差ユニットによって、入力される第１の連結オプティカルフローや第２の連結オプティカルフローに対して残差処理を行う。各畳込み層に用いられる畳込みカーネルについて、本開示の実施例は具体的に限定せず、残差ユニットにより残差処理された第１の連結オプティカルフローのスケールは縮小、例えば入力される連結オプティカルフローのスケールの４分の１に縮小され、これについて本開示は具体的に限定せず、必要に応じて設定してもよい。残差処理を行った後、残差処理を経た第１の連結オプティカルフローや第２の連結オプティカルフローに対してアップサンプリング処理を行ってもよく、アップサンプリング処理により、出力される第１の最適化サブオプティカルフローのスケールを第１の連結オプティカルフローのスケールに調整し、および出力される第２の最適化サブオプティカルフローのスケールを第２の連結オプティカルフローのスケールに調整することができる。また、オプティカルフロー最適化のプロセスにより、複数のオプティカルフローの特徴を融合することができ、且つオプティカルフローの精度を高めることもできる。

別の実施例では、オプティカルフロー最適化モジュールは、複数のオプティカルフロー最適化ネットワークモジュール、例えばＮ個のオプティカルフロー最適化ネットワークモジュールを含んでもよい。そのうち、１番目のオプティカルフロー最適化ネットワークモジュールは、第１の連結オプティカルフローおよび第２の連結オプティカルフローを受信し、第１の連結オプティカルフローおよび第２の連結オプティカルフローの各々に対して、残差処理およびアップサンプリング処理が含まれる１回目のオプティカルフロー最適化処理を行うようにしてもよく、その具体的なプロセスは上記実施例と同じであり、ここでは説明を省略する。該１回目のオプティカルフロー最適化処理により、第１の連結オプティカルフローの第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローの第１の最適化サブオプティカルフローを得ることができる。

さらに、該第１の連結サブオプティカルフローおよび第２の連結サブオプティカルフローを、残差処理を行う残差ユニットおよびアップサンプリング処理を行うアップサンプリングユニットが同様に含まれ得る２番目のオプティカルフロー最適化ネットワークモジュールに入力し、２回目のオプティカルフロー最適化処理を行う。２番目のオプティカルフロー最適化ネットワークモジュールにより、第１の連結サブオプティカルフローおよび第２の連結サブオプティカルフローのオプティカルフロー最適化処理を行ってもよく、その具体的なプロセスは上記実施例と同じであり、ここでは説明を省略する。該２回目のオプティカルフロー最適化処理により、第１の連結オプティカルフローの第２の最適化サブオプティカルフロー、および第２の連結オプティカルフローの第２の最適化サブオプティカルフローを得ることができる。

同様に、各オプティカルフロー最適化ネットワークモジュールを用いてそれぞれオプティカルフロー最適化プロセスを１回行ってもよく、すなわち、ｉ＋１番目のオプティカルフロー最適化ネットワークモジュールを用いて、前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得るようにしてもよく、ここで、ｉは１より大きく且つＮより小さい正整数である。最終的には、Ｎ番目のオプティカルフロー最適化ネットワークモジュールにより行われるＮ回目の最適化処理によって、第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフロー、および第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを得ることができ、且つ得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定することができる。本開示の実施例では、各オプティカルフロー最適化ネットワークモジュールにより実行されるオプティカルフロー最適化処理プロセスは、いずれも残差処理およびアップサンプリング処理を含んでもよく、すなわち、各オプティカルフロー最適化ネットワークモジュールは、同じオプティカルフロー最適化モジュールであってもよい。

例えば、図４は、本開示の実施例に係るオプティカルフロー最適化ネットワークの構成図を示し、その中に３つのオプティカルフロー最適化ネットワークモジュールＡ、ＢおよびＣを含んでもよい。該３つのオプティカルフロー最適化ネットワークモジュールの各々は、残差ユニットおよびアップサンプリングユニットから構成されてもよい。ここで、１番目のオプティカルフロー最適化ネットワークモジュールＡによって、第１の連結オプティカルフロー

および第２の連結オプティカルフロー

の１回目のオプティカルフロー最適化処理を行い、第１の連結オプティカルフローの第１の連結サブオプティカルフロー

、および第２の連結オプティカルフローの第１の連結サブオプティカルフロー

を得るようにしてもよい。該第１の連結サブオプティカルフロー

および

をそれぞれ２番目のオプティカルフロー最適化ネットワークモジュールＢに入力し、２回目のオプティカルフロー最適化処理を行い、第１の連結オプティカルフローの第２の連結サブオプティカルフロー

および第２の連結オプティカルフローの第２の連結サブオプティカルフロー

を得る。さらに、第２の連結サブオプティカルフロー

および

をそれぞれ３番目のオプティカルフロー最適化ネットワークモジュールＣに入力し、それぞれ３回目のオプティカルフロー最適化処理を行い、第１の連結オプティカルフローに対応する第３の最適化サブオプティカルフロー

および第２の連結オプティカルフローに対応する第３の最適化サブオプティカルフロー

を得る。この時、最終回のオプティカルフロー最適化処理で得られた第１の連結オプティカルフローの第３の最適化サブオプティカルフローを第１の最適化オプティカルフローとして決定し、最終回のオプティカルフロー最適化処理で得られた第２の連結オプティカルフローの第３の最適化サブオプティカルフローを第２の最適化オプティカルフローとして決定するようにしてもよい。

Ｓ２０３では、前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得る。

Ｎ回のオプティカルフロー最適化処理を経た後、得られた第１の最適化オプティカルフローのスケールは、第１の連結オプティカルフローのスケールと同じであり、深さ方向に従って該第１の最適化オプティカルフローを、それぞれ第１の順方向オプティカルフローの最適化結果に対応するＧ個の第２の順方向オプティカルフローに分割するようにしてもよい。同様に、Ｎ回のオプティカルフロー最適化処理を経た後、得られた第２の最適化オプティカルフローのスケールは第２の連結オプティカルフローのスケールと同じであり、深さ方向に従って該第２の最適化オプティカルフローを、それぞれ第１の逆方向オプティカルフローの最適化結果に対応するＧ個の第２の逆方向オプティカルフローに分割するようにしてもよい。

上記実施例によって、画像間の第１の順方向オプティカルフローを最適化した後の第２の順方向オプティカルフロー、および画像間の第１の逆方向オプティカルフローを最適化した後の第２の逆方向オプティカルフローを得ることができる。オプティカルフローを最適化することで、ビデオ修復の正確度を実現することができる。

最適化されたオプティカルフローを得た後、該最適化された第２の順方向オプティカルフローおよび第２の逆方向オプティカルフローを用いて、複数フレームの画像の順方向ガイドおよび逆方向ガイドをそれぞれ行い、最終的な修復画像を得るようにしてもよい。以下、順方向ガイドおよび逆方向ガイドのプロセスをそれぞれ説明する。

図５は、本開示の実施例に係るビデオ修復方法におけるステップＳ３００のフローチャートを示し、ここで、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行うことは以下を含む。

Ｓ３０１では、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得する。

上述したように、本開示の実施例では、各画像はいずれも、対応画像内の修復すべき修復対象領域を表すためのマスク画像に対応するようにしてもよい。該領域内の画素点に対応するマスクを１とし、他の領域のマスクを０とするようにしてもよく、または、修復対象領域の画素点のマスクを０とし、他の領域の画素点のマスクを１とするようにしてもよい。これについて本開示は具体的に限定しない。

Ｓ３０２では、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得る。

本開示の実施例では、得られた第２の順方向オプティカルフローは、時間フレームの順方向順序で隣接する２つの画像間のオプティカルフロー、すなわち前の画像から次の画像へのオプティカルフローを表す。従って、得られた第２の順方向オプティカルフローに基づいて画像をガイドし、つまり、各画像の、対応する第２の順方向オプティカルフローのオプティカルフロー変化の条件下で得られた新しい画像を特定することができ、該新しい画像は次の画像の第１の修復画像となる。

図６は本開示の実施例に係るビデオ修復方法におけるステップＳ３０２のフローチャートを示し、本開示の実施例では、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて各画像の第１の修復画像を得ることは、前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得るステップＳ３０２１と、ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すステップＳ３０２２と、を含んでもよい。

ここで、時間フレームの順方向順序に従って第２の順方向オプティカルフローを

として表してもよく、ここで、

はｉ−１番目の画像

とｉ番目の画像

との間の第２の順方向オプティカルフローを表し、ｉは１より大きく且つＧ以下の整数である。相応して、第２の逆方向オプティカルフローを

として表してもよく、ここで、

はｊ＋１番目の画像

とｊ番目の画像

との間の第２の逆方向オプティカルフローを表し、ｊは１以上且つＧ未満の整数である。

相応して、１番目の第２の順方向オプティカルフロー

のオプティカルフロー変化に基づいて、１番目の画像

に対してシフト処理を行い、２番目の画像

の第１の修復画像となり得る新しい画像

を得るようにしてもよい。その後、第２の画像

およびその第１の修復画像

に対して、例えば要素を対応して加算するように加算処理を行い、２番目の画像

の第１の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の順方向オプティカルフローによる第２の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

さらに、２番目の第２の順方向オプティカルフロー

のオプティカルフロー変化によって、２番目の画像

の第１の加算画像に対してシフト処理を行い、３番目の画像

の第１の修復画像となり得る新しい画像

を得るようにしてもよい。その後、３番目の画像

およびその第１の修復画像

に対して、例えば要素を対応して加算するように加算処理を行い、３番目の画像

の第１の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の順方向オプティカルフローによる３番目の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

同様に、ｋ番目の第２の順方向オプティカルフロー

のオプティカルフロー変化によって、ｋ番目の画像

の第１の加算画像に対してシフト処理を行い、ｋ番目の画像

の第１の修復画像となり得る新しい画像

を得るようにしてもよい。その後、ｋ番目の画像

およびその第１の修復画像

対して、例えば要素を対応して加算するように加算処理を行い、ｋ＋１番目の画像

の第１の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の順方向オプティカルフローによるｋ番目の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

上記実施例によれば、各画像の第１の修復画像を得ることができ、該第１の修復画像には一部の修復対象領域の画素値が補完（すなわち、修復）され得る。

Ｓ３０３では、得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断する。

上記実施例で説明したように、画像の第１の修復画像を得た後、ｋ番目の画像の第１の修復画像内の修復対象領域のある画素点が修復され、すなわち、修復された画素値ができた場合、例えば元のマスク値が１であると０に調整し、その逆もまた同じであるように、該ｋ番目の画像のマスク画像における対応する画素点のマスク値を逆転するようにしてもよい。

画像のマスク画像の調整を完了した後、得られた第１の修復画像に対して、各画像に対応するマスク画像には修復対象領域がなくなるまでステップＳ３０２を繰り返し実行してもよく、この時画像の順方向ガイドのプロセスが完了し、すなわち、各画像の第１の最適化画像が得られる。

図７は本開示の実施例に係るビデオ修復方法におけるステップＳ３００のフローチャートを示し、ここで前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことは以下を含んでもよい。

Ｓ３００１では、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得する。

該プロセスはステップＳ３０１と同じであり、ここで繰り返し説明しない。

Ｓ３００２では、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得る。

本開示の実施例では、得られた第２の逆方向オプティカルフローは、時間フレームの逆方向順序で隣接する２つの画像間のオプティカルフロー、すなわち次の画像から前の画像へのオプティカルフローを表す。従って、得られた第２の逆方向オプティカルフローに基づいて画像に対して逆方向ガイドを行い、つまり、各画像の、対応する第２の逆方向オプティカルフローのオプティカルフロー変化の条件下で得られた新しい画像を特定することができ、該新しい画像は次の画像の第１の修復画像となる。

図８は、本開示の実施例に係るビデオ修復方法におけるステップＳ３００２のフローチャートを示し、本開示の実施例では、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて各画像の第２の修復画像を得ることは、
前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得るステップＳ３００２１と、
ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すステップＳ３００２２と、を含んでもよい。

ここで、説明すべきものとして、本開示の実施例では、時間フレームの順方向順序に従って画像を

として表し、相応して、時間フレームの逆方向順序に従って画像を

として表すようにしてもよい。また、逆方向順序の１番目の画像を

とし、相応して２番目の画像を

とし、以降同様に、Ｇ番目の画像を

とするようにしてもよい。

また、時間フレームの逆方向順序に従って第２の逆方向オプティカルフローを

として表してもよく、ここで、

はｉ−１番目の画像

とｉ番目の画像

との間の第２の順方向オプティカルフローを表し、ｉは１より大きく且つＧ以下の整数である。相応して、第２の逆方向オプティカルフローを

として表してもよく、ここで

はｊ＋１番目の画像

とｊ番目の画像

との間の第２の逆方向オプティカルフローを表し、ｊは１以上且つＧ未満の整数である。

ステップＳ３００２１では、１番目の第２の逆方向オプティカルフロー

のオプティカルフロー変化に基づいて、逆方向順序での１番目の画像

に対してシフト処理を行い、逆方向順序での２番目の画像

の第２の修復画像となり得る新しい画像

を得るようにしてもよい。その後、逆方向順序の２番目の画像

およびその第２の修復画像

に対して、例えば要素を対応して加算するように加算処理を行い、２番目の画像

の第２の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の逆方向オプティカルフローによる最後から２番目の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

さらに、２番目の第２の逆方向オプティカルフロー

のオプティカルフロー変化によって、逆方向順序の２番目の画像

の第２の加算画像に対してシフト処理を行い、逆方向順序の３番目の画像

の第２の修復画像となり得る新しい画像

を得るようにしてもよい。その後、逆方向順序の３番目の画像

およびその第１の修復画像

に対して、例えば要素を対応して加算するように加算処理を行い、該逆方向順序の３番目の画像

の第１の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の逆方向オプティカルフローによる最後から３番目の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

同様に、ｈ番目の第２の逆方向オプティカルフロー

のオプティカルフロー変化によって、逆方向順序のｈ番目の画像

の第２の加算画像に対してシフト処理を行い、逆方向順序のｈ＋１番目の画像

の第２の修復画像となり得る新しい画像

を得るようにしてもよい。その後、逆方向順序のｈ＋１番目の画像

およびその第２の修復画像

に対して、例えば要素を対応して加算するように加算処理を行い、逆方向順序のｈ＋１番目の画像

の第１の加算画像を得るようにしてもよい。該加算処理により、最適化された第２の逆方向オプティカルフローによる最後からｈ＋１番目の画像の修復対象領域の修復、例えば、対応する画素値の補完や画素値の調整等を実現することができる。

上記実施例によれば、各画像の第２の修復画像を得ることができ、該第２の修復画像には一部の修復対象領域の画素値が補完（すなわち、修復）され得る。

Ｓ３００３では、得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断する。

上記実施例で説明したように、画像の第２の修復画像を得た後、ｋ番目の画像の第２の修復画像内の修復対象領域のある画素点が修復され、すなわち、修復された画素値ができた場合、例えば元のマスク値が１であると０に調整し、その逆もまた同じであるように、該ｋ番目の画像のマスク画像における対応する画素点のマスク値を逆転するようにしてもよい。

画像のマスク画像の調整が完了した後、得られた第２の修復画像に対して、各画像に対応するマスク画像には修復対象領域がなくなるまでステップＳ３００２を繰り返し実行してもよく、この時画像の逆方向ガイドのプロセスが完了し、すなわち各画像の第２の最適化画像が得られる。

複数フレームの画像の第１の最適化画像および第２の最適化画像を得た後、ステップＳ４００を実行してもよい。図９は、本開示の実施例に係るビデオ修復方法におけるステップＳ４００のフローチャートを示す。ここで、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得ることは、複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得るステップＳ４０１と、複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得るステップＳ４０２と、各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得るステップＳ４０３と、を含んでもよい。

上記実施例で説明したように、順方向ガイドが完了した時の画像の第１の修復画像を第１の最適化画像として使用し、および逆方向ガイドが完了した時の画像の第２の修復画像を第２の最適化画像として使用するようにしてもよい。

画像に対応する第１の最適化画像および第２の最適化画像を得た後、第１の最適化画像および第２の最適化画像に対して平均処理を行い、同じ画素点の画素値の平均値を取得し、最終的な修復画像を得るようにしてもよい。このようにして、順方向ガイドと逆方向ガイドの２つの方向で得られた最適化画像の結果を組み合わせて、正確度がより高い修復画像を得ることができる。また、本開示の実施例では、マスクの調整と、順方向ガイドおよび逆方向ガイドの繰り返し実行のプロセスにより、画像画素点の完全な修復が可能となる。

また、本開示の実施例は、オプティカルフロー最適化処理を行うオプティカルフロー最適化ネットワークのトレーニングプロセスも提供しており、ここで、上記実施例で説明したように、オプティカルフロー最適化ネットワークは、Ｎ個のオプティカルフロー最適化ネットワークモジュールを含んでもよく、本開示の実施例におけるオプティカルフロー最適化ネットワークモジュール、および対応するトレーニング方法は同じであってもよい。以下、１つのオプティカルフロー最適化ネットワークモジュールのトレーニングプロセスにより説明する。

図１０は、本開示の実施例に係るオプティカルフロー最適化モジュールのトレーニング方法のフローチャートを示す。ここで、前記オプティカルフロー最適化モジュールにおける各オプティカルフロー最適化ネットワークモジュールをトレーニングするステップは以下を含んでもよい。

Ｓ５０１では、複数群のオプティカルフローサンプル、および各群のオプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを取得する。

本開示の実施例では、オプティカルフロー最適化ネットワークモジュールのトレーニングに使用されるトレーニングサンプルは複数群のオプティカルフローサンプルを含んでもよく、ここで、各群のオプティカルフローサンプルは、対応する複数フレームの画像サンプルのうちの隣接画像間の順方向オプティカルフローおよび／または逆方向オプティカルフローであり、また、トレーニングサンプルには各群のオプティカルフローサンプルに対応するマスクサンプルも含まれ、該マスクサンプルは上記画像サンプルに対応するマスク画像である。また、トレーニングサンプルには、オプティカルフローサンプルに対応する実際のオプティカルフロー、すなわち画像サンプル間の実際のオプティカルフローが含まれてもよい。

Ｓ５０２では、前記オプティカルフロー最適化ネットワークモジュールを用いて、前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得る。

本開示の実施例の初期オプティカルフローネットワークモジュールによって各群のオプティカルフローサンプルを最適化し、具体的な最適化プロセスは上記ステップＳ２００の説明と同じであり、ここで繰り返し説明しない。該プロセスにより、各オプティカルフローサンプルに対応する最適化オプティカルフローを得ることができる。

Ｓ５０３では、前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点の対応するマスク画像におけるマスク値を調整し、新しいマスクサンプルを得る。

オプティカルフローサンプルの最適化オプティカルフローを得た後、本開示の実施例では、最適化オプティカルフローと対応する実際のオプティカルフローにおいて画素点の対応のオプティカルフローの差を得て、その中から第１の要求を満たす第１の画素点を選択するようにしてもよく、例えば、画素点のオプティカルフローの差を大きい順に並べ、その中からオプティカルフローの差が大きい所定比率（例えば、５０％）の画素点を、第１の要求を満たす第１の画素点として選択するようにしてもよい。または他の実施例では、所定比率を他の値としてもよく、これについて本開示は具体的に限定しない。

第１の要求を満たす第１の画素点を特定した後、前記最適化オプティカルフローに対応するマスク画像における該第１の画素点のマスク値を修復対象領域に対応するマスク値として決定することができる。すなわち、得られた最適化オプティカルフローのうち、一部の画素点のオプティカルフロー値の誤差が大きい場合、該対応するマスク画像における対応する画素点のマスク値を修復対象領域で特徴付けられるマスク値（例えば、１）に設定し直してもよく、これにより新たしいマスク画像を得ることができる。

Ｓ５０４では、予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得る。

ここで、前記予め設定された損失関数の表現式は式（１）で表してもよい。

式中、Ｌはオプティカルフロー最適化処理の損失関数を表し、Ｍは元のマスクサンプルであり、

は新しいマスクサンプルを表し、

は得られた最適化オプティカルフローを表し、

は実際のオプティカルフローを表し、

は重み値である。

本開示の実施例では、該損失関数から最適化プロセスの損失値を得ることができる。

Ｓ５０５では、前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化ネットワークモジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化ネットワークモジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行する。

例えば、得られた損失値が損失閾値未満の場合のみ、トレーニングの要求を満たすと判断し、このときトレーニングを終了することができ、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、ネットワークモジュールのパラメータを調整する。

以上より、本開示の実施例は、同時に複数の連続時間フレームのビデオ画像に対して修復処理を行うことができ、そのうち、まず隣接するフレームの画像間の順方向オプティカルフローおよび逆方向オプティカルフローを最適化し、精度の高いオプティカルフローを取得し、その後、最適化された順方向オプティカルフローおよび逆方向オプティカルフローによってビデオ修復をガイドしており、ビデオ修復の正確度を高めるとともに、フレーム間の連続性および整合性を高めることができる。また、本開示の実施例は修復速度が速く、修復のリアルタイム性が満たされる。

一方、従来の方法は欠失領域に複雑な移動情報が含まれる状況に対応できず、欠失領域に複雑な形状等の詳細情報が含まれる場合、従来の方法ではビデオ修復を好適に実現することができないが、本開示の実施例は複雑な細部が欠失した場合でも、ビデオ画像を好適に修復することができる。

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組み合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。

また、本開示はビデオ修復装置、電子機器、コンピュータ可読記憶媒体およびプログラムをさらに提供し、それらはいずれも本開示で提供されるいずれかのビデオ修復方法を実現するために利用可能であり、それに対応する技術的解決手段および説明については方法部分の対応する記載を参照すればよく、ここでは省略する。

図１１は本開示の実施例に係るビデオ修復装置のブロック図を示し、図１１に示すように、前記ビデオ修復装置は、
連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するための取得モジュール１０と、前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得るためのオプティカルフロー最適化モジュール２０と、前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行するための伝播最適化モジュール３０と、順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得るための修復モジュール４０と、を含む。

いくつかの可能な実施形態では、前記取得モジュールはさらに、前記複数フレームの画像の各々のマスク画像を取得し、また前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定することと、ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、前記マスク画像は対応画像の修復対象領域を表し、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数であることと、に用いられる。

いくつかの可能な実施形態では、前記オプティカルフロー最適化モジュールはさらに、前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得ることと、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、Ｎは１以上の正整数であることと、前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、に用いられる。

いくつかの可能な実施形態では、前記オプティカルフロー最適化モジュールはさらに、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対して１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得ることと、前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してそれぞれｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得て、ｉは１より大きく且つＮより小さい正整数であることとに用いられ、Ｎ回目の最適化処理により得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定し、ここで、各回のオプティカルフロー最適化処理は残差処理およびアップサンプリング処理を含む。

いくつかの可能な実施形態では、前記伝播最適化モジュールは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得ることと、得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、に用いられる第１の伝播最適化ユニットを含む。

いくつかの可能な実施形態では、前記第１の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得ることと、ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すことと、に用いられる。

いくつかの可能な実施形態では、前記伝播最適化モジュールはさらに、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることと、得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することと、に用いられる第２の伝播最適化ユニットを含む。

いくつかの可能な実施形態では、前記第２の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得ることと、ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すことと、に用いられる。

いくつかの可能な実施形態では、前記修復モジュールはさらに、複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得ることと、複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得ることと、各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得ることと、に用いられる。

いくつかの可能な実施形態では、前記装置は、前記オプティカルフロー最適化モジュールをトレーニングするためのトレーニングモジュールをさらに含み、前記トレーニングモジュールは、前記オプティカルフロー最適化モジュールに、複数群のオプティカルフローサンプル、および各オプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを入力することと、前記オプティカルフロー最適化モジュールを用いて前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得ることと、前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点のマスク画像におけるマスク値を調整して新しいマスクサンプルを得ることと、予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得ることと、前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化モジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化モジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行することと、に用いられる。

いくつかの可能な実施形態では、前記予め設定された損失関数の表現式は以下のとおりである。

式中、Ｌはオプティカルフロー最適化処理の損失関数を表し、Ｍは元のマスクサンプルであり、

は新しいマスクサンプルを表し、

は得られた最適化オプティカルフローを表し、

は実際のオプティカルフローを表し、

は重み値である。

いくつかの実施例では、本開示の実施例で提供された装置に備えた機能またはモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照すればよく、簡単化するために、ここで重複説明は割愛する。

本開示の実施例は、プロセッサに実行されると上記方法を実現するコンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、揮発性または不揮発性コンピュータ可読記憶媒体であってもよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、上記プロセッサは、上記方法を実行するように構成される電子機器をさらに提供する。電子機器は、端末、サーバまたは他の形態の機器として提供されてもよい。

図１２は本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット機器、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。

図１２に示すように、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の１つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、１つ以上のプロセッサ８２０を含んで命令を実行するようにしてもよい。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、１つ以上のモジュールを含むようにしてもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むようにしてもよい。

メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現してもよい。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、１つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、１つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力も検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系であってもよく、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための１つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、および、例えば電子機器８００の表示装置やキーパッドであるコンポーネントの相対的位置決めを検出してもよくて、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出してもよい。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスするようにしてもよい。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現でき、上記方法を実行するために用いられる。

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。

図１３は本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供してもよい。図１３を参照すると、電子機器１９００は、さらに１つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する１つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行されて上記方法を完了することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がロードされているコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されている穿孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶する。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をカスタマイズすることで、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行された場合、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／動作を実現する手段を創出するような機器が製造される。また、これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に命令を保存したコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／動作の各態様を実現する命令を含む製品を備える。

コンピュータ可読プログラム命令はコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させて、コンピュータ実施プロセスを生成するようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは１つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための１つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実行してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (23)

1. 連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得することと、
   前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることと、
   前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々が修復の要求を満たすまで実行することと、
   順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得ることとを含む、ことを特徴とするビデオ修復方法。
2. 連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得することは、
   前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、
   前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定することと、
   ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数であることとを含む、ことを特徴とする請求項１に記載の方法。
3. 前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行うことは、
   前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得ることと、
   前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、Ｎは１以上の正整数であることと、
   前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることとを含む、ことを特徴とする請求項１または２に記載の方法。
4. 前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行うことは、
   前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対して１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得ることと、
   前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してそれぞれｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得て、ｉは１より大きく且つＮより小さい正整数であることと、を含み、
   Ｎ回目の最適化処理により得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定し、ここで、各回のオプティカルフロー最適化処理は残差処理およびアップサンプリング処理を含む、ことを特徴とする請求項３に記載の方法。
5. 前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行うことは、
   前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、
   前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得ることと、
   得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することとを含む、ことを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて各画像の第１の修復画像を得ることは、
   前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得ることと、
   ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すこととを含む、ことを特徴とする請求項５に記載の方法。
7. 前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことは、
   前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、
   前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることと、
   得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することとを含む、ことを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることは、
   前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得ることと、
   ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すこととを含む、ことを特徴とする請求項７に記載の方法。
9. 順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得ることは、
   複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得ることと、
   複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得ることと、
   各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得ることとを含む、ことを特徴とする請求項１から８のいずれか一項に記載の方法。
10. 前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることを、オプティカルフロー最適化モジュールによって実行することを含み、
    当該方法は、前記オプティカルフロー最適化モジュールをトレーニングすることをさらに含み、前記トレーニングは、
    複数群のオプティカルフローサンプル、および各オプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを取得することと、
    前記オプティカルフロー最適化モジュールを用いて前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得ることと、
    前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点のマスク画像におけるマスク値を調整して新しいマスクサンプルを得ることと、
    予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得ることと、
    前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化モジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化モジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行することとを含む、ことを特徴とする請求項１から９のいずれか一項に記載の方法。
11. 連続した複数フレームの画像に対して隣接画像間の第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローを取得するための取得モジュールと、
    前記第１の順方向オプティカルフローおよび第１の逆方向オプティカルフローに対してそれぞれオプティカルフロー最適化処理を行い、前記第１の順方向オプティカルフローに対応する第２の順方向オプティカルフロー、および前記第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得るためのオプティカルフロー最適化モジュールと、
    前記第２の順方向オプティカルフローを用いて前記連続した複数フレームの画像に対して順方向の伝播最適化を行い、前記第２の逆方向オプティカルフローを用いて前記連続した複数フレームの画像に対して逆方向の伝播最適化を行うことを、最適化後の連続した複数フレームの画像の各々がいずれも修復の要求を満たすまで実行するための伝播最適化モジュールと、
    順方向の伝播最適化および逆方向の伝播最適化により得られた最適化画像に基づいて、前記連続した複数フレームの画像の修復画像を得るための修復モジュールとを含む、ことを特徴とするビデオ修復装置。
12. 前記取得モジュールはさらに、前記複数フレームの画像の各々のマスク画像を取得し、また前記複数フレームの画像の時間フレームの順方向順序に従って、隣接画像間の順方向オプティカルフローを決定し、前記複数フレームの画像の時間フレームの逆方向順序に従って、隣接画像間の逆方向オプティカルフローを決定することと、
    ｉ番目の画像とｉ＋１番目の画像との間の順方向オプティカルフローにｉ＋１番目の画像のマスク画像を乗算し、ｉ番目の画像とｉ＋１番目の画像との間の第１の順方向オプティカルフローを得て、ｉ＋１番目の画像とｉ番目の画像との間の逆方向オプティカルフローにｉ番目の画像のマスク画像を乗算し、ｉ＋１番目の画像とｉ番目の画像との間の第１の逆方向オプティカルフローを得て、前記マスク画像は対応画像の修復対象領域を表し、ｉは１以上且つＧ未満の正整数で、Ｇは複数フレームの画像の画像数であることとに用いられる、ことを特徴とする請求項１１に記載の装置。
13. 前記オプティカルフロー最適化モジュールはさらに、前記第１の順方向オプティカルフローを連結して第１の連結オプティカルフローを得て、前記第１の逆方向オプティカルフローを連結して第２の連結オプティカルフローを得ることと、
    前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対してオプティカルフロー最適化処理をそれぞれＮ回行い、前記第１の連結オプティカルフローに対応する第１の最適化オプティカルフロー、および第２の連結オプティカルフローに対応する第２の最適化オプティカルフローを得て、Ｎは１以上の正整数であることと、
    前記第１の最適化オプティカルフローに基づいて各第１の順方向オプティカルフローに対応する第２の順方向オプティカルフローを得て、前記第２の最適化オプティカルフローに基づいて各第１の逆方向オプティカルフローに対応する第２の逆方向オプティカルフローを得ることとに用いられる、ことを特徴とする請求項１１または１２に記載の装置。
14. 前記オプティカルフロー最適化モジュールはさらに、前記第１の連結オプティカルフローおよび第２の連結オプティカルフローに対して１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第１の最適化サブオプティカルフローを得ることと、
    前記第１の連結オプティカルフローおよび前記第２の連結オプティカルフローの第ｉの最適化サブオプティカルフローに対してそれぞれｉ＋１回目のオプティカルフロー最適化処理を行い、前記第１の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフロー、および第２の連結オプティカルフローに対応する第ｉ＋１の最適化サブオプティカルフローを得て、ｉは１より大きく且つＮより小さい正整数であることとに用いられ、
    Ｎ回目の最適化処理により得られた前記第１の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第１の最適化オプティカルフローとして決定し、得られた前記第２の連結オプティカルフローの第Ｎの最適化サブオプティカルフローを前記第２の最適化オプティカルフローとして決定し、ここで、各回のオプティカルフロー最適化処理は残差処理およびアップサンプリング処理を含む、ことを特徴とする請求項１３に記載の装置。
15. 前記伝播最適化モジュールは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、
    前記複数フレームの画像の時間フレームの順方向順序に従って、前記第２の順方向オプティカルフローに基づいて１番目の画像以外の画像の第１の修復画像を得ることと、
    得られた前記第１の修復画像に基づいて対応画像のマスク画像を調整し、第１の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することとに用いられる第１の伝播最適化ユニットを含む、ことを特徴とする請求項１１から１４のいずれか一項に記載の装置。
16. 前記第１の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの順方向順序に従って、１番目の第２の順方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第１の修復画像を得ることと、
    ｋ番目の画像と前記ｋ番目の画像の修復画像との加算処理を行い、ｋ番目の画像の第１の加算画像を得、ｋ番目の第２の順方向オプティカルフローで前記ｋ番目の第１の加算画像に対してシフト処理を行い、ｋ＋１番目の画像の第１の修復画像を得て、ｋは１より大きく且つＧより小さい正整数で、Ｇは複数フレームの画像の画像数を表すこととに用いられる、ことを特徴とする請求項１５に記載の装置。
17. 前記伝播最適化モジュールは、前記複数フレームの画像の各々の、対応画像の修復対象領域を表すマスク画像を取得することと、
    前記複数フレームの画像の時間フレームの逆方向順序に従って、前記第２の逆方向オプティカルフローに基づいて１番目の画像以外の画像の第２の修復画像を得ることと、
    得られた前記第２の修復画像に基づいて対応画像のマスク画像を調整し、第２の修復画像を得る処理に戻り、調整後のマスク画像は修復対象領域がなくなることを示す場合に、前記複数フレームの画像の各々が前記修復の要求を満たすと判断することとに用いられる第２の伝播最適化ユニットをさらに含む、ことを特徴とする請求項１１から１６のいずれか一項に記載の装置。
18. 前記第２の伝播最適化ユニットはさらに、前記複数フレームの画像の時間フレームの逆方向順序に従って、１番目の第２の逆方向オプティカルフローに基づいて１番目の画像に対してシフト処理を行い、２番目の画像の第２の修復画像を得ることと、
    ｈ番目の画像と前記ｈ番目の画像の修復画像との加算処理を行い、ｈ番目の画像の第２の加算画像を得、ｈ番目の第２の逆方向オプティカルフローで前記ｈ番目の第２の加算画像に対してシフト処理を行い、ｈ＋１番目の画像の第２の修復画像を得て、ｈは１より大きく且つＧ以下の正整数であり、Ｇは複数フレームの画像の画像数を表すこととに用いられる、ことを特徴とする請求項１７に記載の装置。
19. 前記修復モジュールはさらに、複数フレームの画像の時間フレームの順方向順序に従って、前記順方向の伝播最適化により得られた第１の最適化画像を得ることと、
    複数フレームの画像の時間フレームの順方向順序に従って、前記逆方向の伝播最適化により得られた第２の最適化画像を得ることと、
    各画像の第１の最適化画像と第２の最適化画像の平均値に基づいて該画像の修復画像を得て、前記複数フレームの画像の各々の修復画像を得ることとに用いられる、ことを特徴とする請求項１１から１８のいずれか一項に記載の装置。
20. オプティカルフロー最適化モジュールをトレーニングするためのトレーニングモジュールをさらに含み、前記トレーニングモジュールは、前記オプティカルフロー最適化モジュールに、複数群のオプティカルフローサンプル、および各オプティカルフローサンプルに対応するマスクサンプルと実際のオプティカルフローを含むトレーニングサンプルを入力することと、
    前記オプティカルフロー最適化モジュールを用いて前記オプティカルフローサンプルに対してオプティカルフロー最適化処理を行い、対応する最適化オプティカルフローを得ることと、
    前記最適化オプティカルフローと前記実際のオプティカルフローとの比較結果に基づいて、前記最適化オプティカルフローから第１の要求を満たす第１の画素点を選択し、前記第１の画素点のマスク画像におけるマスク値を調整して新しいマスクサンプルを得ることと、
    予め設定された損失関数に従って、前記最適化オプティカルフロー、元のマスクサンプルおよび新しいマスクサンプルに基づいて損失値を得ることと、
    前記損失値がトレーニングの要求を満たす場合、トレーニングが完了したオプティカルフロー最適化モジュールを得て、そうでない場合、得られた損失値がトレーニングの要求を満たすまで、前記オプティカルフロー最適化モジュールのネットワークパラメータを調整し、オプティカルフローサンプルのオプティカルフロー最適化処理を再実行することとに用いられる、ことを特徴とする請求項１１から１９のいずれか一項に記載の装置。
21. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリとを含み、
    前記プロセッサは、請求項１から１０のいずれか一項に記載の方法を実行するように構成される、ことを特徴とする電子機器。
22. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、プロセッサに実行されると請求項１から１０のいずれか一項に記載の方法を実現させる、ことを特徴とするコンピュータ可読記憶媒体。
23. コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードは、電子機器で実行されると、前記電子機器のプロセッサに請求項１から１０のいずれか一項に記載の方法を実現するための命令を実行させる、ことを特徴とするコンピュータプログラム。

Images