JP2023139008A - 大きなサイズの画像のトレーニング及びアップスケーリング - Google Patents

大きなサイズの画像のトレーニング及びアップスケーリング Download PDF

Info

Publication number
JP2023139008A
JP2023139008A JP2023109105A JP2023109105A JP2023139008A JP 2023139008 A JP2023139008 A JP 2023139008A JP 2023109105 A JP2023109105 A JP 2023109105A JP 2023109105 A JP2023109105 A JP 2023109105A JP 2023139008 A JP2023139008 A JP 2023139008A
Authority
JP
Japan
Prior art keywords
sub
picture
upscaling
image
subpicture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023109105A
Other languages
English (en)
Inventor
ミャオチー ジュー
Miaoqi Zhu
芳和 高島
Yoshikazu Takashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Group Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp, Sony Pictures Entertainment Inc filed Critical Sony Group Corp
Publication of JP2023139008A publication Critical patent/JP2023139008A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行する際に、対象画像サイズが大きい場合でも必要なメモリサイズを実用的な範囲内で維持する方法及びシステムを提供する。【解決手段】方法は、大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、対象パディング画素を使用して、複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大することと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングすることと、拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すことと、複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、を含む。【選択図】図３

Description

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。
[0002] 本開示は、画像をトレーニング及びアップスケーリングすることに関し、具体的には、大きなサイズの入力画像をトレーニング及びアップスケーリングすることに関する。
[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、特に多くの層を有するディープニューラルネットワークで対象画像サイズが増加すると、ＭＬベースのトレーニング及びアップスケーリングに必要なメモリサイズが指数関数的に増加する。アドバンストニューラルネットワークベースのトレーニング及びアップスケーリングプロセスを使用しながら、必要なメモリサイズを実用的な範囲内で維持するために、入力／出力画像サイズから独立した方法が望まれる。
[0004] 本開示は、大きなサイズの入力画像をトレーニング及びアップスケーリングすることを提供するものである。
[0005] 一実装形態では、大きなサイズの入力画像をトレーニング及びアップスケーリングするための方法を開示する。前記方法は、前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するステップと、対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成するステップと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成するステップと、前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングするステップと、前記複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すステップと、前記複数のトリミングされたサブピクチャを連結して、出力画像を生成するステップと、を含む。
[0006] 一実装形態では、各サブピクチャを拡大するステップは、各サブピクチャの周囲に余分の画素をパディングする方法を決定するステップと、各サブピクチャの周囲に前記余分の画素の小領域を追加するステップと、を含む。一実装形態では、小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含む。一実装形態では、前記小領域の第１のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するステップを含む。一実装形態では、前記小領域の第２のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するステップを含む。一実装形態では、前記小領域の第３のタイプは、前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するステップを含む。
[0007] 別の実装形態では、大サイズ画像アップスケーリングシステムを開示する。前記システムは、大きなサイズの入力画像を複数のサブピクチャに分割するように構成される画像分割部と、各サブピクチャの周囲に余分の画素を追加することによって前記複数のサブピクチャのうちの各サブピクチャを拡張して、拡大されたサブピクチャを生成するように構成されるサブピクチャ拡張部であって、前記拡大されたサブピクチャをニューラルネットワークに送って、前記拡大されたサブピクチャをトレーニング及びアップスケーリングするようにする、サブピクチャ拡張部と、前記拡大されてアップスケーリングされたサブピクチャを受け取って、元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成されるサブピクチャトリミング部と、前記複数のサブピクチャのうちの全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される画像充填部と、を含む。
[0008] 一実装形態では、前記サブピクチャ拡張部は、各サブピクチャの周囲に前記余分の画素の小領域を追加することによって、各サブピクチャの周囲に前記余分の画素を追加する。一実装形態では、小領域を追加することは、前記小領域毎にタイプを決定することを含む。一実装形態では、前記小領域の第１のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するように構成される。一実装形態では、前記小領域の第２のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するように構成される。一実装形態では、前記小領域の第３のタイプは、前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む。一実装形態では、前記サブピクチャ拡張部は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するように構成される。
[0009] 更に別の実装形態では、大きなサイズの入力画像をトレーニング及びアップスケーリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成することと、ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成することと、前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、前記コンピュータに、前記複数のサブピクチャの拡大、アップスケーリング、及びトリミングを行わせる実行可能命令を繰り返すことと、前記複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、を行わせる。
[0010] 一実装形態では、コンピュータに各サブピクチャを拡大させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、各サブピクチャの周囲に余分の画素をパディングする方法を決定することと、前記余分の画素の小領域を追加することと、を行わせる。
[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
６つの小さなサイズのサブピクチャに分割される大きなサイズの入力画像を示す図である。 サブピクチャの処理及びサブピクチャからの出力画像の形成を示す図である。 本開示の一実装形態による、（図１Ｂに関して説明した）拡大プロセスを示す詳細フロー図である。 本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセスを示すフローチャートである。 本開示の一実装形態によるパディングプロセスを示す詳細フローチャートである。 本開示の一実装形態によるトリミングプロセスを示す詳細フローチャートである。 本開示の一実装形態による、大サイズ画像アップスケーリングシステムを示すブロック図である。 本開示の一実装形態による、大サイズ画像アップスケーリングシステム及びユーザの図である。 本開示の一実装形態による、大サイズ画像アップスケーリングアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
[0022] 上記のように、従来のＭＬベースのトレーニング及びアップスケーリングプロセスは、いくつかの問題がある。例えば、特に多くの層を有するディープニューラルネットワークで対象画像サイズが増加すると、ＭＬベースのトレーニング及びアップスケーリングに必要なメモリサイズが指数関数的に増加する。アドバンストニューラルネットワークベースのトレーニング及びアップスケーリングプロセスを使用しながら、必要なメモリサイズを実用的な範囲内で維持するために、入力／出力画像サイズから独立した方法が望まれる。
[0023] 従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、（１）大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、（２）サブピクチャの周囲の対象パディング画素によって、各サブピクチャを拡大することと、（３）拡大されたサブピクチャをアップスケーリングすることと、（４）拡大されてアップスケーリングされたサブピクチャから画像エリアをトリミングすることと、（５）トリミングされたサブピクチャ画像を連結して、アップスケーリングされた出力画像を再構成することと、を提供するものである。
[0024] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0025] 図１Ａ及び図１Ｂは、本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセスを示すフロー図を形成する。一実装形態では、大きなサイズの画像は、高精細（ＨＤ）以上の画像を含む。例えば、ＨＤ画像は、１９２０ｘ１０８０画素の解像度を有すると定義することができ、一方、４Ｋなどのより高解像度の画像は、３８４０ｘ２１６０画素の解像度を有すると定義することができる。したがって、ＨＤ画像又は４Ｋ画像は、大きなサイズの画像として分類することができ、該画像は、トレーニングのための複雑なニューラルネットワーク層への１つの単一入力画像として処理することができない。
[0026] 図１Ａに示す実装形態は、６つの小さなサイズのサブピクチャ１１０、１２０、１３０、１４０、１５０、１６０に分割される大きなサイズの入力画像１００を示す。図１Ｂは、サブピクチャの処理及びサブピクチャからの出力画像の形成を示す。図１Ｂは、６つのサブピクチャのうちの２つに対するプロセスを示す。しかしながら、残りの４つのサブピクチャも、図示の２つのサブピクチャに対するプロセスと同様に処理することができる。
[0027] 小さなサイズのサブピクチャがどのくらい小さい必要があるかに留意することは、トレーニングに使用されるニューラルネットワークのメモリサイズ及び複雑さに依存する。すなわち、メモリサイズが大きいほど、より大きなサイズのサブピクチャを用いる処理が可能になり、一方、ニューラルネットワークが複雑になるほど、より小さなサイズのサブピクチャが必要になる。一例では、トレーニングのために送ることができるサブピクチャの最大サイズは、６４ｘ６４画素又は１２８ｘ１２８画素である。
[0028] 図１Ｂに示す実装形態では、サブピクチャのうちの各サブピクチャ１３０、１６０を別個に処理する。最初に、拡大プロセス１７０を使用して、サブピクチャの周囲の対象パディング画素によって、各サブピクチャを拡大する。この拡大プロセス１７０は、図２に示され、図２の説明の項で詳細に説明する。
[0029] 図１Ｂに示す実装形態では、（拡大プロセス１７０によって）各サブピクチャをパディングして、拡大されたサブピクチャ１３２、１６２を形成する。次に、（ニューラルネットワークベースのアップスケーリングプロセス１８０によって）拡大されたサブピクチャ１３２、１６２をアップスケーリングする。したがって、図１Ｂのアップスケーリングプロセス１８０では、必要なメモリサイズは、入力画像全体のサイズではなく、各サブピクチャのサイズ及びニューラルネットワークの複雑さによって規定される。
[0030] 図１Ｂは、拡大されてアップスケーリングされたサブピクチャ１３４、１６４を示す。拡大されてアップスケーリングされたサブピクチャ１３４、１６４の各々をトリミングして、サブピクチャ１３６、１６６の元の画像エリアを生成する。トリミングされたサブピクチャ画像１１６、１２６、１３６、１４６、１５６、１６６を連結して、アップスケーリングされた出力画像１９０を再構成する。
[0031] 図２は、本開示の一実装形態による、（図１Ｂに関して説明した）拡大プロセス１７０を示す詳細フロー図である。図２に示す実装形態は、追加のパディング／画素領域Ａ、Ｂ、Ｃを用いて、１つのサブピクチャ１３０を拡大して、拡大されたサブピクチャ１３２を生成することを示す。図２は、サブピクチャ１３０についてのみ拡大プロセスを示すが、サブピクチャ１３０についてここで説明されるのと同じプロセスを使用して、残りのサブピクチャを拡大することができる。
[0032] 一実装形態では、サブピクチャ１３０に追加されるべき追加のパディング／画素領域は、８つの小領域（例えば、２つの側部、上部及び下部、及び４つのコーナー）を含む。この実装形態では、８つの小領域は、３つのタイプのパッド設計（例えば、Ａ、Ｂ、Ｃ）に分類される。
[0033] 一例では、タイプＡのパッド設計は、アクティブピクチャエリア１００内に存在する小領域のために使用される。したがって、タイプＡのパッド設計は、画像エリアを４方向に拡張することによって形成される。図２では、タイプＡのパッド設計は、左の小領域、下の小領域、及び左下コーナーの小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、画像エリアを４方向に拡張することによって、それらの小領域（すなわち、左の小領域、下の小領域、及び左下コーナーの小領域）を形成することを示している。
[0034] 別の例では、タイプＢのパッド設計は、アクティブピクチャエリア１００内に存在するのではなく、エッジ（例えば、左、右、上、又は下）に存在する小領域のために使用される。したがって、タイプＢのパッド設計は、エッジ上でバタフライ画像を使用して形成される。図２では、タイプＢのパッド設計は、アクティブピクチャエリア１００内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、エッジ上でバタフライ画像を使用して、それらの小領域（すなわち、上の小領域及び右の小領域）を形成することを示している。
[0035] 別の例では、タイプＣのパッド設計は、アクティブピクチャエリア１００内に存在するのではなく、コーナー（例えば、左上コーナー、右上コーナー、左下コーナー、又は右下コーナー）に存在する小領域のために使用される。したがって、タイプＣのパッド設計は、コーナー点上でバタフライ画像を使用して形成される。図２では、タイプＣのパッド設計は、アクティブピクチャエリア１００内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。したがって、拡大されたサブピクチャ１３２は、コーナー点上でバタフライ画像を使用して、それらの小領域（すなわち、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域）を形成することを示している。
[0036] 図３は、本開示の一実装形態による、大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセス３００を示すフローチャートである。図３に示す実装形態では、ブロック３１０において、大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割する。図１Ａは、６つの小さなサイズのサブピクチャ１１０、１２０、１３０、１４０、１５０、１６０に分割される大きなサイズの入力画像１００の一例を示す。
[0037] ブロック３２０において、サブピクチャの周囲の対象パディング画素を使用して、各サブピクチャを拡大する。一実装形態では、拡大プロセスは、各サブピクチャの周囲に余分のパディング／画素を追加して、拡大されたサブピクチャを生成することを含む。各サブピクチャに余分のパディング／画素をどのように追加するかについての詳細は、図２に示すフロー図及び図４に示すフローチャートに示す。
[0038] 一実装形態では、ブロック３３０において、パディングされた各サブピクチャをＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク）に送って、パディングされてアップスケーリングされたサブピクチャを生成する。ブロック３４０において、パディングされてアップスケーリングされた各サブピクチャを、サブピクチャの元のサイズにアップスケーリング係数を掛けたサイズにトリミングする。ブロック３５０において、処理されるべきサブピクチャが更に存在すると判断した場合、プロセス３００はブロック３２０に向かって、更なるサブピクチャを処理する。ブロック３６０において、全てのトリミングされたサブピクチャを連結して、出力画像を再構成する。
[0039] 図４は、本開示の一実装形態によるパディングプロセス（図３のブロック３２０）を示す詳細フローチャートである。図４に示す実装形態では、ブロック４００において、サブピクチャの周囲に画素をパディングする方法を最初に決定する。一実装形態では、サブピクチャの周囲にパディングするべき画素を、複数の小領域（タイプＡ、Ｂ、及びＣ）にグループ化する。
[0040] 図４に示す実装形態では、パディングするべき画素を、３つの小領域にグループ化する。ブロック４１０において、サブピクチャの周囲にパディングするべき各小領域が、アクティブピクチャエリア（例えば、図１Ａの１００）内に存在する第１のタイプ（例えば、図２のタイプＡ）であるかどうかを判断するためにチェックする。次に、小領域がアクティブピクチャエリア内に存在する場合、ブロック４１２において、サブピクチャの画像エリアを小領域の方向に拡張する。
[0041] 一方で、ブロック４２０において、小領域がアクティブピクチャエリアの外側であると判断されるが、エッジに存在する場合（例えば、図２のタイプＢ）、ブロック４２２において、エッジ上でバタフライ画像を使用して、サブピクチャをパディングする。上記のように、タイプＢのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。
[0042] 一方で、ブロック４３０において、小領域がアクティブピクチャエリアの外側であると判断されるが、コーナーに存在する場合（例えば、図２のタイプＣ）、ブロック４３２において、コーナー点上でバタフライ画像を使用して、サブピクチャをパディングする。上記のように、タイプＣのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。
[0043] ブロック４４０において、処理すべき小領域が更に存在すると判断した場合、ブロック４５０において、プロセスは次の小領域に進んで、ブロック４１０に戻る。そうでない場合には、プロセスを終了する。
[0044] 図４のプロセス３２０のブロック４１０、４２０、４３０を特定の順序で配置しているが、これらのブロックは、プロセス３２０の結果に影響を及ぼすことなく、任意の順序で実行することができる。
[0045] 図５は、本開示の一実装形態によるトリミングプロセス（図３のブロック３４０）を示す詳細フローチャートである。図５に示す実装形態では、ブロック５００において、拡大されてアップスケーリングされたサブピクチャを受け取る。ブロック５１０において、サブピクチャの元のサイズ及びアップスケーリング係数を決定する。次に、ブロック５２０において、元のサイズにアップスケーリング係数を掛けることによって、アップスケーリングサイズを決定する。ブロック５３０において、サブピクチャをアップスケーリングサイズにトリミングする。ブロック５４０において、トリミングされたサブピクチャを出力する。
[0046] 図６は、本開示の一実装形態による、大サイズ画像アップスケーリングシステム６００を示すブロック図である。図６に示す実装形態では、大サイズ画像アップスケーリングシステム６００は、画像分割部６１０と、サブピクチャ拡張部６２０と、サブピクチャトリミング部６４０と、画像充填部６５０とを含む。
[0047] 図６に示す実装形態では、画像分割部６１０は、大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するように構成される。一実装形態では、大きなサイズの入力画像を、複数の小さな等しいサイズのサブピクチャに分割する。サブピクチャ拡張部６２０は、サブピクチャの周囲に余分のパディング／画素を追加することによってサブピクチャを拡張して、拡大されたサブピクチャを生成するように構成される。
[0048] 図６に示す実装形態では、拡大されたサブピクチャをＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク６３０）に送って、拡大されてアップスケーリングされたサブピクチャを生成する。サブピクチャトリミング部６４０は、拡大されてアップスケーリングされたサブピクチャを、アップスケーリングプロセス前の元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成される。画像充填部６５０は、全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される。
[0049] 一実装形態では、大サイズ画像アップスケーリングシステム６００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、大サイズ画像アップスケーリングシステム６００は、ハードウェアとソフトウェアの組み合わせで構成される。
[0050] 図７Ａは、本開示の一実装形態による、大サイズ画像アップスケーリングシステム７００及びユーザ７０２の図である。ユーザ７０２は、コンピュータシステム７００を使用して、アップスケーリングプロセスにおけるフレーム処理のためのアプリケーションを実装する。
[0051] コンピュータシステム７００は、図７Ｂの大サイズ画像アップスケーリングアプリケーション７９０を記憶して実行する。更に、コンピュータシステム７００は、ソフトウェアプログラム７０４と通信することができる。ソフトウェアプログラム７０４は、大サイズ画像アップスケーリングアプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム７０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。
[0052] 更に、コンピュータシステム７００は、ネットワーク７８０に接続することができる。ネットワーク７８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク７８０は、大サイズ画像アップスケーリングアプリケーション内で使用されるエンジン及びデータを協調させるサーバ７８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク７８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0053] 図７Ｂは、本開示の一実装形態による、大サイズ画像アップスケーリングアプリケーション７９０をホストするコンピュータシステム７００を示す機能ブロック図である。コントローラ７１０はプログラマブルプロセッサであり、コンピュータシステム７００及びそのコンポーネントの動作を制御する。コントローラ７１０は、メモリ７２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ７１０は、大サイズ画像アップスケーリングアプリケーション７９０にソフトウェアシステムを提供して、例えば、大サイズ画像アップスケーリングアプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ７１０又はコンピュータシステム７００において別個のハードウェアコンポーネントとして実装することができる。
[0054] メモリ７２０は、コンピュータシステム７００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ７２０はＲＡＭとして実装される。一実装形態では、メモリ７２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。
[0055] ストレージ７３０は、コンピュータシステム７００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ７３０は、大サイズ画像アップスケーリングアプリケーション７９０によって使用されるデータを記憶する。一実装形態では、ストレージ７３０は、ハードディスクドライブである。
[0056] メディアデバイス７４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス７４０は、光ディスクドライブである。
[0057] ユーザインターフェイス７５０は、コンピュータシステム７００のユーザからユーザ入力を受け取ってユーザ７０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス７５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ７１０は、ユーザ７０２からの入力を使用して、コンピュータシステム７００の動作を調整する。
[0058] Ｉ／Ｏインターフェイス７６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス７６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス７６０は、外部装置と無線で通信するための無線インターフェイスを含む。
[0059] ネットワークインターフェイス７７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。
[0060] コンピュータシステム７００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図７Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。
[0061] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、上記の説明は、大きなサイズの画像をアップスケーリングすることの問題に言及しているが、アップスケーリングの難点は、より大きいビット深さ（例えば、１６ビットの深さ対８ビットの深さ）で画像をアップスケーリングすることの難点を含む場合もある。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。
[0062] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。
[0063] コンピュータプログラムは、通常、持続的な記憶媒体に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。
[0064] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。
[0065] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
１００ 大きなサイズの入力画像／アクティブピクチャエリア
１１０，１２０，１３０，１４０，１５０，１６０ サブピクチャ
１１６，１２６，１３６，１４６，１５６，１６６ トリミングされたサブピクチャ画像
１３２，１６２ 拡大されたサブピクチャ
１３４，１６４ 拡大されてアップスケーリングされたサブピクチャ
１７０ 拡大プロセス
１８０ アップスケーリングプロセス
１９０ アップスケーリングされた出力画像
３００ 大きなサイズの画像をトレーニング及びアップスケーリングするためのプロセス
３１０ 入力画像を小さなサイズのサブピクチャに分割
３２０ 各サブピクチャの周囲に余分のパディングを追加することによって、各サブピクチャを拡大
３３０ ＭＬベースのアップスケーリングを適用
３４０ 拡大されてアップスケーリングされた各サブピクチャを、サブピクチャの元のサイズにスケーリング係数を掛けたサイズにトリミング
３５０ 処理すべきサブピクチャが更に存在するか？
３６０ 全てのトリミングされたサブピクチャを連結して、出力画像を再構成
４００ サブピクチャの周囲に小領域をパディングする方法を決定
４１０ 小領域がアクティブピクチャエリア内に存在するか？
４１２ 小領域の方向に拡張
４２０ エッジか？
４２２ エッジ上でバタフライ画像を使用して、小領域をパディング
４３０ コーナーか？
４３２ コーナー点上でバタフライ画像を使用して、小領域をパディング
４４０ 判断すべき小領域が更に存在するか？
４５０ 次の小領域に進む
５００ 拡大されてアップスケーリングされたサブピクチャを受け取る
５１０ サブピクチャの元のサイズ及びスケーリング係数を決定
５２０ 元のサイズにスケーリング係数を掛けることによって、アップスケーリングサイズを決定
５３０ サブピクチャをアップスケーリングサイズにトリミング
５４０ トリミングされたサブピクチャを出力
６００ 大サイズ画像アップスケーリングシステム
６１０ 画像分割部
６２０ サブピクチャ拡張部
６３０ ニューラルネットワーク
６４０ サブピクチャトリミング部
６５０ 画像充填部
７００ 大サイズ画像アップスケーリングシステム／コンピュータシステム
７０２ ユーザ
７０４ ソフトウェアプログラム
７１０ コントローラ
７２０ メモリ
７３０ ストレージ
７４０ メディアデバイス
７５０ ユーザインターフェイス
７６０ Ｉ／Ｏインターフェイス
７７０ ネットワークインターフェイス
７８０ ネットワーク
７８５ サーバ
７９０ 大サイズ画像アップスケーリングアプリケーション

Claims (20)

  1. 大きなサイズの入力画像をトレーニング及びアップスケーリングするための方法であって、前記方法は、
    前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割するステップと、
    対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成するステップと、
    ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成するステップと、
    前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングするステップと、
    前記複数のサブピクチャに対して、拡大、アップスケーリング、及びトリミングを繰り返すステップと、
    前記複数のトリミングされたサブピクチャを連結して、出力画像を生成するステップと、
    を含むことを特徴とする方法。
  2. 各サブピクチャを拡大するステップは、
    各サブピクチャの周囲に余分の画素をパディングする方法を決定するステップと、
    各サブピクチャの周囲に前記余分の画素の小領域を追加するステップと、
    を含む、
    ことを特徴とする、請求項１に記載の方法。
  3. 小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含むことを特徴とする、請求項２に記載の方法。
  4. 前記小領域の第１のタイプは、
    前記大きなサイズの画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  5. 更に、
    前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するステップ、
    を含む、
    ことを特徴とする、請求項４に記載の方法。
  6. 前記小領域の第２のタイプは、
    前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  7. 更に、
    前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するステップ、
    を含む、
    ことを特徴とする、請求項６に記載の方法。
  8. 前記小領域の第３のタイプは、
    前記大きなサイズの画像のアクティブピクチャエリア内に存在するのではなく、各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  9. 更に、
    前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するステップ、
    を含む、
    ことを特徴とする、請求項８に記載の方法。
  10. 大サイズ画像アップスケーリングシステムであって、
    大きなサイズの入力画像を複数のサブピクチャに分割するように構成される画像分割部と、
    各サブピクチャの周囲に余分の画素を追加することによって前記複数のサブピクチャのうちの各サブピクチャを拡張して、拡大されたサブピクチャを生成するように構成されるサブピクチャ拡張部であって、
    前記拡大されたサブピクチャをニューラルネットワークに送って、前記拡大されたサブピクチャをトレーニング及びアップスケーリングするようにする、サブピクチャ拡張部と、
    前記拡大されてアップスケーリングされたサブピクチャを受け取って、元のサブピクチャのサイズにアップスケーリング係数を掛けたものに対応するサイズにトリミングするように構成されるサブピクチャトリミング部と、
    前記複数のサブピクチャのうちの全てのトリミングされたサブピクチャを連結して、出力画像を再構成するように構成される画像充填部と、
    を含むことを特徴とするシステム。
  11. 前記サブピクチャ拡張部は、各サブピクチャの周囲に前記余分の画素の小領域を追加することによって、各サブピクチャの周囲に前記余分の画素を追加することを特徴とする、請求項１０に記載のシステム。
  12. 小領域を追加することは、前記小領域毎にタイプを決定することを含むことを特徴とする、請求項１１に記載のシステム。
  13. 前記小領域の第１のタイプは、
    前記大きなサイズの入力画像のアクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  14. 前記サブピクチャ拡張部は、更に、前記小領域が前記第１のタイプであると判断されたときに、各サブピクチャを前記小領域の方向に拡張するように構成されることを特徴とする、請求項１３に記載のシステム。
  15. 前記小領域の第２のタイプは、
    前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのエッジ上に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  16. 前記サブピクチャ拡張部は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、各サブピクチャを拡張するように構成されることを特徴とする、請求項１５に記載のシステム。
  17. 前記小領域の第３のタイプは、
    前記大きなサイズの入力画像のアクティブピクチャエリア内に存在するのではなく、拡張された各サブピクチャのコーナー上に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  18. 前記サブピクチャ拡張部は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、各サブピクチャを拡張するように構成されることを特徴とする、請求項１７に記載のシステム。
  19. 大きなサイズの入力画像をトレーニング及びアップスケーリングするためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
    前記大きなサイズの入力画像を複数の小さなサイズのサブピクチャに分割することと、
    対象パディング画素を使用して、前記複数の小さなサイズのサブピクチャのうちの各サブピクチャを拡大して、拡大されたサブピクチャを生成することと、
    ＭＬベースのアップスケーラーを使用して各サブピクチャをアップスケーリングして、拡大されてアップスケーリングされたサブピクチャを生成することと、
    前記拡大されてアップスケーリングされたサブピクチャを、各サブピクチャの元のサイズにアップスケーリング係数を掛けたものに等しいアップスケーリングサイズにトリミングすることと、
    前記コンピュータに、前記複数のサブピクチャの拡大、アップスケーリング、及びトリミングを行わせる実行可能命令を繰り返すことと、
    前記複数のトリミングされたサブピクチャを連結して、出力画像を生成することと、
    を行わせる、
    ことを特徴とする非一時的コンピュータ可読記憶媒体。
  20. コンピュータに各サブピクチャを拡大させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、
    各サブピクチャの周囲に余分の画素をパディングする方法を決定することと、
    前記余分の画素の小領域を追加することと、
    を行わせる、
    ことを特徴とする、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
JP2023109105A 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング Pending JP2023139008A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/442,131 2019-06-14
US16/442,131 US11252300B2 (en) 2018-10-18 2019-06-14 Training and upscaling of large size image
PCT/US2019/056675 WO2020081772A1 (en) 2018-10-18 2019-10-17 Training and upscaling of large size image
JP2021521242A JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021521242A Division JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング

Publications (1)

Publication Number Publication Date
JP2023139008A true JP2023139008A (ja) 2023-10-03

Family

ID=70280043

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Pending JP2023139008A (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング

Country Status (6)

Country Link
US (5) US10931853B2 (ja)
EP (4) EP3844707A4 (ja)
JP (5) JP7416774B2 (ja)
KR (4) KR102649544B1 (ja)
CN (4) CN112868045A (ja)
WO (4) WO2020081659A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN112396558A (zh) * 2019-08-15 2021-02-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
WO2021260822A1 (ja) * 2020-06-24 2021-12-30 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
CA3187106A1 (en) * 2021-01-29 2022-08-04 Kimberly Jean GIETZEN Deep learning-based root cause analysis of process cycle images
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
WO2000056060A1 (fr) 1999-03-15 2000-09-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image, et support enregistre
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
ATE453903T1 (de) 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
US20100088264A1 (en) * 2007-04-05 2010-04-08 Aureon Laboratories Inc. Systems and methods for treating diagnosing and predicting the occurrence of a medical condition
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
EP2457196A4 (en) 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
JP6075294B2 (ja) 2011-12-12 2017-02-08 日本電気株式会社 画像処理システム及び画像処理方法
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的系统及方法
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
CN106662739B (zh) * 2014-06-03 2020-06-12 Mtt创新公司 应用于成像、照明和投影的高效的动态高对比度透镜作用
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108780570B (zh) 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
JP7184488B2 (ja) * 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling

Also Published As

Publication number Publication date
KR102550342B1 (ko) 2023-07-05
JP7404359B2 (ja) 2023-12-25
CN112868046A (zh) 2021-05-28
US20200126184A1 (en) 2020-04-23
CN112868034A (zh) 2021-05-28
EP3844708A1 (en) 2021-07-07
JP7416774B2 (ja) 2024-01-17
WO2020081659A1 (en) 2020-04-23
KR20210056376A (ko) 2021-05-18
KR20210057077A (ko) 2021-05-20
WO2020081776A1 (en) 2020-04-23
KR102593893B1 (ko) 2023-10-27
US10931853B2 (en) 2021-02-23
EP3844706A4 (en) 2022-07-06
JP2022505303A (ja) 2022-01-14
US11252300B2 (en) 2022-02-15
US11252301B2 (en) 2022-02-15
KR102596182B1 (ko) 2023-11-02
KR20210054556A (ko) 2021-05-13
EP3844706A1 (en) 2021-07-07
US20200128151A1 (en) 2020-04-23
CN112868045A (zh) 2021-05-28
KR20210054554A (ko) 2021-05-13
CN112930552A (zh) 2021-06-08
WO2020081772A1 (en) 2020-04-23
JP7304414B2 (ja) 2023-07-06
EP3844707A4 (en) 2022-07-13
WO2020081770A1 (en) 2020-04-23
US11533413B2 (en) 2022-12-20
EP3844682A1 (en) 2021-07-07
EP3844707A1 (en) 2021-07-07
JP2022505275A (ja) 2022-01-14
EP3844682A4 (en) 2022-07-13
CN112868034B (zh) 2024-01-16
JP2022505293A (ja) 2022-01-14
US20200126194A1 (en) 2020-04-23
JP2022505203A (ja) 2022-01-14
KR102649544B1 (ko) 2024-03-22
US11265446B2 (en) 2022-03-01
EP3844708A4 (en) 2022-06-08
US20210168263A1 (en) 2021-06-03
US20200126183A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP2023139008A (ja) 大きなサイズの画像のトレーニング及びアップスケーリング
EP3405907B1 (en) Performing anti-aliasing operations in a computing system
JP7482253B2 (ja) 画像処理方法、装置、コンピュータ機器及び記憶媒体
US9824421B2 (en) Content-aware image resizing using superpixels
JP6735908B2 (ja) パノラマビデオ圧縮方法および装置
US10096140B2 (en) Apparatus and method for processing data
CN107909537B (zh) 一种基于卷积神经网络的图像处理方法及移动终端
JPH117541A (ja) ボリューム・データ構成方法
JP2020126651A (ja) ニューラルネットワークのコンボルーション演算を処理する方法及び装置
JP5473096B2 (ja) イメージベースドビジュアルハルにおける凹状表面のモデリング
CN111198684A (zh) 数据处理、图形引擎建立的方法、装置、设备和介质
KR20210026996A (ko) 컨텍스트 정보 추출 방법 및 장치
JP5719271B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP7476345B2 (ja) 輪郭精度評価を用いた画像セグメンテーション訓練
US20230334737A1 (en) Partial depth ordering with vector interlacing
JP5735395B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
WO2019174522A1 (zh) 一种图像生成方法和装置
CN114742704A (zh) 图像扩增方法和基于图像扩增的模型训练方法
CN116524213A (zh) 图片比较方法和装置、计算设备和可读存储介质
Bergamasco et al. Saliency-driven Variational Retargeting for Historical Maps

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240515