JP2022505303A - Ｍｌベースのアップスケーリングのためのフレーム処理 - Google Patents

Ｍｌベースのアップスケーリングのためのフレーム処理 Download PDF

Info

Publication number
JP2022505303A
JP2022505303A JP2021521273A JP2021521273A JP2022505303A JP 2022505303 A JP2022505303 A JP 2022505303A JP 2021521273 A JP2021521273 A JP 2021521273A JP 2021521273 A JP2021521273 A JP 2021521273A JP 2022505303 A JP2022505303 A JP 2022505303A
Authority
JP
Japan
Prior art keywords
edge
boxing
edge region
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021521273A
Other languages
English (en)
Other versions
JP7416774B2 (ja
Inventor
ミャオチー ジュー
芳和 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022505303A publication Critical patent/JP2022505303A/ja
Application granted granted Critical
Publication of JP7416774B2 publication Critical patent/JP7416774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

Figure 2022505303000001
出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理は、入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出すること；各ボクシングエッジ領域の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって抽出されたボクシングエッジ領域を拡張すること；パディングされたエッジ領域をアップスケーリングしてアップスケーリングされたパディングエッジ領域を生成すること；アップスケーリングされたパディングエッジ領域の各々をアップスケーリング係数が掛けられるアップスケーリングの前のボクシングエッジ領域の各々のサイズに対応するサイズにトリミングすること；トリミングされたエッジ領域を出力画像のエッジに挿入すること；及び入力画像の非エッジ領域をアップスケーリングしてアップスケーリングされた非エッジ領域を出力画像に挿入することを含む。
【選択図】図２

Description

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。
[0002] 本開示は、フレーム処理に関し、具体的には、機械学習ベース（ＭＬベース）のアップスケーリングのためのフレーム処理に関する。
[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのアップスケーリングプロセスは、画像が後処理中に挿入されるボクシングエッジ（例えば、レターボックス、ピラーボックス、ウィンドウボックス）を含むときに、いくつかの問題がある。したがって、このようなボクシングエッジを有する画像が従来のＭＬベースのアップスケーリングによって処理されるときに、アップスケーリングによって、画像のエッジに沿ってアーチファクトが生じる場合があり、これにより、最終出力においてクリア及び／又はシャープなエッジの損失を招く場合がある。
[0004] 本開示は、ＭＬベースのトレーニングプロセスの前に入力のフレームエッジを処理することを提供するものである。
[0005] 一実装形態では、出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のための方法を開示する。前記方法は、前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出するステップと、前記ボクシングエッジ領域の各々の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記抽出されたボクシングエッジ領域を拡張するステップと、前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成するステップと、前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングするステップと、前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入するステップと、前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入するステップと、を含む。
[0006] 一実装形態では、前記ボクシングエッジ領域の各々の周囲に余分の画素を追加することは、前記ボクシングエッジ領域の各々の周囲に前記余分の画素をパディングする方法を決定するステップと、前記ボクシングエッジ領域の各々の周囲に前記余分の画素の小領域を追加するステップと、を含む。一実装形態では、小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含む。一実装形態では、前記小領域の第１のタイプは、前記アクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第１のタイプであると判断されたときに、前記ボクシングエッジ領域の各々を前記小領域の方向に拡張するステップを含む。一実装形態では、前記小領域の第２のタイプは、前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のエッジ上に存在する少なくとも１つの画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、前記ボクシングエッジ領域を拡張するステップを含む。一実装形態では、前記小領域の第３のタイプは、前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のコーナー上に存在する少なくとも１つの画素を有する前記小領域を含む。一実装形態では、前記方法は、更に、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するステップを含む。
[0007] 別の実装形態では、出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のためのシステムを開示する。前記システムは、前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出するように構成されるエッジ領域抽出部と、各ボクシングエッジ領域の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記ボクシングエッジ領域の各々を拡張するように構成されるエッジ領域拡張部であって、前記エッジ領域拡張部は、前記パディングされたエッジ領域をアップスケーリングプロセッサに送って、前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成する、エッジ領域拡張部と、前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングするように構成されるエッジ領域トリミング部と、前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入するように構成されるエッジ領域充填部と、前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入するように構成される非エッジ領域充填部と、を含む。
[0008] 一実装形態では、前記エッジ領域拡張部は、前記ボクシングエッジ領域の各々の周囲に前記余分の画素の小領域を追加することによって、前記ボクシングエッジ領域の各々の周囲に前記余分の画素を追加する。一実装形態では、小領域を追加することは、前記小領域毎にタイプを決定することを含む。一実装形態では、前記小領域の第１のタイプは、前記アクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む。一実装形態では、前記エッジ領域拡張部は、前記小領域が前記第１のタイプであると判断されたときに、前記ボクシングエッジ領域の各々を前記小領域の方向に拡張するように構成される。一実装形態では、前記小領域の第２のタイプは、前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のエッジ上に存在する少なくとも１つの画素を有する前記小領域を含む。一実装形態では、前記エッジ領域拡張部は、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するように構成される。一実装形態では、前記小領域の第３のタイプは、前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のコーナー上に存在する少なくとも１つの画素を有する前記小領域を含む。一実装形態では、前記エッジ領域拡張部は、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するように構成される。
[0009] 更に別の実装形態では、出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出することと、前記ボクシングエッジ領域の各々の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記抽出されたボクシングエッジ領域を拡張することと、前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成することと、前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングすることと、前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入することと、前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入することと、を行わせる。
[0010] 一実装形態では、コンピュータに、前記抽出されたボクシングエッジ領域を拡張させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、前記ボクシングエッジ領域の各々の周囲に前記余分の画素をパディングする方法を決定することと、前記余分の画素の小領域を追加することと、を行わせる。
[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
レターボックスエッジを示す図である。 ピラーボックスエッジを示す図である。 ウィンドウボックスエッジを示す図である。 本開示の一実装形態による、ＭＬベースのアップスケーリングプロセスにおけるフレーム処理のためのプロセスを示すフロー図である。 本開示の一実装形態による、図２に示すフレーム処理プロセスのパディングプロセスを示す詳細フロー図である。 本開示の一実装形態による、ＭＬベースのアップスケーリングプロセスにおけるフレーム処理のためのプロセスを示すフローチャートである。 本開示の一実装形態による、図４に示すフレーム処理プロセスのパディングプロセスを示す詳細フローチャートである。 本開示の一実装形態によるフレーム処理システムを示すブロック図である。 本開示の一実装形態による、コンピュータシステム及びユーザの図である。 本開示の一実装形態による、フレーム処理アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
[0023] 上記のように、従来のＭＬベースのアップスケーリングプロセスは、画像が後処理中に挿入されるボクシングエッジを含むときに、いくつかの問題がある。例えば、このようなボクシングエッジを有する画像が従来のＭＬベースのアップスケーリングによって処理されるときに、アップスケーリングプロセスによって、画像のエッジに沿ってアーチファクトが生じる場合があり、これにより、最終出力においてクリア及び／又はシャープなエッジの損失を招く場合がある。図１Ａ、図１Ｂ及び図１Ｃは、ボクシングエッジの例を示す。図１Ａはレターボックスエッジ１００を示し、図１Ｂはピラーボックスエッジ１１０を示し、図１Ｃはウィンドウボックスエッジ１２０を示す。
[0024] 従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、ＭＬベースのトレーニングプロセスの前に入力のフレームエッジを処理することを提供するものである。
[0025] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0026] 図２は、本開示の一実装形態による、ＭＬベースのアップスケーリングプロセスにおけるフレーム処理のためのプロセス２００を示すフロー図である。図２に示す実装形態では、フレーム処理プロセス２００は、入力画像のエッジを処理して、画像がＭＬベースのアップスケーリングプロセスによって処理されるときに、画像のエッジに沿ってアーチファクトを実質的に低減することを含む。図２は、また、フレーム処理プロセスと従来のＭＬベースのアップスケーリングプロセスとの比較を示す。
[0027] 左側に示す従来のＭＬベースのアップスケーリングプロセスでは、ボクシングエッジ領域２１０の周囲に余分のパディング画素を追加しない。したがって、画像がＭＬベースのアップスケーリングプロセスによって処理されるときに、アップスケーリングによって、画像のエッジに沿ってアーチファクト２１２が生じ、これにより、最終出力においてクリア及び／又はシャープなエッジの損失を招く場合がある。これに対して、図２の右側に示すプロセスは、ＭＬベースのアップスケーリングの前に実行されるフレーム処理プロセスを含む。
[0028] 図２に示す実装形態では、ＭＬベースのアップスケーリングプロセスの前に、入力画像のアクティブピクチャエリア２０６からボクシングエッジ領域２０２を検出して抽出する（２０４）。フレーム処理プロセスの一実装形態では、次に、抽出されたボクシングエッジ領域２０２の周囲に余分のパディング／画素を追加してパディングされたエッジ領域２２０を生成することによって、抽出されたボクシングエッジ領域２０２を拡張する。余分のパディング／画素をどのように追加するかについての詳細は、図３に示す。
[0029] 図２に示す実装形態では、パディングされたエッジ領域２２０をＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク）に送って、アップスケーリングされたパディングエッジ領域２２２を生成する。一実装形態では、アップスケーリングされたパディングエッジ領域２２２を、アップスケーリング係数が掛けられるアップスケーリングプロセスの前の元の領域２０２のサイズに対応するサイズにトリミングする。したがって、トリミングによって、エッジにアーチファクトがないきれいなエッジ領域２２４を生成する。次に、トリミングされてきれいになったエッジ領域２２４を、アップスケーリングされた出力画像として、出力画像に挿入する。
[0030] 一実装形態では、以下のステップ、すなわち、（１）入力画像のアクティブピクチャエリアからボクシングエッジ領域を検出して抽出するステップと、（２）ボクシングエッジ領域をパディングするステップと、（３）パディングされたボクシングエッジ領域をアップスケーリングするステップと、（４）アップスケーリングされたボクシングエッジ領域を元の領域のサイズにトリミングするステップと、（５）トリミングされたボクシングエッジ領域を出力画像に挿入するステップとを、入力画像のアクティブピクチャエリアのエッジの全てに対して繰り返す。更に、残りの非エッジ領域を抽出し、アップスケーリングし、出力画像に挿入して、アップスケーリングされた出力画像を完成する。
[0031] 図３は、本開示の一実装形態による、図２に示すフレーム処理プロセスのパディングプロセス２２２を示す詳細フロー図である。図３に示す実装形態は、抽出されたボクシングエッジ領域３０２を、追加のパディング／画素領域（Ｂ及びＣ領域）でパディングして、パディングされた領域３２０を生成することを示す。
[0032] 一実装形態では、抽出されたボクシングエッジ領域３０２に追加されるべき追加のパディング／画素領域は、８つの小領域（例えば、２つの側部、上部及び下部、及び４つのコーナー）を含む。この実装形態では、８つの小領域は、３つのタイプのパッド設計（例えば、Ａ、Ｂ、Ｃ）に分類される。
[0033] 一例では、タイプＡのパッド設計は、アクティブピクチャエリア３００内に存在する小領域のために使用される。したがって、タイプＡのパッド設計は、画像エリアを４方向に拡張することによって形成される。図３では、タイプＡのパッド設計は、左の小領域、下の小領域、及び左下コーナーの小領域のために使用される。したがって、パディングされた領域３２０は、画像エリアを４方向に拡張することによって、それらの小領域（すなわち、左の小領域、下の小領域、及び左下コーナーの小領域）を形成することを示している。
[0034] 別の例では、タイプＢのパッド設計は、アクティブピクチャエリア３００内に存在するのではなく、エッジ（例えば、左、右、上、又は下）に存在する小領域のために使用される。したがって、タイプＢのパッド設計は、エッジ上でバタフライ画像を使用して形成される。一実装形態では、バタフライ画像は、抽出されたボクシングエッジ領域３０２とタイプＢのパッド領域との間の線（例えば、線３２２又は線３２４）においてミラーイメージである画像を意味する。
[0035] 図３では、タイプＢのパッド設計は、アクティブピクチャエリア３００内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。したがって、パディングされた領域３２０は、エッジ上でバタフライ画像を使用して、それらの小領域（すなわち、上の小領域及び右の小領域）を形成することを示している。
[0036] 別の例では、タイプＣのパッド設計は、アクティブピクチャエリア３００内に存在するのではなく、コーナー（例えば、左上コーナー、右上コーナー、左下コーナー、又は右下コーナー）に存在する小領域のために使用される。したがって、タイプＣのパッド設計は、コーナー点上でバタフライ画像を使用して形成される。図３では、タイプＣのパッド設計は、アクティブピクチャエリア３００内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。したがって、パディングされた領域３２０は、コーナー点上でバタフライ画像を使用して、それらの小領域（すなわち、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域）を形成することを示している。
[0037] 図４は、本開示の一実装形態による、ＭＬベースのアップスケーリングプロセスにおけるフレーム処理のためのプロセス４００を示すフローチャートである。図４に示す実装形態では、フレーム処理プロセス４００は、ブロック４１０において、入力画像のアクティブピクチャエリア内のボクシングエッジ領域の位置を検出することを含む。ブロック４２０において、アクティブピクチャエリアから、検出されたボクシングエッジ領域を抽出する。次に、ブロック４３０において、抽出されたボクシングエッジ領域の周囲に余分のパディング／画素を追加してパディングされたエッジ領域を生成することによって、抽出されたボクシングエッジ領域を拡張する。余分のパディング／画素をどのように追加するかについての詳細は、図５に示すフローチャートに示す。
[0038] 図４に示す実装形態では、ブロック４４０において、パディングされたエッジ領域をＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク）に送って、アップスケーリングされたパディングエッジ領域を生成する。ブロック４５０において、アップスケーリングされたパディングエッジ領域を、アップスケーリング係数が掛けられるアップスケーリングプロセスの前の元の領域のサイズに対応するサイズにトリミングする。したがって、トリミングによって、エッジにアーチファクトがないきれいなエッジ領域を生成する。次に、ブロック４６０において、トリミングされてきれいになったエッジ領域を、アップスケーリングされた出力画像として、出力画像のエッジに挿入する。
[0039] 一実装形態では、ブロック４７０において、入力画像の全てのエッジ領域を処理したかどうかを判断する。ブロック４７０において、エッジ領域の全てを処理したわけではないと判断した場合、次のエッジ領域に対してステップ４１０～４６０を繰り返す。一方で、ブロック４７０において、全てのエッジ領域を処理したと判断した場合、ブロック４８０において、非エッジ領域を抽出し、アップスケーリングし、出力画像に挿入することによって、プロセス４００を続行する。
[0040] 図５は、本開示の一実装形態による、図４に示すフレーム処理プロセスのパディングプロセス４３０を示す詳細フローチャートである。図５に示す実装形態では、ブロック５００において、対象エッジ領域の周囲に画素をパディングする方法を最初に決定する。一実装形態では、対象エッジ領域（すなわち、図３に示すボクシングエッジ領域３０２）の周囲にパディングするべき画素を、複数の小領域にグループ化する。
[0041] 図５に示す実装形態では、パディングするべき画素を、３つの小領域にグループ化する。ブロック５１０において、対象エッジ領域の周囲にパディングするべき各小領域が、アクティブピクチャエリア（例えば、図３の３００）内に存在する第１のタイプ（例えば、図３のタイプＡ）であるかどうかを判断するためにチェックする。次に、小領域がアクティブピクチャエリア内に存在する場合、ブロック５１２において、画像エリアを小領域の方向に拡張する。
[0042] 一方で、ブロック５２０において、小領域がアクティブピクチャエリアの外側であると判断されるが、エッジに存在する場合（例えば、図３のタイプＢ）、ブロック５２２において、エッジ上でバタフライ画像を使用して、画像エリアをパディングする。上記のように、タイプＢのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーのいずれにも存在しない、上の小領域及び右の小領域のために使用される。
[0043] 一方で、ブロック５３０において、小領域がアクティブピクチャエリアの外側であると判断されるが、コーナーに存在する場合（例えば、図３のタイプＣ）、ブロック５３２において、コーナー点上でバタフライ画像を使用して、画像エリアをパディングする。上記のように、タイプＣのパッド設計は、アクティブピクチャエリア内に存在せず且つコーナーに存在する、左上コーナーの小領域、右上コーナーの小領域、及び右下コーナーの小領域のために使用される。
[0044] ブロック５４０において、処理すべき小領域が更に存在すると判断した場合、ブロック５５０において、プロセスは次の小領域に進んで、ブロック５１０に戻る。そうでない場合には、プロセスを終了する。
[0045] 図５のプロセス５００のブロック５１０、５２０、５３０を特定の順序で設計しているが、これらのブロックは、プロセス５００の結果に影響を及ぼすことなく、任意の順序で実行することができる。
[0046] 図６は、本開示の一実装形態によるフレーム処理システム６００を示すブロック図である。図６に示す実装形態では、フレーム処理システム６００は、ボクシングエッジ領域抽出部６１０と、エッジ領域拡張部６２０と、エッジ領域トリミング部６４０と、エッジ領域充填部６５２及び非エッジ領域充填部６５４を含む領域充填部６５０とを含む。
[0047] 図６に示す実装形態では、エッジ領域抽出部６１０は、入力画像のアクティブピクチャエリア内のボクシングエッジ領域の位置を検出して、アクティブピクチャエリアからエッジ領域を抽出するように構成される。エッジ領域拡張部６２０は、各領域の周囲に余分のパディング／画素を追加してパディングされたエッジ領域を生成することによって、エッジ領域の各々を拡張するように構成される。上記のように、余分のパディング／画素をどのように追加するかについての詳細は、図５に示すフローチャートに示す。
[0048] 図６に示す実装形態では、パディングされたエッジ領域をＭＬベースのアップスケーリングプロセッサ（例えば、ニューラルネットワーク６３０）に送って、アップスケーリングされたパディングエッジ領域を生成する。エッジ領域トリミング部６４０は、アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられるアップスケーリングプロセスの前の元の領域のサイズに対応するサイズにトリミングするように構成される。したがって、トリミングによって、エッジにアーチファクトがないきれいなエッジ領域を生成する。エッジ領域充填部６５２は、トリミングされてきれいになったエッジ領域を出力画像のエッジに挿入するように構成される。更に、非エッジ領域充填部６５４は、非エッジ領域をアップスケーリングして、アップスケーリングされた非エッジ領域を出力画像に挿入して、アップスケーリングされた出力画像を完成するように構成される。
[0049] 一実装形態では、フレーム処理システム６００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、フレーム処理システム６００は、ハードウェアとソフトウェアの組み合わせで構成される。
[0050] 図７Ａは、本開示の一実装形態による、コンピュータシステム７００及びユーザ７０２の図である。ユーザ７０２は、コンピュータシステム７００を使用して、アップスケーリングプロセスにおけるフレーム処理のためのアプリケーションを実装する。
[0051] コンピュータシステム７００は、図７Ｂのフレーム処理アプリケーション７９０を記憶して実行する。更に、コンピュータシステム７００は、ソフトウェアプログラム７０４と通信することができる。ソフトウェアプログラム７０４は、強調色再生アプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム７０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。
[0052] 更に、コンピュータシステム７００は、ネットワーク７８０に接続することができる。ネットワーク７８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク７８０は、強調色再生アプリケーション内で使用されるエンジン及びデータを協調させるサーバ７８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク７８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0053] 図７Ｂは、本開示の一実装形態による、フレーム処理アプリケーション７９０をホストするコンピュータシステム７００を示す機能ブロック図である。コントローラ７１０はプログラマブルプロセッサであり、コンピュータシステム７００及びそのコンポーネントの動作を制御する。コントローラ７１０は、メモリ７２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ７１０は、フレーム処理アプリケーション７９０にソフトウェアシステムを提供して、例えば、強調色再生アプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ７１０又はコンピュータシステム７００において別個のハードウェアコンポーネントとして実装することができる。
[0054] メモリ７２０は、コンピュータシステム７００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ７２０はＲＡＭとして実装される。一実装形態では、メモリ７２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。
[0055] ストレージ７３０は、コンピュータシステム７００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ７３０は、フレーム処理アプリケーション７９０によって使用されるデータを記憶する。一実装形態では、ストレージ７３０は、ハードディスクドライブである。
[0056] メディアデバイス７４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス７４０は、光ディスクドライブである。
[0057] ユーザインターフェイス７５０は、コンピュータシステム７００のユーザからユーザ入力を受け取ってユーザ７０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス７５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ７１０は、ユーザ７０２からの入力を使用して、コンピュータシステム７００の動作を調整する。
[0058] Ｉ／Ｏインターフェイス７６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス７６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス７６０は、外部装置と無線で通信するための無線インターフェイスを含む。
[0059] ネットワークインターフェイス７７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。
[0060] コンピュータシステム７００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図７Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。
[0061] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。
[0062] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。
[0063] コンピュータプログラムは、通常、持続的な記憶媒体に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。
[0064] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。
[0065] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
１００ レターボックスエッジ
１１０ ピラーボックスエッジ
１２０ ウィンドウボックスエッジ
２００ フレーム処理プロセス
２０２ ボクシングエッジ領域
２０４ ボクシングエッジ領域を検出して抽出する
２０６ アクティブピクチャエリア
２１０ ボクシングエッジ領域
２１２ アーチファクト
２２０ パディングされたエッジ領域
２２２ アップスケーリングされたパディングエッジ領域／パディングプロセス
３００ アクティブピクチャエリア
３０２ 抽出されたボクシングエッジ領域
３２０ パディングされた領域
３２２，３２４ 線
４００ フレーム処理プロセス
４１０ ボクシングエッジ領域の位置を検出
４２０ アクティブピクチャエリアから領域を抽出
４３０ 領域の周囲に余分のパディングを追加することによってエリアを拡張
４４０ ＭＬベースのアップスケーリングを適用
４５０ アップスケーリングされた画像から実際の領域を、元の領域のサイズに対応するサイズでトリミング
４６０ トリミングされてきれいになったエッジ領域を出力画像のエッジに挿入
４７０ 全てのエッジ領域を処理したか？
４８０ 非エッジ領域を抽出し、アップスケーリングし、出力画像に挿入
５００ 対象エッジ領域の周囲に画素をパディングする方法を決定
５１０ 小領域がアクティブピクチャエリア内に存在するか？
５１２ 小領域の方向に拡張
５２０ エッジか？
５２２ エッジ上でバタフライ画像を使用して小領域をパディング
５３０ コーナーか？
５３２ コーナー点上でバタフライ画像を使用して小領域をパディング
５４０ 判断すべき小領域が更に存在するか？
５５０ 次の小領域に進む
６００ フレーム処理システム
６１０ エッジ領域抽出部
６２０ エッジ領域拡張部
６３０ ニューラルネットワーク
６４０ エッジ領域トリミング部
６５０ 領域充填部
６５２ エッジ領域充填部
６５４ 非エッジ領域充填部
７００ コンピュータシステム
７０２ ユーザ
７０４ ソフトウェアプログラム
７１０ コントローラ
７２０ メモリ
７３０ ストレージ
７４０ メディアデバイス
７５０ ユーザインターフェイス
７６０ Ｉ／Ｏインターフェイス
７７０ ネットワークインターフェイス
７８０ ネットワーク
７８５ サーバ
７９０ フレーム処理アプリケーション

Claims (20)

  1. 出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のための方法であって、前記方法は、
    前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出するステップと、
    前記ボクシングエッジ領域の各々の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記抽出されたボクシングエッジ領域を拡張するステップと、
    前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成するステップと、
    前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングするステップと、
    前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入するステップと、
    前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入するステップと、
    を含むことを特徴とする方法。
  2. 前記ボクシングエッジ領域の各々の周囲に余分の画素を追加することは、
    前記ボクシングエッジ領域の各々の周囲に前記余分の画素をパディングする方法を決定するステップと、
    前記ボクシングエッジ領域の各々の周囲に前記余分の画素の小領域を追加するステップと、
    を含む、
    ことを特徴とする、請求項１に記載の方法。
  3. 小領域を追加するステップは、前記小領域毎にタイプを決定するステップを含むことを特徴とする、請求項２に記載の方法。
  4. 前記小領域の第１のタイプは、
    前記アクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  5. 更に、
    前記小領域が前記第１のタイプであると判断されたときに、前記ボクシングエッジ領域の各々を前記小領域の方向に拡張するステップ、
    を含む、
    ことを特徴とする、請求項４に記載の方法。
  6. 前記小領域の第２のタイプは、
    前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のエッジ上に存在する少なくとも１つの画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  7. 更に、
    前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、前記ボクシングエッジ領域を拡張するステップ、
    を含む、
    ことを特徴とする、請求項６に記載の方法。
  8. 前記小領域の第３のタイプは、
    前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のコーナー上に存在する少なくとも１つの画素を有する前記小領域を含む、
    ことを特徴とする、請求項３に記載の方法。
  9. 更に、
    前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するステップ、
    を含む、
    ことを特徴とする、請求項８に記載の方法。
  10. 出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のためのシステムであって、前記システムは、
    前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出するように構成されるエッジ領域抽出部と、
    各ボクシングエッジ領域の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記ボクシングエッジ領域の各々を拡張するように構成されるエッジ領域拡張部であって、
    前記エッジ領域拡張部は、前記パディングされたエッジ領域をアップスケーリングプロセッサに送って、前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成する、エッジ領域拡張部と、
    前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングするように構成されるエッジ領域トリミング部と、
    前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入するように構成されるエッジ領域充填部と、
    前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入するように構成される非エッジ領域充填部と、
    を含むことを特徴とするシステム。
  11. 前記エッジ領域拡張部は、前記ボクシングエッジ領域の各々の周囲に前記余分の画素の小領域を追加することによって、前記ボクシングエッジ領域の各々の周囲に前記余分の画素を追加することを特徴とする、請求項１０に記載のシステム。
  12. 小領域を追加することは、前記小領域毎にタイプを決定することを含むことを特徴とする、請求項１１に記載のシステム。
  13. 前記小領域の第１のタイプは、
    前記アクティブピクチャエリア内に完全に存在する画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  14. 前記エッジ領域拡張部は、更に、前記小領域が前記第１のタイプであると判断されたときに、前記ボクシングエッジ領域の各々を前記小領域の方向に拡張するように構成されることを特徴とする、請求項１３に記載のシステム。
  15. 前記小領域の第２のタイプは、
    前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のエッジ上に存在する少なくとも１つの画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  16. 前記エッジ領域拡張部は、更に、前記小領域が前記第２のタイプであると判断されたときに、前記エッジ上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するように構成されることを特徴とする、請求項１５に記載のシステム。
  17. 前記小領域の第３のタイプは、
    前記アクティブピクチャエリア内に存在するのではなく、前記パディングされたエッジ領域のうちの１つの領域のコーナー上に存在する少なくとも１つの画素を有する前記小領域を含む、
    ことを特徴とする、請求項１２に記載のシステム。
  18. 前記エッジ領域拡張部は、前記小領域が前記第３のタイプであると判断されたときに、前記コーナー上でバタフライ画像を使用して、前記ボクシングエッジ領域の各々を拡張するように構成されることを特徴とする、請求項１７に記載のシステム。
  19. 出力画像を生成するためのＭＬベースのアップスケーリングプロセスにおける入力画像のフレーム処理のためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
    前記入力画像のアクティブピクチャエリアのエッジからボクシングエッジ領域を検出して抽出することと、
    前記ボクシングエッジ領域の各々の周囲に余分の画素を追加してパディングされたエッジ領域を生成することによって、前記抽出されたボクシングエッジ領域を拡張することと、
    前記パディングされたエッジ領域をアップスケーリングして、アップスケーリングされたパディングエッジ領域を生成することと、
    前記アップスケーリングされたパディングエッジ領域の各々を、アップスケーリング係数が掛けられる前記アップスケーリングの前の前記ボクシングエッジ領域の各々のサイズに対応するサイズにトリミングすることと、
    前記トリミングされたエッジ領域を前記出力画像の前記エッジに挿入することと、
    前記入力画像の非エッジ領域をアップスケーリングして、前記アップスケーリングされた非エッジ領域を前記出力画像に挿入することと、
    を行わせる、
    ことを特徴とする非一時的コンピュータ可読記憶媒体。
  20. コンピュータに、前記抽出されたボクシングエッジ領域を拡張させる前記実行可能命令は、実行可能命令を含み、前記実行可能命令は、コンピュータに、
    前記ボクシングエッジ領域の各々の周囲に前記余分の画素をパディングする方法を決定することと、
    前記余分の画素の小領域を追加することと、
    を行わせる、
    ことを特徴とする、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
JP2021521273A 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理 Active JP7416774B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/440,808 2019-06-13
US16/440,808 US11265446B2 (en) 2018-10-18 2019-06-13 Frame handling for ML-based upscaling
PCT/US2019/056499 WO2020081659A1 (en) 2018-10-18 2019-10-16 Frame handling for ml-based upscaling

Publications (2)

Publication Number Publication Date
JP2022505303A true JP2022505303A (ja) 2022-01-14
JP7416774B2 JP7416774B2 (ja) 2024-01-17

Family

ID=70280043

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Pending JP2023139008A (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Pending JP2023139008A (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Country Status (6)

Country Link
US (5) US11265446B2 (ja)
EP (4) EP3844707A4 (ja)
JP (5) JP7416774B2 (ja)
KR (4) KR102649544B1 (ja)
CN (4) CN112868045A (ja)
WO (4) WO2020081659A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
CN112396558A (zh) * 2019-08-15 2021-02-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
WO2021260822A1 (ja) * 2020-06-24 2021-12-30 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
AU2022214943A1 (en) * 2021-01-29 2023-02-09 Illumina, Inc. Deep learning-based root cause analysis of process cycle images
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
JP2007108447A (ja) * 2005-10-13 2007-04-26 Sony Corp 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
WO2018193333A1 (ja) * 2017-04-21 2018-10-25 株式会社半導体エネルギー研究所 画像処理方法および受像装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
WO2000056060A1 (fr) 1999-03-15 2000-09-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image, et support enregistre
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
ATE453903T1 (de) 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
ES2808569T3 (es) * 2007-04-05 2021-03-01 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistema y método para manejar, diagnosticar y predecir la aparición de una afección médica
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8395708B2 (en) 2009-07-21 2013-03-12 Qualcomm Incorporated Method and system for detection and enhancement of video images
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
WO2013089261A1 (ja) 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
WO2014008329A1 (en) * 2012-07-03 2014-01-09 Marseille Networks, Inc. System and method to enhance and process a digital image
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
CN111641817B (zh) * 2014-06-03 2023-02-17 Mtt创新公司 用于显示视频数据和图像数据的方法和设备
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108780570B (zh) 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
JP2007108447A (ja) * 2005-10-13 2007-04-26 Sony Corp 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
WO2018193333A1 (ja) * 2017-04-21 2018-10-25 株式会社半導体エネルギー研究所 画像処理方法および受像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WU, SAI ET AL.: "A New Approach to Compute CNNs for Extremely Large Images", CIKM '17: PROCEEDINGS OF THE 2017 ACM ON CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT, JPN7022002841, 6 November 2017 (2017-11-06), pages 39 - 48, XP058542112, ISSN: 0004842260, DOI: 10.1145/3132847.3132872 *
洞井 晋一、外２名: ""深層学習を用いた低ビットレート動画の高精細化技術"", マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１８）シンポジウム論文集, vol. 第２０１８巻，第１号［ＣＤ−ＲＯＭ］, JPN6022031822, 4 July 2018 (2018-07-04), pages 53 - 59, ISSN: 0004842259 *

Also Published As

Publication number Publication date
KR20210054556A (ko) 2021-05-13
WO2020081772A1 (en) 2020-04-23
JP7416774B2 (ja) 2024-01-17
US10931853B2 (en) 2021-02-23
US20210168263A1 (en) 2021-06-03
EP3844706A4 (en) 2022-07-06
KR20210056376A (ko) 2021-05-18
KR102550342B1 (ko) 2023-07-05
EP3844708A4 (en) 2022-06-08
JP2022505275A (ja) 2022-01-14
US20200126183A1 (en) 2020-04-23
US11252301B2 (en) 2022-02-15
JP2023139008A (ja) 2023-10-03
CN112868045A (zh) 2021-05-28
KR102596182B1 (ko) 2023-11-02
KR102649544B1 (ko) 2024-03-22
EP3844706A1 (en) 2021-07-07
WO2020081776A1 (en) 2020-04-23
JP2022505293A (ja) 2022-01-14
US20200128151A1 (en) 2020-04-23
EP3844707A4 (en) 2022-07-13
EP3844682A4 (en) 2022-07-13
US11533413B2 (en) 2022-12-20
JP2022505203A (ja) 2022-01-14
CN112930552A (zh) 2021-06-08
US11265446B2 (en) 2022-03-01
US20200126194A1 (en) 2020-04-23
US11252300B2 (en) 2022-02-15
US20200126184A1 (en) 2020-04-23
KR102593893B1 (ko) 2023-10-27
EP3844707A1 (en) 2021-07-07
CN112868046A (zh) 2021-05-28
WO2020081659A1 (en) 2020-04-23
CN112868034A (zh) 2021-05-28
EP3844708A1 (en) 2021-07-07
JP7404359B2 (ja) 2023-12-25
WO2020081770A1 (en) 2020-04-23
CN112868034B (zh) 2024-01-16
KR20210057077A (ko) 2021-05-20
EP3844682A1 (en) 2021-07-07
JP7304414B2 (ja) 2023-07-06
KR20210054554A (ko) 2021-05-13

Similar Documents

Publication Publication Date Title
JP2022505303A (ja) Ｍｌベースのアップスケーリングのためのフレーム処理
JP6946831B2 (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
JP4513871B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
KR102399508B1 (ko) 레이아웃 분석 방법, 판독 보조 장치, 회로, 및 매체
US10643372B2 (en) Method for reconstructing three-dimensional information of object and apparatus for the same
JP6902811B2 (ja) 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
CN113298226A (zh) 通过中间潜在空间控制神经网络
US8726185B1 (en) Method and apparatus for rendering overlapped objects
KR101836238B1 (ko) 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
JP6121810B2 (ja) シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法
CN111133474B (zh) 图像处理设备、图像处理方法和计算机可读记录介质
JP6777993B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021092650A1 (en) Computer-implemented method for extracting content from a physical writing surface
JP7476345B2 (ja) 輪郭精度評価を用いた画像セグメンテーション訓練
US10965902B2 (en) Information processing apparatus and control method therefor
US20210217194A1 (en) Method and apparatus with object information estimation and virtual object generation
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010152456A (ja) 画像処理装置及び画像処理方法、並びに当該画像処理方法を用いたプログラム
JP2024056401A (ja) 画像処理装置、画像処理方法、及びプログラム
CN116258830A (zh) 用于3d建模的装置和方法
JP2006108943A (ja) 編集装置及び編集方法並びにプログラム
JP2007228139A (ja) ラベリング方法、ラベリング装置、ラベリングプログラム、及びディジタル画像の埃除去方法
JP2011022943A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150