JP2021166049A - 人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム - Google Patents

人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP2021166049A
JP2021166049A JP2021079453A JP2021079453A JP2021166049A JP 2021166049 A JP2021166049 A JP 2021166049A JP 2021079453 A JP2021079453 A JP 2021079453A JP 2021079453 A JP2021079453 A JP 2021079453A JP 2021166049 A JP2021166049 A JP 2021166049A
Authority
JP
Japan
Prior art keywords
human face
image
resolution
super
realizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021079453A
Other languages
English (en)
Other versions
JP7317070B2 (ja
Inventor
フー，ティアンシュ
Tianshu Hu
リウ，ジアミン
Jiaming Liu
ホン，ジビン
Zhibin Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021166049A publication Critical patent/JP2021166049A/ja
Application granted granted Critical
Publication of JP7317070B2 publication Critical patent/JP7317070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人顔画像処理及びディープラーニングの分野において人顔の超解像度の実現方法、装置、電子設備、記憶媒体及びプログラムを開示する。
【解決手段】方法は、第１画像における人顔部分を抽出することと、人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得ることと、超解像度の人顔画像に対応する意味的領域分割画像を取得することと、意味的領域分割画像を用いて、第１画像における人顔部分を超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得ることと、を含む。
【選択図】図１

Description

本開示は、画像処理及びディープラーニングの分野に関し、特に人顔画像処理の技術分野に関する。
従来の画像補正技術の応用において、画像補正処理は、通常２つの方法がある。１つの方法は、伝統的な補間方法により原始画像をアプサンプリングして、サイズが拡大された画像を得ることである。このような方法により得られた画像としては、サイズが拡大されたが、解像度を確保することができない。他の方法は、従来の解決案の一部が画像の解像度を向上できるが、全ては共通の画像に対する解決案であり、人顔というカテゴリに対する超解像度の実現方法がまだ存在しない。このような解決案は、特定のカテゴリの画像を処理する必要がある場合、効果が目立たない。
よって、従来の人顔の超解像度技術は、画像処理後の解像度が足りない、人顔画像専用の超解像度の実現方法がないという２つの不足がある。
本開示は、人顔の超解像度の実現方法、装置、電子設備及び記憶媒体を提供する。
本開示の第１態様では、人顔の超解像度の実現方法を提供し、当該方法は、第１画像における人顔部分を抽出することと、前記人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得ることと、前記超解像度の人顔画像に対応する意味的領域分割画像を取得することと、前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得ることと、を含む。
本開示の別の態様では、人顔の超解像度の実現装置を提供し、当該装置は、第１画像における人顔部分を抽出する抽出モジュールと、前記人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得る超解像度処理モジュールと、前記超解像度の人顔画像に対応する意味的領域分割画像を取得する意味的領域分割画像取得モジュールと、前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得る融合モジュールと、を備える。
本開示では、電子設備を提供し、当該設備は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサにより実行される場合、上記の方法を実行させる。
本開示の他の態様は、コンピュータに上記の方法を実行させる命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供する。
本開示によれば、人顔部分を含む画像から人顔部分を抽出し、この人顔部分の解像度を向上し、超解像度の人顔画像を得、さらに超解像度の人顔画像を当該画像における人顔部分に位置合わせ、当該画像における人顔部分を超解像度の人顔画像に入れ替えることにより、人顔画像の解像度を向上させることができる。
ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を標識することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。
本開示の実施形態による人顔の超解像度の実現方法の第１フローチャートである。 本開示の実施形態による人顔の超解像度の実現方法の第２フローチャートである。 本開示の実施形態の原始画像の模式図である。 本開示の実施形態の第１画像の模式図である。 本開示の実施形態の人顔部分画像の模式図である。 本開示の実施形態の超解像度の人顔画像の模式図である。 本開示の実施形態の人顔領域分割モデルの出力した領域分割後の画像の模式図である。 本開示の実施形態の意味的領域分割画像の模式図である。 本開示の実施形態の超解像度の人顔画像を元画像に位置合わせる模式図である。 本開示の実施形態の人顔の超解像度の実現結果の模式図である。 本開示の実施形態の人顔の超解像度の実現装置の構造の第１模式図である。 本開示の実施形態の人顔の超解像度の実現装置の構造の第２模式図である。 本開示の実施形態の人顔の超解像度の実現方法の電子設備のブロック図である。
以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。
本開示の実施形態は、人顔の超解像度の実現方法を提供する。図１に示すように、図１は、人顔の超解像度の実現方法の第１フローチャートであり、当該方法は、以下のステップＳ１０１〜Ｓ１０４を含む。
ステップＳ１０１では、第１画像における人顔部分を抽出する。
ステップＳ１０２では、人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得る。
ステップＳ１０３では、超解像度の人顔画像に対応する意味的領域分割画像を取得する。
ステップＳ１０４では、意味的領域分割画像を用いて、第１画像における人顔部分を超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得る。
人顔の超解像度モデルは、人顔画像の解像度を向上することができる。本実施形態では、第１画像における人顔部分を抽出し、人顔部分の解像度を向上し、超解像度の人顔画像を得、超解像度の人顔画像を第１画像における人顔部分の位置に置き、第１画像における人顔部分を入れ替えることにより、第１画像における人顔部分の解像度を向上することができる。
図２は、本開示の実施形態の人顔の超解像度実現方法の第２フローチャートである。図２に示すように、前記ステップＳ１０１の前に、本開示の実施形態は、以下のステップＳ２０１、Ｓ２０２をさらに含む。
ステップＳ２０１では、原始画像における人顔キーポイント情報を検出する。
ステップＳ２０２では、原始画像を拡大して第１画像を得、第１画像における人顔キーポイント情報を得る。ここで、第１画像における人顔キーポイント情報は、原始画像における人顔キーポイント情報を画像拡大することにより得られた情報である。
幾つの実施形態では、上記Ｓ２０１は、原始画像を事前に訓練された人顔キーポイント検出モデルに入力し、原始画像における人顔キーポイント情報を得ることを含む。
人顔キーポイント検出モデルにより、原始画像における人顔キーポイントの位置を正確に決定することができる。
幾つの実施形態では、上記Ｓ２０２は、ユーザの選定した拡大倍数（例えば、選択可能な拡大倍数は１倍、２倍、４倍等がある）に基づき、原始画像に対して補間演算を行うことにより、原始画像を相応的なサイズに拡大することができる。選択可能に、本開示の実施形態では、双線形補間演算を採用する。原始画像を第１画像に拡大すると同時に、第１画像におけるキーポイント情報も相応的なサイズに拡大することにより、第１画像における人顔キーポイント情報を得ることができる。
図３Ａは、本開示の実施形態の原始画像の模式図である。当該画像は、合成した人顔画像である。図３Ａの面部の点は、人顔キーポイントである。図３Ｂは、本開示の実施形態の第１画像の模式図である。図３Ｂは、図３Ａを２倍拡大した後で得られる画像である。本開示の実施形態は、合成の人顔画像に超解像度処理を行ってもよいし、真実の人顔画像に超解像度処理を行ってもよい。
本開示の実施形態は、ユーザの選定した拡大倍数に基づき原始画像を拡大し、上記第１画像を得る。これにより、第１画像における人顔部分の解像度を向上することができ、画像のサイズ拡大を制御することができ、画像を拡大するとともに、解像度を確保することができる。
幾つの実施形態では、上記ステップＳ１０１は、前記第１画像における人顔キーポイント情報を用いて、人顔の位置合わせを実現するための変換マトリックスを計算することと、前記変換マトリックスを用いて前記第１画像における人顔部分を抽出することと、を含む。
具体的に、上記第１画像の人顔キーポイント情報を用いて、ポイントクラウドとして人顔の位置合わせを実現するための変換マトリックスを計算し、その後、変換マトリックスによって人顔部分を第１画像から抽出し、アフィニティ変換でサイズが（Ｎ＊Ｎ）の画像に変換し、Ｎは、正の整数である。このステップは、人顔部分を第１画像から抽出し、人顔の超解像度モデルが好適に処理したサイズにスケーリングすることである。
選択可能に、上記の画像サイズＮは、人顔のサイズに応じて計算されてもよい。例えば、人顔が大きいほど、対応するＮが大きい。幾つの実施形態では、最終の処理効果とモデル予測の速度を考慮して、本開示の実施形態は、Ｎが１２８〜２５６である。
図３Ｃは、本開示の実施形態の人顔部分画像の模式図である。図３Ｃは、図３Ｂに示す第１画像から抽出された人顔部分である。図３Ｃの例では、人顔部分画像のサイズは、１２８＊１２８であり、すなわち、Ｎ＝１２８である。
幾つの実施形態では、上記人顔の超解像度モデルは、敵対的生成ネットワーク（ＧＡＮ，Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を採用している。ＧＡＮモデルは、画像の解像度を高めることができ、特に人顔画像の解像度を効果的に高めることができる。本開示は、人顔の超解像モデルに採用されるモデルの種類を制限しない。
幾つの実施形態では、上記ステップＳ１０２において、Ｎ＊Ｎの人顔部分画像を事前に訓練された人顔の超解像度モデルに入力し、４Ｎ＊４Ｎの超解像度の人顔画像を得る。図３Ｄは、本開示の一実施形態の超解像度の人顔画像の模式図である。図３Ｄにおいて、超解像度の人顔画像のサイズは、入力された人顔部分画像の４倍である。出力された超解像度の人顔画像は、人顔部分画像の内容が変わらない（例えば、光、テクスチャ、姿勢、表情等が変化しない）と確保する上で、画像全体の解像度を増加させるとともに、入力された人顔部分画像のノイズの一部を除去することにより、得られた超解像度の人顔画像をより明確になる。本開示の実施形態に使用される超解像度モデルは、顔画像に対して訓練されているため、顔画像に対する解像度の向上処理効果を達することができる。
幾つの実施形態では、上記ステップＳ１０３は、超解像度の人顔画像を事前に訓練された人顔領域分割モデルに入力し、領域分割後の画像を得ることと、領域分割後の画像を用いて超解像度の人顔画像に対応する意味的領域分割画像を決定することと、を含む。
図３Ｅは、本開示の実施形態の人顔領域分割モデルの出力した領域分割後の画像の模式図である。図３Ｅに示すように、領域分割後の画像は、人顔の五官等の位置を示すことができる。
図３Ｆは、本開示の実施形態の意味的領域分割画像の模式図である。図３Ｆに示すように、意味的領域分割画像は、人顔部分を全画像から正確に分離することができる。
幾つの実施形態において、上記ステップＳ１０３は、変換マトリックスの逆マトリックスを用いて、超解像度の人顔画像を、第１画像における人顔部分の位置である第１位置に置くことと、意味的領域分割画像をマスク画像とし、マスク画像により、第１画像における人顔部分を入れ替えるように、第１位置にある超解像度の人顔画像を第１画像に融合することと、を含む。
選択可能に、変換マトリックスの逆マトリックスを用いて、超解像度の人顔画像を元画像に位置合わせて、元画像の人顔のサイズに縮小することができる。図３Ｇは、本開示の実施形態の超解像度の人顔画像を元画像に位置合わせる模式図である。
選択可能に、人顔の融合アルゴリズムを用いて、本開示の実施形態は、意味的領域分割画像をマスク画像として、超解像度の人顔画像を元画像（第１画像）に融合し、元画像の低解像度の人顔画像を超解像度の人顔画像に入れ替えることにより、超解像度の人顔画像の最終結果を得ることができる。図３Ｈは、本開示の実施形態の人顔の超解像度の実現結果の模式図である。
以上から分かるように、本開示の実施形態に提供されたＧＡＮに基づく人顔の超解像度法は、画像サイズを拡大する場合に、人顔の解像度と鮮明度を向上させることができる。本開示の実施形態に提供された方法は、コンピュータにより低遅延で操作されることができ、人顔認識検出、ビデオ生放送、映像効果等の分野で非常に広く適用され、ユーザ体験が良い。
本開示の実施形態は、人顔の超解像度の実現装置をさらに提供する。図４は、本開示の実施形態の人顔の超解像度の実現装置の構造の第１模式図である。当該装置は、第１画像における人顔部分を抽出する抽出モジュール４１０と、前記人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得る超解像度処理モジュール４２０と、前記超解像度の人顔画像に対応する意味的領域分割画像を取得する意味的領域分割画像取得モジュール４３０と、前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得る融合モジュール４４０とを備える。
幾つの実施形態では、図５に示すように、本開示の実施形態に提供された人顔の超解像度の実現装置は、原始画像における人顔キーポイント情報を検出する検出モジュール５１０と、前記原始画像を拡大して前記第１画像を得、前記第１画像における人顔キーポイント情報を得る拡大モジュール５２０とをさらに備える。ここで、前記第１画像における人顔キーポイント情報は、原始画像における人顔キーポイント情報を画像拡大することにより得られた情報である。
幾つの実施形態では、上記検出モジュール５１０は、前記原始画像を事前に訓練された人顔キーポイント検出モデルに入力し、前記原始画像における人顔キーポイント情報を得ることに用いられる。
幾つの実施形態では、上記抽出モジュール４１０は、前記第１画像における人顔キーポイント情報を用いて、人顔の位置合わせを実現するための変換マトリックスを計算する変換マトリックス計算サブモジュール４１１と、前記変換マトリックスを用いて前記第１画像における人顔部分を抽出する抽出サブモジュール４１２とを備える。
幾つの実施形態では、上記人顔の超解像度モデルは、ＧＡＮモデルである。
幾つの実施形態では、上記意味的領域分割画像取得モジュール４３０は、前記超解像度の人顔画像を事前に訓練された人顔領域分割モデルに入力し、領域分割後の画像を得る領域分割後画像取得サブモジュール４３１と、前記領域分割後の画像を用いて超解像度の人顔画像に対応する意味的領域分割画像を決定する意味的領域分割画像特定サブモジュール４３２とを備える。
幾つの実施形態では、上記融合モジュール４４０は、前記変換マトリックスの逆マトリックスを用いて、前記超解像度の人顔画像を、前記第１画像における人顔部分の位置である第１位置に置く位置合わせサブモジュール４４１と、前記意味的領域分割画像をマスク画像とし、前記マスク画像により、前記第１画像における人顔部分を入れ替えるように、前記第１位置にある前記超解像度の人顔画像を前記第１画像に融合する融合サブモジュール４４２とを備える。
本開示の実施形態の各装置における各モジュールの機能は、上記の方法における対応する説明を参照してもよい。ここでは説明を省略する。
本開示の実施形態では、電子設備及び可読記憶媒体を提供する。
図６に示すように、本開示の実施形態に係る人顔の超解像度の実現方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことが意図されている。電子設備はまた、パーソナルデジタル処理、携帯電話、スマートフォン、装着可能設備、及び他の類似のコンピューティング設備等の様々な形態のモバイル設備を表すことができる。ここで示した構成要素、それらの接続と関係、及びそれらの機能は一例としてだけであり、本明細書で説明されたもの及び／又は要求される本明細書の実施を制限することは意図されない。
図６に示すように、電子設備は、１つ又は複数のプロセッサ６０１、メモリ６０２と、高速インタフェース及び低速インタフェースを含む各構成要素を接続するためのインタフェースとを含む。各構成要素は、異なるバスを用いて互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法でインストールされてもよい。プロセッサは、電子設備内で実行される命令を処理することができる。ＧＵＩのグラフィカル情報を外部入出力装置（例えば、インタフェースに接続された表示装置）に表示するためのメモリ又はメモリ上に記憶された命令を含む。他の実施形態では、必要ならば、複数のプロセッサ及び／又は複数のバスを複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子設備を接続してもよく、各設備には、部分的に必要な操作（例えば、サーバアレイ、ブレードサーバのセット、又はマルチプロセッサシステムとして）を提供する。図６は、プロセッサ６０１の例である。
メモリ６０２は、本明細書に提供される非瞬時コンピュータ可読記憶媒体である。メモリは、少なくとも１つのプロセッサによって実行されることができる命令を記憶しており、少なくとも１つのプロセッサに本明細書で提供される人顔の超解像度の実現方法を実行できる。本開示の非瞬時コンピュータ可読記憶媒体は、コンピュータに本開示で提供される人顔の超解像度の実現方法を実行させるためのコンピュータ命令を記憶することができる。
メモリ６０２は、非瞬時のコンピュータ可読記憶媒体として、非瞬時のソフトウェアプログラム、非瞬時のコンピュータ実行可能プログラム、及びモジュールを記憶するために使用されてもよく、本明細書の実施形態における人顔の超解像度の実現方法に対応するプログラム命令／モジュール（例えば、図４に示す抽出モジュール４１０、超解像度処理モジュール４２０、意味的領域分割画像取得モジュール４３０、及び融合モジュール４４０）。プロセッサ６０１は、メモリ６０２に記憶されている非瞬時ソフトウェアプログラム、コマンド、及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理、すなわち、上記の方法の実施形態における顔超解像の実現方法を実行する。
メモリ６０２はプログラム格納区とデータ格納区を含む。プログラム格納区では少なくとも１つの機能が実行できるプログラム操作システムを保存することができる。データ格納区では人顔超解像度実現の電子設備の使用をもとに建てられたデータを保存することができる。そのほかにもメモリ６０２は高速ランダムアクセスメモリと非瞬時メモリを含み、例えば、少なくとも１つのディスク記憶装置、フラッシュメモリ装置、又は他の非瞬時固体記憶装置、を含む。いくつかの実施形態では、メモリ６０２は、ネットワークを介して人顔の超解像度を実現する電子設備に接続できるプロセッサ６０１に対して遠隔的に設定されたメモリを含むことができる。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワーク及びその組み合わせを含むが、これらに限定されない。
人顔の超解像度の実現方法の電子設備は、入力装置６０３と出力装置６０４とをさらに含むことができる。プロセッサ６０１、メモリ６０２、入力装置６０３、及び出力装置６０４は、バス又は他の方法で接続されてもよく、図６ではバスを介して接続されている。
入力装置６０３は、入力された数字又は文字情報を受信し、ＸＸＸの電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置を含む。出力装置６０４は、表示設備、補助照明設備（例えばＬＥＤ）、及び触覚フィードバック設備（例えば、振動モータ）等を含むことができる。この表示設備は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。
本明細書で記述するシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実装され、１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能システム上で実行及び／又は解釈されてもよく、このプログラマブルプロセッサは、専門の、又は通用のプログラマブルプロセッサであり、記憶システム、少なくとも１つの入力設備、及び少なくとも１つの出力設備からデータと指令を受け取り、データと指令を当該記憶システム、少なくとも１つの入力と、少なくとも１つの出力設備に送信する。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードともいう）は、プログラマブルプロセッサのマシン命令を含み、これらの計算プログラムは、高度なプロセス及び／又はオブジェクトに向けたプログラミング言語、及び／又はアセンブリ／マシン言語を用いて実行されてもよい。本明細書で使用されるように、用語「機械可読媒体」及び「コンピュータ可読媒体」は、機械命令及び／又はデータをプログラム可能プロセッサに提供するための任意のコンピュータプログラム製品、設備、及び／又は設備（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理設備（ＰＬＤ））を指し、機械可読信号としての機械命令を受信するマシンを含む。読み取り可能な媒体用語「機械可読信号」は、機械命令及び／又はデータをプログラム可能なプロセッサに提供するための任意の信号を意味する。
ユーザとの交流を提供するために、コンピュータで、本明細書で説明するシステム及び技術を実施することができる。当該コンピュータには、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング設備（例えば、マウス又はトラックボール）とを有する。ユーザは当該キーボードとポインティング設備を利用して、情報をコンピュータに入力する。他の種類の設備は、ユーザとの対話を提供するためにも使用される。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音声入力、音声入力、又は触覚入力を含む）で受信されてもよい。
本明細書で説明するシステム及び技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、中間件構成要素を含む計算システム（例えば、アプリケーションサーバ）、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェース又はネットワークブラウザーを備えたユーザコンピュータ、ユーザは当該グラフィカルユーザインタフェース又はネットワークブラウザーを使用して、記述のシステムと技術の実施方法とインターアクトできる）、このようなバックエンド構成要素、中間件構成要素、又はフロントエンド構成要素の任意の組み合わせのコンピュータコンピュータシステムの中に実装される。システムの構成要素は、任意の形態又はメディアのデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、及びインターネットを含む。
コンピュータシステムは、クライアントエンド及びサーバを含む。クライアントエンドとサーバは一般的に離れており、通信ネットワークを介してインターアクトする。クライアントとサーバとの関係は、それぞれのコンピュータ上で操作し、クライアントエンドとサーバの関係はクライアントエンドーサーバを持つコンピュータプログラムによって生成される。サーバはクラウドサーバであり、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムの中の１つのホスト製品であり、従来の物理ホストとＶＰＳサービスの中に存在する管理の難しさ、業務拡張性の弱い欠陥を解決した。
本開示によれば、キーポイント検出モデルを用いて、原始画像における人顔キーポイント情報を検出し、ユーザの選定した拡大倍数に基づき原始画像を拡大し、第１画像を得、第１画像における人顔キーポイント情報を相応的に拡大することができる。人顔キーポイント情報を用いて、人顔の位置合わせを実現するための変換マトリックスを計算し、変換マトリックスによって人顔部分を第１画像から抽出し、アフィニティ変換で所定のサイズを有する画像に変換することができる。この画像を事前に訓練されたＧＡＮモデルに入力して、解像度を向上した超解像度の人顔画像を得、その後、変換行列の逆行列と、人顔部分に対応する意味的領域分割画像を用いて、この超解像度の人顔画像を第１画像に融合し、低解像度の人顔を含む第１画像を超解像度の人顔画像に入れ替えることにより、最終の結果画像を得ることができる。この最終の結果画像は、原始画像の拡大を実現し、人顔部分の解像度を向上させることができる。
上記の様々な形態のフローを使用して、順序付け、追加、又はステップ削除が可能であることを理解すべきである。例えば、本明細書では、本開示に記載された各ステップを並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良いし、本明細書では、本明細書では、本開示の技術案が所望する結果を実現することができる限り、これに限定されない。
上記具体的な実施形態は、本開示の保護範囲に対する制限を構成していない。当業者は、設計要求とその他の要因によって、様々な修正、組み合わせ、サブグループ、及び代替が可能であることを理解するべきである。本開示の精神及び原則内における補正、均等置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

Claims (17)

  1. 第１画像における人顔部分を抽出することと、
    前記人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得ることと、
    前記超解像度の人顔画像に対応する意味的領域分割画像を取得することと、
    前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得ることと、を含む、
    人顔の超解像度の実現方法。
  2. 前記人顔の超解像度の実現方法は、
    原始画像における人顔キーポイント情報を検出することと、
    前記原始画像を拡大して前記第１画像を得、前記第１画像における人顔キーポイント情報を得ることと、をさらに含み、
    前記第１画像における人顔キーポイント情報は、原始画像における人顔キーポイント情報を画像拡大することにより得られた情報を含む、
    請求項１に記載の人顔の超解像度の実現方法。
  3. 原始画像における人顔キーポイント情報を検出することは、
    前記原始画像を事前に訓練された人顔キーポイント検出モデルに入力し、前記原始画像における人顔キーポイント情報を得ることを含む、
    請求項２に記載の人顔の超解像度の実現方法。
  4. 前記第１画像における人顔部分を抽出することは、
    前記第１画像における人顔キーポイント情報を用いて、人顔の位置合わせを実現するための変換マトリックスを計算することと、
    前記変換マトリックスを用いて前記第１画像における人顔部分を抽出することと、を含む、
    請求項２又は３に記載の人顔の超解像度の実現方法。
  5. 前記人顔の超解像度モデルは、敵対的生成ネットワークＧＡＮモデルである
    請求項１〜３のいずれか一項に記載の人顔の超解像度の実現方法。
  6. 前記超解像度の人顔画像に対応する意味的領域分割画像を取得することは、
    前記超解像度の人顔画像を事前に訓練された人顔領域分割モデルに入力し、領域分割後の画像を得ることと、
    前記領域分割後の画像を用いて超解像度の人顔画像に対応する意味的領域分割画像を決定することと、を含む、
    請求項１〜３のいずれか一項に記載の人顔の超解像度の実現方法。
  7. 前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることは、
    前記変換マトリックスの逆マトリックスを用いて、前記超解像度の人顔画像を、前記第１画像における人顔部分の位置である第１位置に置くことと、
    前記意味的領域分割画像をマスク画像とし、前記マスク画像により、前記第１画像における人顔部分を入れ替えるように、前記第１位置にある前記超解像度の人顔画像を前記第１画像に融合することと、を含む、
    請求項４に記載の人顔の超解像度の実現方法。
  8. 第１画像における人顔部分を抽出する抽出モジュールと
    前記人顔部分を事前に訓練された人顔の超解像度モデルに入力し、超解像度の人顔画像を得る超解像度処理モジュールと、
    前記超解像度の人顔画像に対応する意味的領域分割画像を取得する意味的領域分割画像取得モジュールと、
    前記意味的領域分割画像を用いて、前記第１画像における人顔部分を前記超解像度の人顔画像に入れ替えることにより、超解像度の人顔を含む画像を得る融合モジュールと、を備える、
    人顔の超解像度の実現装置。
  9. 原始画像における人顔キーポイント情報を検出する検出モジュールと、
    前記原始画像を拡大して前記第１画像を得、前記第１画像における人顔キーポイント情報を得る拡大モジュールと、をさらに備え、
    前記第１画像における人顔キーポイント情報は、原始画像における人顔キーポイント情報を画像拡大することにより得られた情報を含む、
    請求項８に記載の人顔の超解像度の実現装置。
  10. 前記検出モジュールは、前記原始画像を事前に訓練された人顔キーポイント検出モデルに入力し、前記原始画像における人顔キーポイント情報を得ることに用いられる、
    請求項９に記載の人顔の超解像度の実現装置。
  11. 前記抽出モジュールは、
    前記第１画像における人顔キーポイント情報を用いて、人顔の位置合わせを実現するための変換マトリックスを計算する変換マトリックス計算サブモジュールと、
    前記変換マトリックスを用いて前記第１画像における人顔部分を抽出する抽出サブモジュールと、を備える、
    請求項９又は１０に記載の人顔の超解像度の実現装置。
  12. 前記人顔の超解像度モデルは、敵対的生成ネットワークＧＡＮモデルである、
    請求項８〜１０のいずれか一項に記載の人顔の超解像度の実現装置。
  13. 前記意味的領域分割画像取得モジュールは、
    前記超解像度の人顔画像を事前に訓練された人顔領域分割モデルに入力し、領域分割後の画像を得る領域分割後画像取得サブモジュールと、
    前記領域分割後の画像を用いて超解像度の人顔画像に対応する意味的領域分割画像を決定する意味的領域分割画像決定サブモジュールと、を備える、
    請求項８〜１０のいずれか一項に記載の人顔の超解像度の実現装置。
  14. 前記融合モジュールは、
    前記変換マトリックスの逆マトリックスを用いて、前記超解像度の人顔画像を、前記第１画像における人顔部分の位置である第１位置に置く位置合わせサブモジュールと、
    前記意味的領域分割画像をマスク画像とし、前記マスク画像により、前記第１画像における人顔部分を入れ替えるように、前記第１位置にある前記超解像度の人顔画像を前記第１画像に融合する融合サブモジュールと、を備える、
    請求項１１に記載の人顔の超解像度の実現装置。
  15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
    前記命令は、前記少なくとも１つのプロセッサにより実行される場合、請求項１〜７のいずれか一項に記載の人顔の超解像度の実現方法を実行させることを特徴とする電子設備。
  16. コンピュータに請求項１〜７のいずれか一項に記載の人顔の超解像度の実現方法を実行させる命令が記憶されている非一時的なコンピュータ可読記憶媒体。
  17. コンピュータにおいてプロセッサにより実行されると、請求項１〜７のいずれか一項に記載の人顔の超解像度の実現方法を実現することを特徴とするプログラム。
JP2021079453A 2020-06-17 2021-05-10 人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム Active JP7317070B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010552759.6A CN111709878B (zh) 2020-06-17 2020-06-17 人脸超分辨率实现方法、装置、电子设备及存储介质
CN202010552759.6 2020-06-17

Publications (2)

Publication Number Publication Date
JP2021166049A true JP2021166049A (ja) 2021-10-14
JP7317070B2 JP7317070B2 (ja) 2023-07-28

Family

ID=72540582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021079453A Active JP7317070B2 (ja) 2020-06-17 2021-05-10 人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11710215B2 (ja)
EP (1) EP3843031A3 (ja)
JP (1) JP7317070B2 (ja)
KR (1) KR102499996B1 (ja)
CN (1) CN111709878B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
CN112418167A (zh) * 2020-12-10 2021-02-26 深圳前海微众银行股份有限公司 图像的聚类方法、装置、设备和存储介质
CN112598580B (zh) * 2020-12-29 2023-07-25 广州光锥元信息科技有限公司 提升人像照片清晰度的方法及装置
US20220335572A1 (en) * 2021-04-12 2022-10-20 nearmap australia pty ltd. Semantically accurate super-resolution generative adversarial networks
CN113177881B (zh) * 2021-04-28 2023-10-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
JPWO2022269963A1 (ja) * 2021-06-23 2022-12-29
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备
US20230081128A1 (en) * 2021-09-16 2023-03-16 Samsung Electronics Co., Ltd. Picture quality-sensitive semantic segmentation for use in training image generation adversarial networks
KR20230055638A (ko) * 2021-10-19 2023-04-26 서울과학기술대학교 산학협력단 생성적 적대 네트워크 기반 영상 생성 모델 생성 방법
CN115376188B (zh) * 2022-08-17 2023-10-24 天翼爱音乐文化科技有限公司 一种视频通话处理方法、系统、电子设备及存储介质
KR102614662B1 (ko) * 2023-01-31 2023-12-20 아주대학교산학협력단 화소 단위 사영 판별자를 이용한 영상 노이즈 제거 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042988A (ja) * 2010-08-12 2012-03-01 Nikon Corp 画像処理装置、画像処理方法およびプログラム
JP2019501454A (ja) * 2016-03-03 2019-01-17 三菱電機株式会社 画像をアップサンプリングするコンピューターシステム及び方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
KR101382892B1 (ko) 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
CN106022269B (zh) * 2016-05-23 2019-04-16 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
CN107742112A (zh) * 2017-10-26 2018-02-27 广东工业大学 一种基于图像的人脸防伪方法及装置
CN109978754A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108460343B (zh) * 2018-02-06 2019-06-07 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN108304816B (zh) * 2018-02-09 2020-09-01 京东数字科技控股有限公司 身份识别方法、装置、存储介质及电子设备
CN108391111A (zh) 2018-02-27 2018-08-10 深圳Tcl新技术有限公司 图像清晰度调节方法、显示装置及计算机可读存储介质
US11386328B2 (en) * 2018-05-30 2022-07-12 Robert Bosch Gmbh Method, apparatus and computer program for generating robust automated learning systems and testing trained automated learning systems
CN109191392B (zh) * 2018-08-09 2021-06-04 复旦大学 一种语义分割驱动的图像超分辨率重构方法
WO2020062191A1 (zh) * 2018-09-29 2020-04-02 华为技术有限公司 图像处理方法、装置及设备
CN109712144A (zh) * 2018-10-29 2019-05-03 百度在线网络技术（北京）有限公司 面部图像的处理方法、训练方法、设备和存储介质
CN109584162B (zh) 2018-11-30 2023-06-13 江苏网进科技股份有限公司 一种基于生成网络的图像超分辨率重构的方法
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备
CN109740688B (zh) * 2019-01-09 2023-04-18 广东工业大学 一种太赫兹图像信息解译方法、网络及存储介质
CN109785311B (zh) * 2019-01-14 2021-06-04 深圳和而泰数据资源与云技术有限公司 一种疾病诊断装置、电子设备及存储介质
CN110008817B (zh) * 2019-01-29 2021-12-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109815928B (zh) * 2019-01-31 2021-05-11 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN109948441B (zh) * 2019-02-14 2021-03-26 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110309706B (zh) * 2019-05-06 2023-05-12 深圳华付技术股份有限公司 人脸关键点检测方法、装置、计算机设备及存储介质
CN110163801B (zh) * 2019-05-17 2021-07-20 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统
CN110569721B (zh) * 2019-08-01 2023-08-29 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110414463A (zh) * 2019-08-05 2019-11-05 北京深醒科技有限公司 一种基于人脸超分辨率的人脸检测模型
CN110443230A (zh) * 2019-08-21 2019-11-12 北京百度网讯科技有限公司 人脸融合方法、装置以及电子设备
CN111126265A (zh) * 2019-12-24 2020-05-08 杭州魔点科技有限公司 活体检测方法、装置、电子设备及介质
CN111163265A (zh) * 2019-12-31 2020-05-15 成都旷视金智科技有限公司 图像处理方法、装置、移动终端及计算机存储介质
CN111275784B (zh) * 2020-01-20 2023-06-13 北京百度网讯科技有限公司 生成图像的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042988A (ja) * 2010-08-12 2012-03-01 Nikon Corp 画像処理装置、画像処理方法およびプログラム
JP2019501454A (ja) * 2016-03-03 2019-01-17 三菱電機株式会社 画像をアップサンプリングするコンピューターシステム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"物体情報の活用による画像の超解像", 情報処理学会 研究報告 コンピュータグラフィックスとビジュアル情報学（ＣＧ）, vol. ２０２０−ＣＧ−１７７, JPN6022024130, 10 March 2020 (2020-03-10), pages 1 - 4, ISSN: 0004935022 *
JIANG, JUNJUN ET AL.: "Noise Robust Face Image Super-Resolution Through Smooth Sparse Representation", IEEE TRANSACTIONS ON CYBERNETICS, vol. Volume: 47, Issue: 11, JPN6022024127, 26 August 2016 (2016-08-26), ISSN: 0004935024 *
MARCEL C. BUHLER ET AL.: "DeepSEE: Deep Disentangled Semantic Explorative Extreme Super-Resolution", ARXIV, JPN6022024129, 9 April 2020 (2020-04-09), ISSN: 0004935023 *

Also Published As

Publication number Publication date
KR102499996B1 (ko) 2023-02-16
EP3843031A3 (en) 2021-10-20
KR20210040302A (ko) 2021-04-13
JP7317070B2 (ja) 2023-07-28
CN111709878A (zh) 2020-09-25
CN111709878B (zh) 2023-06-23
US20210209732A1 (en) 2021-07-08
EP3843031A2 (en) 2021-06-30
US11710215B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
JP2021166049A (ja) 人顔の超解像度の実現方法、装置、電子設備、記憶媒体、及びプログラム
US20230022550A1 (en) Image processing method, method for training image processing model devices and storage medium
EP3989116A1 (en) Method and apparatus for detecting target object, electronic device and storage medium
US20210365767A1 (en) Method and device for operator registration processing based on deep learning and electronic device
JP2021174530A (ja) ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム
US11748986B2 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
CN112150551A (zh) 物体位姿的获取方法、装置和电子设备
TW201445421A (zh) 基於互動自動地操縱視覺化資料
US11641446B2 (en) Method for video frame interpolation, and electronic device
US10783685B2 (en) Banner image generation
KR20210036319A (ko) 텍스트 콘텐츠의 식별 방법, 장치 및 전자 기기
US20160239186A1 (en) Systems and methods for automated generation of graphical user interfaces
JP2021103558A (ja) 画像処理方法、画像処理装置、電子機器及び記憶媒体
JP2021119457A (ja) 背景なし画像の生成方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111861991B (zh) 计算图像清晰度的方法以及装置
WO2019006585A1 (en) LOCALIZATION IN REAL TIME
CN110727383B (zh) 基于小程序的触控交互方法、装置、电子设备与存储介质
CN114071190B (zh) 云应用视频流处理方法、相关装置及计算机程序产品
US20210312240A1 (en) Header Model For Instance Segmentation, Instance Segmentation Model, Image Segmentation Method and Apparatus
JP7253002B2 (ja) 電子地図表示方法、装置、機器及び読み取り可能な記憶媒体
KR102583112B1 (ko) 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN107615229B (zh) 用户界面装置和用户界面装置的画面显示方法
US20230385524A1 (en) Web site preview based on client presentation state
JP2021190085A (ja) 画像翻訳方法及び装置、画像翻訳モデルトレーニング方法及び装置
JP2022020063A (ja) 対話処理方法、装置、電子機器及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230718

R150 Certificate of patent or registration of utility model

Ref document number: 7317070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150