JP2021530047A - 画像処理方法及び装置、電子機器、並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器、並びに記憶媒体 Download PDF

Info

Publication number
JP2021530047A
JP2021530047A JP2020573111A JP2020573111A JP2021530047A JP 2021530047 A JP2021530047 A JP 2021530047A JP 2020573111 A JP2020573111 A JP 2020573111A JP 2020573111 A JP2020573111 A JP 2020573111A JP 2021530047 A JP2021530047 A JP 2021530047A
Authority
JP
Japan
Prior art keywords
image
feature
matrix
image feature
weight matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020573111A
Other languages
English (en)
Other versions
JP7098763B2 (ja
Inventor
▲呉▼佳▲飛▼
梁明▲亮▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2021530047A publication Critical patent/JP2021530047A/ja
Application granted granted Critical
Publication of JP7098763B2 publication Critical patent/JP7098763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Electric Double-Layer Capacitors Or The Like (AREA)

Abstract

本開示の実施例は、画像処理方法及び装置、電子機器、並びに記憶媒体を開示し、ここで、前記画像処理方法は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得する(S10)ことと、各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定する(S20)ことと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得する(S30)こととを含む。本開示の実施例により、融合特徴の精度を向上させることができる。【選択図】図1

Description

本開示は、2019年03月25日に中国特許局に提出された、出願番号が201910228716.Xである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本開示は、コンピュータビジョン技術分野に関し、特に、画像処理方法及び装置、電子機器、並びに記憶媒体に関するものである。
特徴融合は、コンピュータビジョン及びスマートビデオ監視の分野における重要な問題の1つである。例えば、顔特徴の融合は、顔認識システムへの適用など、多くの分野で重要な用途がある。現在、複数のフレームの特徴の平均値を融合された特徴として直接使用するのが一般的であり、この方法は、簡単であるが、性能、特に異常値に対するロバスト性が比較的低いという問題がある。
本開示の実施例は、画像処理方法及び装置、電子機器、並びに記憶媒体を提供する。
本開示の実施例の第1態様によれば、画像処理方法を提供し、前記方法は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することとを含む。
いくつかの可能な実施形態では、前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、各画像の前記画像特徴に基づいて画像特徴行列を形成することと、前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得する、前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することとを含む。
いくつかの可能な実施形態では、前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することは、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得することを含む。
いくつかの可能な実施形態では、前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することを含む。
いくつかの可能な実施形態では、前記第1重み行列に対して第1最適化処理を実行することは、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積であることと、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得することと、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定することと、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定することとを含む。
いくつかの可能な実施形態では、前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得することと、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することと、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得することとを含む。
いくつかの可能な実施形態では、前記各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することは、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することを含み、前記第1方式の式は、
Figure 2021530047
で表され、
Figure 2021530047
はi番目の画像の第2重み係数であり、
Figure 2021530047
はi番目の画像特徴と当該i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差であり、iは1からNまでの整数であり、Nは画像特徴の数であり、
Figure 2021530047
であり、
Figure 2021530047
は誤差
Figure 2021530047
の標準偏差である。
いくつかの可能な実施形態では、前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、各画像の前記画像特徴に基づいて画像特徴行列を形成することと、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することとを含む。
いくつかの可能な実施形態では、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することとを含む。
いくつかの可能な実施形態では、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、各画像特徴と前記中央値特徴行列との間の第2誤差を取得することと、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定することとを含む。
いくつかの可能な実施形態では、前記第2方式の式は、
Figure 2021530047
Figure 2021530047
で表され、
Figure 2021530047
は第2方式で決定されたh番目の画像の重み係数であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す。
いくつかの可能な実施形態では、前記第2条件は、
Figure 2021530047
Figure 2021530047
であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す。
いくつかの可能な実施形態では、前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む。
いくつかの可能な実施形態では、前記方法は、前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む。
いくつかの可能な実施形態では、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記方法は、重み係数の取得モードに対する選択情報を取得することと、前記選択情報に基づいて前記重み係数の取得モードを決定することと、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することとをさらに含み、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
本開示の実施例の第2態様によれば、画像処理装置を提供し、前記装置は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュールと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールとを備える。
いくつかの可能な実施形態では、前記決定モジュールは、各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットとを備える。
いくつかの可能な実施形態では、前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される。
いくつかの可能な実施形態では、前記決定モジュールさらには、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される。
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である。
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される。
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得するように構成され、前記第1方式の式は、
Figure 2021530047
で表され、
Figure 2021530047
はi番目の画像の第2重み係数であり、
Figure 2021530047
はi番目の画像特徴と当該i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差であり、iは1からNまでの整数であり、Nは画像特徴の数であり、
Figure 2021530047
であり、
Figure 2021530047
は誤差
Figure 2021530047
の標準偏差である。
いくつかの可能な実施形態では、前記決定モジュールは、各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットとをさらに備える。
いくつかの可能な実施形態では、前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される。
いくつかの可能な実施形態では、前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される。
いくつかの可能な実施形態では、前記第2方式の式は、
Figure 2021530047
Figure 2021530047
で表され、
Figure 2021530047
は第2方式で決定されたh番目の画像の重み係数であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す。
いくつかの可能な実施形態では、前記第2条件は、
Figure 2021530047
Figure 2021530047
であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す。
いくつかの可能な実施形態では、前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される。
いくつかの可能な実施形態では、前記装置はさらに、前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える。
いくつかの可能な実施形態では、前記装置は、重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールをさらに備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される。
本開示の実施例の第3態様によれば、電子機器を提供し、前記電子機器は、第1態様又はその各実施形態における方法を実行するように構成されるプロセッサと、プロセッサ実行可能な命令を記憶するように構成されるメモリとを備える。
本開示の実施例の第4態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行される時に、第1態様又はその各実施形態における方法を実現する。
本開示の実施例によれば、同一のオブジェクトの異なる特徴を融合することができ、ここで、前記同一のオブジェクトの異なる画像の画像特徴に従って、各画像特徴に対応する重み係数を決定し、前記重み係数に従って、画像特徴の特徴融合を実行することができ、各画像特徴のために異なる重み係数を決定できるため、本開示の実施例の技術的解決策により、特徴融合の精度を向上させることができる。
以上の一般的な説明と以下の詳細な説明は、解釈するための例示的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の実施例の他の特徴および態様は明確になる。
ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本開示に準拠する実施例を示し、本明細書とともに本開示の技術的解決策を説明するために使用される。
本開示の実施例による画像処理方法を示すフローチャートである。 本開示の実施例による画像処理方法において、重み係数を決定する方式示すフローチャートである。 本開示の実施例による画像処理方法におけるステップS20を示すフローチャートである。 本開示の実施例による画像処理方法において、第1最適化処理の実行を示すフローチャートである。 本開示の実施例による画像処理方法におけるステップS232を示すフローチャートである。 本開示の実施例による画像処理方法におけるステップS20を示すフローチャートである。 本開示の実施例による画像処理方法におけるステップS203を示すフローチャートである。 本開示の実施例による画像処理装置を示すブロック図である。 本開示の実施例による電子機器800を示すブロック図である。 本開示の実施例による電子機器1900を示すブロック図である。
以下、図面を参照しながら本開示の様々な例示的な実施例、特徴、および態様を詳細に説明する。図面における同じ参照符号は、同じまたは類似の機能を有する要素を表す。実施例の様々な態様が図面に示されているが、特に明記しない限り、必ずしも縮尺通りに図面を作る必要はない。
本明細書で使用される「例示的」という用語は、「例、実施例として用いられるもの、または説明的なもの」であること意味する。本明細書で「例示的」として説明される任意の実施例は、他の実施例より優れるまたは良好なものと解釈すべきではない。
本明細書における「および/または」という用語は、関連するオブジェクトを説明する単なる関連付け関係であり、3つの関係が存在できることを示し、例えば、Aおよび/またはBは、Aが単独で存在する、AとBが同時に存在する、Bが単独で存在するという3つのケースを示すことができる。また、本明細書における「少なくとも1つ」という用語は、複数のうちのいずれか1つまたは複数のうちの少なくとも2つの任意の組み合わせを意味し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、BおよびCからなるセットから選択されるいずれか1つまたは複数の要素を含むことを意味することができる。
また、本開示をより効果的に説明するために、以下の具体的な実施形態では、多くの具体的な詳細を提供する。当業者なら自明であるが、いくつかの特定の詳細がなくても、本開示の実施例を実施することができる。いくつかの実施例において、本開示の要旨を強調するために、当業者に既知の方法、手段、要素、および回路に対する詳細な説明を省略する。
本開示の実施例は、画像処理方法を提供し、当該画像処理方法は、複数の画像の特徴融合処理を実行することができ、任意の電子機器またはサーバに適用されることができる。例えば、前記電子機器は、ユーザ機器(UE:User Equipment)、モバイル機器、携帯電話、コードレス電話、携帯情報端末(PDA:Personal Digital Assistant)、ハンドヘルドデバイス、計算機器、車載機器、ウェアラブル機器などを含み得る。サーバは、ローカルサーバまたはクラウドサーバを含むことができる。いくつかの可能な実施形態では、当該画像処理方法は、プロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すことで実現することができる。前述したものは、機器の例示的な説明に過ぎず、本開示を具体的に限定するものではない。他の実施例では、画像処理を実行できる他の機器によって実現することもできる。
図1は、本開示の実施例による画像処理方法を示すフローチャートである。前記画像処理方法は、以下のステップを含み得る。
S10において、同一のオブジェクトに対する複数の画像の画像特徴を取得する。
本開示の実施例では、同一のオブジェクトの異なる画像の特徴に対して特徴融合処理を実行できる。ここで、オブジェクトのタイプは、任意のタイプであり得、例えば、人、動物、植物、車両、漫画のキャラクタなどであり得、本開示の実施例はこれを特に限定しない。同一のオブジェクトの異なる画像は、同じシナリオで撮影された異なる画像、または異なるシナリオで撮影された画像であり得、本開示の実施例は、画像を取得するための時間を特に限定せず、各画像を取得するための時間は、同じでもよいし、異なってもよい。
本開示の実施例によれば、最初に、前記同一のオブジェクトの複数の画像を取得することができる。ここで、複数の画像を取得する方式は、カメラ機器で複数の画像収集すること、または他の機器との通信により、他の機器によって伝送される複数の画像を受信すること、またはローカルまたは特定のネットワークアドレスに記憶された複数の画像を読み取ることなどを含み得る。前述したものは単なる例示的な説明に過ぎず、他の実施例では、他の方式で同一のオブジェクトの複数の画像を取得することもできる。
複数の画像を取得した後、各画像の画像特徴をそれぞれ抽出することができる。いくつかの可能な実施形態では、特徴抽出アルゴリズムにより画像特徴を抽出することができ、特徴抽出アルゴリズムは、例えば、顔特徴抽出アルゴリズム、エッジ特徴抽出アルゴリズムなどであり得、または他の特徴抽出アルゴリズムによりオブジェクトの関連特徴を抽出することもできる。あるいは、本開示の実施例では、特徴抽出機能を備えたニューラルネットワークにより、各画像の画像特徴を抽出することもできる。ここで、画像特徴は、対応する画像の特徴情報、または画像内のオブジェクトの特徴情報を反映することができる。例示的に、画像特徴は、画像内の各画素点のグレースケール値であり得る。
本開示の実施例では、画像に含まれるオブジェクトが人物である場合、取得された画像特徴は、前記オブジェクトの顔特徴であり得る。例えば、顔特徴抽出アルゴリズムにより各画像を処理することにより、画像内の顔特徴を抽出することができる。あるいは、各画像を、画像内の顔特徴を取得できるニューラルネットワークに入力し、ニューラルネットワークを介して各画像の顔特徴を取得することができる。ここで、前記ニューラルネットワークは、画像の画像特徴を取得し、画像内のオブジェクトを認識できるトレーニング済みのニューラルネットワークであり得、ニューラルネットワークの最後の畳み込み層によって処理された(分類識別前に得られた特徴)結果を本開示の実施例の画像特徴として使用でき、ニューラルネットワークは、畳み込みニューラルネットワークであり得る。あるいは、他のタイプのオブジェクトの場合、対応する特徴抽出アルゴリズムまたはニューラルネットワーク介して対応する画像特徴を取得することもでき、本開示の実施例はこれを特に限定しない。
本開示の実施例では、画像特徴は、特徴ベクトルの形であり得、例えば、i番目の画像の画像特徴(顔特徴など)は、
Figure 2021530047
で表されることができ、ここで、Dは画像特徴の次元を表し、iは1からNまでの整数であり、Nは画像の数を表す。
S20において、各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定する。
本開示の実施例によれば、各画像の画像特徴内の特徴パラメータに従って、各画像特徴の重み係数を決定でき、当該重み係数は、[0,1]にある値、または他の値であり得、本開示の実施例はこれを特に限定しない。各画像特徴のために異なる重み係数を設定することにより、より精度の高い画像特徴を強調表示できるため、特徴融合処理で得られた融合特徴の精度を向上させることができる。
S30において、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得する。
本開示の実施例では、特徴融合処理を実行する方式は、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含み得る。例えば、下記式により各画像特徴の融合特徴を取得すできる。
Figure 2021530047
ここで、Gは生成された融合特徴を表し、iは1からNまでの整数値であり、Nは画像の数を表し、
Figure 2021530047
はi番目の画像の画像特徴
Figure 2021530047
の重み係数を表す。
つまり、本開示の実施例では、画像特徴と対応する重み係数を乗算し、その後、各乗算処理によって得られた乗算結果を加算処理することにより、本開示の実施例の融合特徴を取得することができる。
本開示の実施例によれば、単に各画像特徴の平均値を融合特徴として直接取得するのではなく、画像特徴内の特徴パラメータに従って、各画像特徴の重み係数を決定し、重み係数に従って各画像の融合特徴を取得できるため、操作が簡単で便利である特徴に加えて、融合特徴が向上する。
以下、添付の図面を参照して本開示の実施例の各プロセスを詳細に説明する。
本開示の実施例では、同一のオブジェクトの各異なる画像の画像特徴を取得した後、各画像特徴の重み係数を決定できる。いくつかの可能な実施形態では、特徴フィッティング方式で各重み係数を取得でき、別のいくつかの可能な実施形態では、中央値フィルタリング方式で各重み係数を取得でき、または他の実施形態では、平均値または他の処理によって各重み係数を取得することもでき、本開示の実施例はこれを特に限定しない。
本開示の実施例では、ステップS20を実行して各重み係数を取得する前に、特徴フィッティング方式または中央値フィルタリング方式など、各重み係数を取得する方式を先に決定することができる。図2は、本開示の実施例による画像処理方法において、重み係数を決定する方式示すフローチャートである。前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記方法は、以下のステップをさらに含む。
S41において、重み係数の取得モードに対する選択情報を取得する。
ここで、前記選択情報は、重み係数を取得する操作を実行するためのモードの選択情報であり、例えば、選択情報は、第1モード(特徴フィッティング方式など)を利用して前記重み係数を取得するための第1選択情報であってもよいし、第2モード(中央値フィルタリング方式など)を利用して前記重み係数を取得するための第2選択情報であってもよい。あるいは、前記選択情報は、他のモードを使用して重み係数を取得するための選択情報を含んでもよく、本開示の実施例はこれを特に限定しない。
ここで、前記選択情報を取得する方式は、入力コンポーネントによって受信された入力情報を受信し、当該入力情報に基づいて前記選択情報を決定することを含み得る。本開示の実施例では、入力コンポーネントは、スイッチ、キーボード、マウス、オーディオ受信インターフェース、タッチパネル、タッチスクリーン、通信インターフェースなどを含み得、本開示の実施例はこれを特に限定しなく、選択情報を受信できれば、本開示の実施例として使用することができる。
S42において、前記選択情報に基づいて前記重み係数の取得モードを決定する。
選択情報に重み情報の取得モードに関する関連情報が含まれているため、受信された選択情報に従って、対応するモード情報を取得することができる。例えば、選択情報が第1選択情報を含む場合、第1モード(特徴フィッティング方式)を利用して重み係数の取得を実行すると決定でき、選択情報が第2選択情報を含む場合、第2モード(中央値フィルタリング方式)を利用して重み係数の取得を実行すると決定できる。同様に、選択情報が他の選択情報を含む場合、それに応じて、選択情報に対応する重み係数を取得する方式を決定することができる。
いくつかの可能な実施形態では、異なる重み係数の取得モードの精度または演算量、演算速度のうちの少なくとも1つが異なる場合がある。例えば、第1モードの精度は、第2モードの精度より高くてもよく、第1モードの演算速度は、第2モードの演算速度より遅くてもよいが、本開示の実施例はこれに限定されるものではない。したがって、本開示の実施例では、ユーザは、異なる需要に応じて適切なモードを選択して、重みパラメータの取得を実行することができる。
S43において、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数の決定を実行し、ここで、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
選択情報に基づいて重み係数の取得モードを決定した後、決定したモードに従って重み情報の取得操作を実行することができる。
本開示の実施例では、上記の方式により重み係数の取得モードの選択を実現でき、異なる需要に応じて、異なるモードを使用して重み係数の取得を実行できるため、より良い適用性がある。
以下、本開示の実施例における、重み係数を取得する方式について詳細に説明する。図3は、本開示の実施例による画像処理方法におけるステップS20を示すフローチャートであり、ここで、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数を決定する(ステップS20)ことは、以下のステップを含み得る。
S21において、各画像の前記画像特徴に基づいて画像特徴行列を形成する。
本開示の実施例では、各画像の画像特徴は、特徴ベクトルの形で表すことができる。例えば、i番目の画像の画像特徴は
Figure 2021530047
で表されることができ、ここで、Dは画像特徴の次元を表し、iは1からNまでの整数であり、Nは画像の数を表す。さらに、本開示の実施例では、各画像の画像特徴の次元は同じであり、全てDである。
各画像の画像特徴に従って形成された画像特徴行列Xは、下記式で表すことができる。
Figure 2021530047
上記の式(2)に基づいて、各画像特徴からなる画像特徴行列を取得することができる。上記の方式により、画像特徴行列の各行の要素を、一画像の画像特徴として使用でき、各行に対応する画像特徴は、異なる画像の画像特徴である。他の実施形態では、画像特徴行列の各列の要素を、一画像の画像特徴として使用することもでき、各列に対応する画像特徴は、異なる画像の画像特徴であり、本開示の実施例は、画像特徴行列の配列方式を特に限定するものではない。
S22において、前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得する。
各画像特徴に対応する画像特徴行列を取得した後、画像特徴行列の特徴フィッティング処理を実行でき、本開示の実施例では、正則化された線形最小二乗推定アルゴリズム(regularized least−square linear regression)を利用して、前記特徴フィッティング処理を実行できる。例えば、プリセット目標関数を設定でき、当該プリセット目標関数は、重み係数に関連する関数であり、当該プリセット目標関数が最小値をとる場合に、各重み係数に対応する第1重み行列を決定し、当該第1重み行列の次元は、画像特徴の数と同じであり、第1重み行列の各要素に従って最終の重み係数を決定できる。
いくつかの可能な実施形態では、プリセット目標関数は下記式で表されることができる。
Figure 2021530047
ここで、Xは画像特徴行列を表し、
Figure 2021530047
は推定される第1重み行列を表し、Yは観測行列を表し、当該観測行列はXと同じであり、
Figure 2021530047
はXの転置行列を表し、
Figure 2021530047
は正則化パラメータを表し、
Figure 2021530047
パラメータのL2norm(標準)正則化項を表す。
いくつかの可能な実施形態では、画像特徴が行ベクトルである場合、生成された第1重み行列は列ベクトルであり、逆に、画像特徴が列ベクトルである場合、生成された第1重み行列は行ベクトルである。さらに、第1重み行列の次元は、画像特徴または画像の数と同じである。
本開示の実施例は、上記の目標関数が最小値である場合、第1重み行列bの値を決定することができる。この場合、最終の第1重み行列を取得でき、当該第1重み行列は下記式で表されることができる。
Figure 2021530047
前述した実施例により、特徴フィッティング処理によって得られた第1重み行列を取得することができる。本開示の他の実施形態では、他の特徴フィッティング方式で画像特徴行列の特徴フィッティング処理を実行して、対応する第1重み行列を取得することもでき、または異なるプリセット目標関数を設定して、特徴フィッティング処理を実行することもでき、本開示の実施例はこれを特に限定しない。
S23において、前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定する。
第1重み行列を取得した後、取得した第1重み行列に従って、画像特徴に対応する重み係数を決定できる。
ここで、いくつかの可能な実施形態では、第1重み行列に含まれる各要素を重み係数として直接使用でき、つまり、第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する重み係数として決定できる。得られた第1重み行列が
Figure 2021530047
である場合、i番目の画像の画像特徴
Figure 2021530047
の重み係数は、
Figure 2021530047
であり得る。
本開示の別のいくつかの実施形態では、重み係数の精度をさせるために、第1重み行列に対して最適化処理を実行して、最適化された第1重み行列を取得し、最適化された第1重み行列内の要素を、各画像特徴の重み係数として使用することもできる。つまり、前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することができる。前記第1最適化処理により、第1重み行列内の異常値を検出し、当該異常値に対して対応する最適化処理を実行できるため、得られた重み行列の精度を向上させることができる。
図4は、本開示の実施例による画像処理方法において、第1最適化処理の実行を示すフローチャートである。ここで、前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を各画像特徴に対応する前記重み係数として決定することは、以下のステップを含み得る。
S231において、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である。
本開示の実施例では、先ず、決定された第1重み行列に基づいて、各画像特徴のフィッティング画像特徴を取得できる。ここで、第1重み行列に含まれる各画像特徴の第1重み係数と対応する画像特徴を乗算して、当該画像特徴のフィッティング画像特徴を取得できる。例えば、第1重み行列内のi番目の画像の画像特徴
Figure 2021530047
の第1重み係数
Figure 2021530047
と前記画像特徴
Figure 2021530047
を乗算して、フィッティング画像特徴
Figure 2021530047
を取得できる。
S232において、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得する。
フィッティング画像特徴を取得した後、画像特徴とそれに対応するフィッティング画像特徴との間の第1誤差を取得できる。本開示の実施例では、下記式により、画像特徴とフィッティング画像特徴との間の第1誤差を取得できる。
Figure 2021530047
ここで、
Figure 2021530047
はi番目の画像特徴と当該i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、jは1からDまでの整数であり、Dは各画像特徴の次元を表し、
Figure 2021530047
はi番目の画像の画像特徴を表し、
Figure 2021530047
はi番目の画像特徴に対応するフィッティング画像特徴を表す。
本開示の他の実施形態では、他の方式で画像特徴とフィッティング画像特徴との間の第1誤差を決定することもでき、例えば、フィッティング画像特徴と画像特徴との間の各要素の差の平均値を第1誤差として直接使用でき、本開示の実施例は、第1誤差の決定方式を特に限定するものではない。
第1誤差を取得した後、前記第1誤差を利用して、第1重み行列の最初の最適化処理プロセスを実行して、第1最適化された重み行列を取得できる。ここで、前記第1最適化された重み行列内の要素は、各画像特徴に対応する最初の最適化された重み係数を表すこともできる。
S233において、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすか否かを判断し、第1条件を満たした場合、ステップS234を実行し、第1条件を満たしない場合、ステップS235を実行する。
第1誤差に基づいて第1重み行列の第1最適化処理結果(第1最適化された重み行列)を取得した後、前記第1最適化された重み行列と第1重み行列との間の差が第1条件を満たすか否かを判断でき、前記差が第1条件を満たすことは、前記第1最適化された重み行列に対してさらなる最適化を実行する必要がないことを示し、この場合、前記第1最適化された重み行列を、最終の第1最適化処理によって得られた最適化された重み行列として決定できる。前記第1最適化された重み行列と第1重み行列との間の差が第1条件を満たさない場合、前記第1最適化された重み行列に対して最適化処理を実行し続ける必要がある。
ここで、本開示の実施例における第1条件は、第1最適化された重み行列と第1重み行列との間の差の絶対値が第1閾値未満であることであり得、当該第1閾値は、プリセットされた閾値であり、1未満の値であり得る。本開示の実施例では、第1閾値の値は、需要に応じて設定でき、例えば、0.01に設定でき、本開示の実施例はこれを特に限定しない。
上記の実施例に基づいて、第1最適化された重み行列と第1重み行列との間の差が第1条件を満たすか否かを判断し、対応する後続のステップをさらに実行することができる。
S234において、前記第1最適化された重み行列を、最適化された第1重み行列として決定する。
上記の実施例で説明したように、前記第1最適化された重み行列と第1重み行列との間の差が第1条件を満たすと判断したことは、前記第1最適化された重み行列に対してさらなる最適化処理を実行する必要がないことを示し、この場合、前記第1最適化された重み行列を、最終の第1最適化処理によって得られた最適化された重み行列として直接決定できる。
S235において、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定する。
いくつかの可能な実施形態では、画像特徴とフィッティング画像特徴との間の第1誤差に基づいて、画像特徴に対して第1最適化処理を実行して得られた第1最適化された重み行列と、第1重み行列との間の差が第1条件を満たさない可能性がある。例えば、前記差が第1閾値を超える場合、第1最適化された重み行列内の重み係数を引き続き利用して、各画像特徴のフィッティング画像特徴を取得し、次に画像特徴とフィッティング画像特徴との間の第1誤差を利用して、2番目の第1最適化処理プロセスをさらに実行して、第2最適化された重み行列を取得できる。
前記第2最適化された重み行列と第1最適化された重み行列との間の差が第1条件を満たす場合、前記第2最適化された重み行列を、最終の最適化結果、即ち最適化された重み行列として決定できる。前記第2最適化された重み行列と第1最適化された重み行列との間の差が依然として第1条件を満たさない場合、第2最適化された重み行列内の重み係数を引き続き利用して、各画像特徴のフィッティング画像特徴を取得し、当該画像特徴とフィッティング画像特徴との間の第1誤差を利用して、3番目の第1最適化処理プロセスをさらに実行して、第3最適化された重み行列取得する。このように、得られたk番目の最適化された重み行列と前記k−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、上記の操作を繰り返す。この場合、k番目の最適化された重み行列を、最適化された前記第1重み行列として決定でき、ここで、kは1より大きい正の整数である。
前述した実施例により、画像特徴とフィッティング画像特徴との間の第1誤差に従って、第1最適化処理を実行して、最適化された第1重み行列を取得するプロセスを完了することができる。本開示の実施例では、第1最適化処理の反復関数は下記式で表されることができる。
Figure 2021530047
ここで、tは反復回数(即ち第1最適化処理の回数)を表し、
Figure 2021530047
はt番目の第1最適化処理によって得られた第1最適化された重み行列を表し、Xは画像特徴行列を表し、Yは観測行列を表し、当該観測行列はXと同じであり、
Figure 2021530047
はt−1番目の反復により得られた第2重み係数
Figure 2021530047
の対角行列を表し、Iは対角行列であり、
Figure 2021530047
は正則化パラメータを表す。上記の実施例からわかるように、本開示の実施例では、第1最適化処理を実行するたびに、第2重み係数
Figure 2021530047
を調整することにより、重み行列に対して最適化処理を実行することができる。
本開示の実施例では、第1重み行列に対する最初の第1最適化処理のプロセスを参照しながら、第1最適化処理について説明する。図5は、本開示の実施例による画像処理方法におけるステップS232を示すフローチャートである。前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、以下のステップを含み得る。
S2321において、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得する。
上記の実施例で説明したように、画像特徴及び対応するフィッティング画像特徴を取得した後、各画像特徴と対応するフィッティング画像特徴との間の第1誤差を決定でき、第1誤差の決定については、上記の式(5)を参照できる。
S2322において、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得する。
各画像特徴とそれに対応するフィッティング画像特徴との間の第1誤差を決定した後、前記第1誤差の値に従って、画像特徴の第2重み係数を決定でき、第2重み係数は、第1最適化処理を実行するために使用される。ここで、第1方式で対応する画像特徴の第2重み係数を決定でき、第1方式は下記式で表されることができる。
Figure 2021530047
ここで、
Figure 2021530047
はi番目の画像の第2重み係数であり、
Figure 2021530047
はi番目の画像特徴と当該i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、
Figure 2021530047
であり、
Figure 2021530047
は誤差の
Figure 2021530047
標準偏差である。本開示の実施例では、kは誤差閾値を表すことができ、当該kは、全ての画像特徴とフィッティング画像特徴との間の第1誤差の標準偏差の1.348=5倍であり得る。他の実施形態では、当該kの値は、他の値(0.6など)であり得るが、本開示の実施例はこれに限定されるものではない。
各画像特徴とフィッティング画像特徴との間の第1誤差を取得した後、前記第1誤差と誤差閾値kを比較することができ、第1誤差がk未満である場合、対応する画像特徴に対応する第2重み係数(1など)を、第1値として決定できる。第1誤差がkより大きいか等しい場合、第1誤差に従って画像特徴の第2重み係数を決定でき、この場合、第2重み係数は、第2値であり得、kと第2誤差の絶対値の比率は
Figure 2021530047
である。
S2323において、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、得到第1最適化された重み行列。
画像特徴の第2重み係数を取得した後、前記第2重み係数を利用して、第1重み行列の第1最適化処理を実行でき、ここで、反復関数
Figure 2021530047
を利用して、第1最適化された重み行列を取得できる。
本開示の実施例では、第1最適化された重み行列と第1重み行列との間の差が第1条件を満たさない場合、第1重み行列内の重み係数を利用して、新しいフィッティング画像特徴を取得した後、前記画像特徴と新しいフィッティング画像特徴との間の第1誤差に従って、各画像特徴の第2重み係数を再決定でき、これにより、新しい第2重み係数に従って上記の関数の反復を実行して、第2最適化された重み行列を取得し、このようにして、k番目の第1最適化処理に対応するk番目の最適化された重み行列を取得できる。
これにより、k番目の第1最適化処理によって得られたk番目の最適化された重み行列と、k−1番目の第1最適化処理によって得られたk−1番目の最適化された重み行列との間の差が、第1条件
Figure 2021530047
を満たすことができ、ここで、
Figure 2021530047
が第1閾値である場合、前記k番目の最適化された重み行列
Figure 2021530047
を、最適化された第1重み行列として使用できる。
上記の実施例に基づいて、特徴フィッティング方式で画像特徴の重み係数を取得するプロセスを完了することができ、前記方式で得られた重み係数の精度が高く、重み係数内の異常値に対するロバスト性も高い。
前述したように、本開示の実施例は、中央値フィルタリング方式で各画像特徴の重み係数を決定する方法をさらに提供する。特徴フィッティング方式と比較して、前記中央値フィルタリング方式の方が演算コストが小さい。
図6は、本開示の実施例による画像処理方法におけるステップS20を示すフローチャートであり、ここで、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数を決定する(ステップS20)ことは、以下のステップをさらに含み得る。
S201において、各画像の前記画像特徴に基づいて画像特徴行列を形成する。
ステップS21と同様に、本開示の実施例では、各画像の画像特徴に従って画像特徴行列を形成でき、各画像の画像特徴は、特徴ベクトルの形で表すことができる。例えば、i番目の画像の画像特徴は
Figure 2021530047
で表されることができ、ここで、Dは画像特徴の次元を表し、iは1からNまでの整数であり、Nは画像の数を表す。さらに、本開示の実施例では、各画像の画像特徴の次元は同じであり、全てDである。
各画像の画像特徴に従って形成された画像特徴行列Xは、下記の式(2)で表されることができる。
Figure 2021530047
上記の式(2)に基づいて、各画像特徴からなる画像特徴行列を取得することができる。上記の方式により、画像特徴行列の各行の要素を、一画像の画像特徴として使用でき、各行に対応する画像特徴は、異なる画像の画像特徴である。他の実施形態では、画像特徴行列の各列の要素を、一画像の画像特徴として使用することもでき、各列に対応する画像特徴は、異なる画像の画像特徴であり、本開示の実施例は、画像特徴行列の配列方式を特に限定するものではない。
S202において、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得する。
本開示の実施例では、画像特徴行列を取得した後、取得した画像特徴行列に対して中央値フィルタリング処理を実行して、前記画像特徴行列に対応する中央値特徴行列を取得できる。ここで、中央値特徴行列内の要素は、画像特徴行列内の対応する要素に対応する画像特徴の中央値である。
ここで、本開示の実施例では、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得する。
例えば、本開示の実施例における画像特徴行列は、上記の式(2):
Figure 2021530047
で表されることができ、これに応じて、同じ位置ごとの画像特徴の中央値を取得できる。ここでの「位置」とは、各画像特徴の特徴のシーケンス番号に対応する位置を指し、例えば、各画像特徴内の最初の要素は、
Figure 2021530047
であり得、または、要素位置がjであるj番目の要素は、
Figure 2021530047
であり得、これにより、同じ位置にある要素を決定できる。本開示の実施例で得られた中央値特徴行列の次元は、画像特徴の次元と同じであり得、中央値特徴行列は、
Figure 2021530047
で表されることができ、ここで、任意のj番目の要素は
Figure 2021530047
であり得、jは1からDまでの整数値である。ここで、median関数は中央値関数であり、つまり、中央位置の特徴値である
Figure 2021530047
の値を取得できる。ここで、先ず、
Figure 2021530047
を降順くで配列し、Nが奇数である場合に得られた中央値は、中央位置((N+1)/2番目)の画像特徴値(要素値)であり、Nが偶数で場合に得られた中央値は、中央の2つの要素値の平均値である。
上記に基づいて、画像特徴行列の各画像特徴に対応する中央値特徴行列を取得できる。
S203において、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定する。
画像特徴に対応する中央値特徴行列を取得した後、当該中央値を利用して、画像特徴の重み係数を取得できる。
いくつかの可能な実施形態では、各画像特徴と中央値特徴行列との間の第2誤差を取得し、当該第2誤差に従って、各画像特徴の重み係数を決定できる。
図7は、本開示の実施例による画像処理方法におけるステップS203を示すフローチャートである。ここで、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、以下のステップを含み得る。
S2031において、各画像特徴と前記中央値特徴行列との間の第2誤差を取得する。
本開示の実施例では、画像特徴と中央値特徴行列内の対応する要素との間の差の絶対値の合計と、画像特徴と中央値特徴行列との間の第2誤差として使用できる。第2誤差は下記式で表されることができる。
Figure 2021530047
ここで、
Figure 2021530047
は、h番目の画像の画像特徴
Figure 2021530047
と中央値特徴行列との間の第2誤差であり、Mは中央値特徴行列を表し、
Figure 2021530047
はh番目の画像の画像特徴を表し、hは1からNまでの整数値である。
上記の実施例により、各画像特徴と中央値特徴行列との間の第2誤差を取得でき、さらに、前記第2誤差に従って重み係数を決定できる。
S2032において、前記第2誤差が第2条件を満たすか否かを判断し、前記第2誤差が第2条件を満たす場合、ステップS2033を実行し、前記第2誤差が第2条件を満たさない場合、ステップS2034を実行する。
ここで、本開示の実施例における第2条件は、第2誤差が第2閾値を超えることであり得、当該第2閾値は、プリセットされた閾値であり得るか、または各画像特徴と中央値特徴行列との間の第2誤差に従って決定されたものであり得、本開示の実施例はこれを特に限定しない。いくつかの可能な実施形態では、第2条件は下記式で表されることができる。
Figure 2021530047
Figure 2021530047
ここで、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、前記判断閾値は、プリセットされた値(0.8など)であり得るが、本開示の実施例はこれに限定されるものではなく、medianは中央値フィルタリング関数を表す。つまり、本開示の実施例における第2閾値は、各画像特徴に対応する第2誤差の平均値と0.675の比率と、判断閾値Kとの積であり、前記判断閾値は、1未満の正数であり得る。
設定された第2条件または第2閾値により、画像特徴と中央値特徴行列との間の第2誤差が第2条件満たすか否かを判断でき、判断結果に従って後続の操作を実行できる。
S2033において、前記画像特徴の重み係数を第1重み値として設定する。
本開示の実施例では、画像特徴と中央値特徴行列との間の第2誤差が第2条件を満たすこと、例えば、当該第2誤差が第2閾値を超えることは、前記画像特徴が異常である可能性があることを示し、この場合、第1重み値を前記画像特徴の重み係数として決定できる。本開示の実施例における第1重み値は、プリセットされた重み値系数(0など)であり得るか、または他の実施例では、第1重み値を他の値に設定することにより、異常がある画像特徴による融合特徴への影響を低減することができる。
S2034において、第2方式で前記画像特徴の重み係数を決定する。
本開示の実施例では、画像特徴と中央値特徴行列との間の第2誤差が第2条件を満たすこと、例えば、前記第2誤差が第2閾値より小さいか等しいことは、当該画像特徴が比較的正確であることを示し、この場合、第2方式で、前記第2誤差に基づいて前記画像特徴の重み係数を決定できる。ここで、前記第2方式は下記式で表されることができる。
Figure 2021530047
Figure 2021530047

ここで、
Figure 2021530047
は第2方式で決定されたh番目の画像の重み係数であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す。
画像特徴に対応する第2誤差が第2閾値より小さいか等しい場合、上記の第2方式で前記画像特徴の重み係数
Figure 2021530047
を取得できる。
本開示の実施例によれば、中央値フィルタリング方式で各画像特徴の重み係数を取得でき、ここで、中央値フィルタリングに従って重み係数を決定する方式により、演算のオーバーヘッドをさらに低減させることができ、同時に、演算及び処理の複雑さを効果的に低減させながら、得られた融合特徴の精度を向上させることもできる。
各画像特徴の重み係数を取得した後、特徴融合処理を実行でき、例えば、各画像特徴と、対応する重み係数との積の合計値を使用して、前記融合特徴を取得できる。
本開示のいくつかの可能な実施形態では、融合特徴を取得した後、融合特徴を利用して、画像内のターゲットオブジェクトの認識操作を実行することもできる。例えば、融合特徴とデータベースに記憶された各オブジェクトの画像を比較することができ、類似度閾値を超える類似度を持つ第1画像が存在する場合、前記ターゲットオブジェクトを、前記第1画像に対応するオブジェクトとして決定でき、このようにして、ID認識操作とターゲット認識操作を完了できる。本開示の他の実施例では、他のタイプのオブジェクト認識操作を実行することもでき、本開示はこれを特に限定しない。
本開示の実施例のプロセスをより明確に説明するために、以下は、顔画像を例に挙げて説明する。
本開示の実施例では、先ず、オブジェクトAの異なる顔画像を取得でき、例えば、N枚顔画像を取得でき、Nは1を超える正数である。前記N枚の顔画像を取得した後、顔特徴を抽出できるニューラルネットワークにより、前記N枚の顔画像内の顔特徴を抽出して、各画像の顔特徴(画像特徴)
Figure 2021530047
を形成できる。
各顔画像の顔特徴を取得した後、各顔特徴に対応する重み係数を決定できる。本開示の実施例では、特徴フィッティング方式で前記重み係数を取得してもよいし、中央値フィルタリング方式で前記重み係数を取得してもよい。どの方式を使用するかは、受信された選択情報に従って決定できる。ここで、特徴フィッティング方式を採用する場合、先ず各顔特徴に対応する下記式のような顔特徴行列:
Figure 2021530047
を取得し、当該画像特徴に対して特徴フィッティングを実行して、第1重み行列を取得でき、その後、第1重み行列に対して第1最適化処理を実行して、最適化された第1重み行列を取得し、前記最適化された第1重み行列内のパラメータに基づいて、各顔特徴の重み係数を決定でき、ここで、前記第1重み行列は、
Figure 2021530047
で表されることができ、前記第1最適化処理の反復関数は、
Figure 2021530047
で表されることができる。
中央値フィルタリング方式で重み係数を取得する場合、同様に、先ず画像特徴行列を取得し、次に同じ位置にある要素の画像特徴列内の各画像特徴の中央値を取得し、取得した中央値に従って中央値特徴行列
Figure 2021530047
を決定し、その後、各画像特徴と当該中央値特徴行列との間の第2誤差に従って、画像特徴の重み係数を決定できる。
各画像特徴の重み係数を取得した後、重み係数と画像特徴との積の合計値を利用して、融合特徴を取得できる。同時に、前記融合特徴をさらに利用して、ターゲット検出やターゲット認識などの操作を実行することもできる。前述したものは、本開示の実施例における特徴融合プロセスの例示的な説明に過ぎず、本開示の実施例はこれに限定されるものではない。
まとめると、本開示の実施例では、同一のオブジェクトの異なる特徴を融合することででき、ここで、同一のオブジェクトの異なる画像の画像特徴に従って、各画像特徴に対応する重み係数を決定し、前記重み係数に従って、画像特徴の特徴融合を実行でき、当該方式により、特徴融合の精度を向上させることができる。
当業者なら自明であるが、上記の特定の実施形態における方法において、各ステップの記述順序は、厳しい実行順序により実施プロセスを制限するものではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定される必要がある。
本願で言及される上記の各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組み合わされた実施例を形成できることが理解でき、紙数に限りがあるので、本願では詳細な説明を省略する。
本開示はまた、画像処理装置、電子機器、コンピュータ可読記憶媒体、およびプログラムを提供し、これらはすべて、本開示で提供される方法のいずれかを実現するために使用されることができ、対応する技術的解決策と説明は、方法の実施例の対応する説明を参照することができ、ここでは繰り返して説明しない。
図8は、本開示の実施例による処理生成装置を示すブロック図であり、図8に示されるように、前記装置は、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュール10と、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュール20と、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュール30、を備えることができる。
いくつかの可能な実施形態では、前記決定モジュール20は、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットを備えることができる。
いくつかの可能な実施形態では、前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される。
いくつかの可能な実施形態では、前記決定モジュール20はさらに、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、
前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である。
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される。
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得するように構成され、前記第1方式の式は、
Figure 2021530047
で表され、
Figure 2021530047
はi番目の画像の第2重み係数であり、
Figure 2021530047
はi番目の画像特徴と当該i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、
Figure 2021530047
の標準偏差である。
いくつかの可能な実施形態では、前記決定モジュール20は、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、をさらに備える、
いくつかの可能な実施形態では、前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される。
いくつかの可能な実施形態では、前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される。
いくつかの可能な実施形態では、前記第2方式の式は、
Figure 2021530047
Figure 2021530047
で表され、
Figure 2021530047
は第2方式で決定されたh番目の画像の重み係数であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す。
いくつかの可能な実施形態では、前記第2条件は、
Figure 2021530047
Figure 2021530047
であり、
Figure 2021530047
はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す。
いくつかの可能な実施形態では、前記融合モジュール30は、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される。
いくつかの可能な実施形態では、前記装置はさらに、前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える。
いくつかの可能な実施形態では、前記装置は、重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールをさらに備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
前記決定モジュールは20、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される。
いくつかの実施例では、本開示の実施例に係る装置に備えられる機能またはモジュールは、上記の方法の実施例で説明された方法を実行するために使用でき、その具体的な実現については、上記の方法の実施例の説明を参照することができ、簡潔にするため、ここでは繰り返して説明しない。
本開示の実施例は、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体をさらに提案し、前記コンピュータプログラム命令は、プロセッサによって実行されるときに、上記の方法を実現するように構成される。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってよい。
本開示の実施例は、上記の方法を実行するように構成されるプロセッサと、プロセッサ実行可能な命令を記憶するように構成されるメモリと、備える電子機器をさらに提案する。
電子機器は、端末、サーバ、または他の形の機器として提供することができる。
図9は、本開示の実施例による電子機器800を示すブロック図である。例えば、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
図9を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)インターフェース812、センサコンポーネント814、及び通信コンポーネント816のうちの1つまたは複数を含み得る。
処理コンポーネント802は、通常、電子機器800の全体的な動作、例えば、表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント802は、上記の方法のステップの全部または一部を完了するための1つまたは複数のプロセッサ820を備えることができる。また、処理コンポーネント802は、処理コンポーネント802と他のコンポーネントとの間の対話を容易にするための1つまたは複数のモジュールを備えることができる。例えば、処理コンポーネント802は、マルチメディアコンポーネント808と処理コンポーネント802との間のインタラクションを容易にするためのマルチメディアモジュールを含み得る。
メモリ804は、電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器800で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどが含まれる。メモリ804は、任意のタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現でき、当該ストレージデバイスは、例えば、静的ランダムアクセスメモリ(SRAM、Static Random Access Memory)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM、Electrically Erasable Programmable Read−Only Memory)、消去可能なプログラマブル読み取り専用メモリ(EPROM、Erasable Programmable Read−Only Memory)、プログラマブル読み取り専用メモリ(PROM、Programmable Read−Only Memory)、読み取り専用メモリ(ROM、Read Only Memory)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどであり得る。
電源コンポーネント806は、電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は、電源管理システム、1つまたは複数の電源、および電子機器800のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント808は、前記電子機器800とユーザとの間で出力インターフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶ディスプレイ(LCD:Liquid Crystal Display)およびタッチパネル(TP:Touch Panel)を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現できる。タッチパネルは、タッチ、スワイプ、およびタッチパネルでのジェスチャを検知するための1つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプ動作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間と圧力も検出する。いくつかの実施例では、マルチメディアコンポーネント808は、フロンドカメラおよび/またはリアカメラを備える。電子機器800が、撮影モードまたは撮像モードなどの動作モードにある場合、フロンドカメラおよび/またはリアカメラは、外部マルチメディアデータを受信することができる。各フロンドカメラおよびリアカメラは、固定光学レンズシステムであってもよく、焦点距離および光学ズーム機能を有するものであってもよい。
オーディオコンポーネント810は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント810は、電子機器800が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク(MIC、Microphone)を含む。受信されたオーディオ信号は、メモリ804に記憶されてもよいし、通信コンポーネント816によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント810は、オーディオ信号を出力するためのスピーカをさらに含む。
I/Oインターフェース812は、処理コンポーネント802と周辺インターフェースモジュールとの間のインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであり得る。これらのボタンは、ホームボタン、音量ボタン、スタートボタン、およびロックボタンなどを含んでもよいが、これらに限定されない。
センサコンポーネント814は、各態様の状態評価を電子機器800に提供するための1つまたは複数のセンサを含む。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態およびコンポーネントの相対的な位置を検出でき、例えば、前記コンポーネントが電子機器800のディスプレイおよびキーパッドであることを検出でき、センサコンポーネント814はまた、電子機器800または電子機器800のコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速、および電子機器800の温度変化を検出できる。センサコンポーネント814は、物理的接触なしに近くの物体の存在を検出するように構成される近接センサを含み得る。センサコンポーネント814は、金属酸化物半導体素子(CMOS:Complementary Metal Oxide Semiconductor)または電荷結合素子(CCD:Charge Coupled Device)画像センサなどの画像化用途で使用される光センサを含み得る。いくつかの実施例では、前記センサコンポーネント814は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、または温度センサをさらに含み得る。
通信コンポーネント816は、電子機器800と他の機器との間の有線または無線通信を実現するように構成される。電子装置800は、WiFi、2Gまたは3G、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例では、通信コンポーネント816は、放送チャネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント816は、近距離通信を容易にするための近距離無線通信(NFC:Near Field Communication)モジュールをさらに備える。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA:Infrared Data Association)技術、超広帯域(UWB:Ultra WideBand)技術、ブルートゥース(登録商標)(BT:Blue Tooth、登録商標)技術及び他の技術に基づいて実現できる。
例示的な実施例では、上記の方法を実行するために、電子機器800は、1つまたは複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサ(DSP:Digital Signal Processor)、デジタル信号処理デバイス(DSPD:Digital Signal Process)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現されることができる。
例示的な実施例では、コンピュータプログラム命令を含むメモリ804などの不揮発性コンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されることにより、上記の方法を完了することができる。
図10は、本開示の実施例による電子機器1900を示すブロック図である。例えば、電子機器1900は、サーバとして提供することができる。図10を参照すると、電子機器1900は、1つまたは複数のプロセッサを含む処理コンポーネント1922と、処理コンポーネント1922によって実行可能な命令、例えばアプリケーションプログラムを記憶するためのメモリリソースを代表するメモリ1932と、を備える。メモリ1932に記憶されたアプリケーションプログラムは、それぞれが一セットの命令に対応する1つまたは複数のモジュールを含み得る。また、処理コンポーネント1922は、命令を実行することにより、上記の方法を実行するように構成される。
電子機器1900は、電子機器1900の電力管理を実行するように構成される電源コンポーネント1926と、電子機器1900をネットワークに接続するように構成される有線または無線ネットワークインターフェース1950と、入力/出力(I/O)インターフェース1958と、をさらに備えてもよい。電子機器1900は、メモリ1932に記憶されたオペレーティングシステム、例えばWindows(登録商標) ServerTM、Mac OS XTM、Unix(登録商標)、Linux(登録商標)、FreeBSDTMまたは類似するものに基づいて動作できる。
例示的な実施例では、コンピュータプログラム命令を含むメモリ1932などの不揮発性コンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されることにより、上記の方法を完了することができる。
本開示の実施例は、システム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読プログラム命令が記憶されたコンピュータ可読記憶媒体を含み得、当該コンピュータ可読プログラム命令は、プロセッサに、本願実施例の各態様を実現させるように構成される。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる有形機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例(非包括的な例)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピー(登録商標)ディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。本明細書で使用するコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。
本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング/処理機器にダウンロードされるか、インターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークなどのネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび/またはエッジサーバを含み得る。各計算/処理機器内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、他の計算/処理機器のコンピュータ可読記憶媒体への記憶のために当該コンピュータ可読プログラム命令を転送する。
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズすることで、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
ここで、本開示の実施例による方法、装置(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび/またはブロック図の各ブロック、およびフローチャートおよび/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび/またはブロック図の1つまたは複数のブロックにおいて指定された機能/動作を実現する手段を創出する。また、これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および/または他の機器が、これらの命令に応じて特定の方式で動作することができる。したがって、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実現する命令を含む製品を備えることができる。
また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器に一連の動作ステップを実行させることにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器でる命令を実行することで、フローチャートおよび/またはブロック図の1つまたは複数のブロックで指定された機能/動作を実現することができる。
図面のフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは、1つのモジュール、プログラムセグメントまたは命令の一部を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部は、指定された論理機能を実現するための1つまたは複数の実行可能な命令を含む。いくつかの代替としての実現では、ブロックでマークされた機能は、図面でマークされた順序とは異なる順序で実行できる。例えば、2つの連続的なブロックは、実際には実質的に同時に実行でき、関連する機能によっては、逆の順序で実行されることもできる。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書で使用される用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するためのものであるか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
本開示の実施例の第4態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行される時に、第1態様又はその各実施形態における方法を実現する。
例えば、本願は以下の項目を提供する。
(項目1)
画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
(項目2)
前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
項目1に記載の画像処理方法。
(項目3)
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得することを含む、
項目2に記載の画像処理方法。
(項目4)
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
項目2または3に記載の画像処理方法。
(項目5)
前記第1重み行列に対して第1最適化処理を実行することは、
前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得することと、
前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定することと、及び
第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定することと、を含む、
項目4に記載の画像処理方法。
(項目6)
前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得することと、
各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することと、
各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得することと、を含む、
項目5に記載の画像処理方法。
(項目7)
前記各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することは、
第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することを含み、前記第1方式の式は、
(化104)
で表され、
(化105)
Figure 2021530047

はi番目の画像の第2重み係数であり、
(化106)
Figure 2021530047

はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、
(化107)
Figure 2021530047

の標準偏差である、
項目6に記載の画像処理方法。
(項目8)
前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
項目1ないし7のいずれか一項に記載の画像処理方法。
(項目9)
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
項目8に記載の画像処理方法。
(項目10)
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第2誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定することと、を含む、
項目8または9に記載の画像処理方法。
(項目11)
前記第2方式の式は、
(化108)
Figure 2021530047

(化109)
Figure 2021530047

で表され、
(化110)
Figure 2021530047

は第2方式で決定されるh番目の画像の重み係数であり、
(化111)
Figure 2021530047

はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
項目10に記載の画像処理方法。
(項目12)
前記第2条件は、
(化112)
Figure 2021530047

(化113)
Figure 2021530047

であり、
(化114)
Figure 2021530047

はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
項目10または11に記載の画像処理方法。
(項目13)
前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
項目1ないし12のいずれか一項に記載の画像処理方法。
(項目14)
前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
項目1ないし13のいずれか一項に記載の画像処理方法。
(項目15)
前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
項目1ないし14のいずれか一項に記載の画像処理方法。
(項目16)
画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
(項目17)
前記決定モジュールは、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットと、を備える、
項目16に記載の画像処理装置。
(項目18)
前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される、
項目17に記載の画像処理装置。
(項目19)
前記決定モジュールはさらに、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、
前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
項目17または18に記載の画像処理装置。
(項目20)
前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、
項目19に記載の画像処理装置。
(項目21)
前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される、
項目20に記載の画像処理装置。
(項目22)
前記最適化ユニットは、さらに、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得するように構成され、前記第1方式の式は、
(化115)
Figure 2021530047

で表され、
(化116)
Figure 2021530047

はi番目の画像の第2重み係数であり、
(化117)
Figure 2021530047

はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差であり、iは1からNまでの整数であり、Nは画像特徴の数であり、
(化118)
Figure 2021530047

の標準偏差である、
項目21に記載の画像処理装置。
(項目23)
前記決定モジュールはさらに、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、を備える、
項目16ないし22のいずれか一項に記載の画像処理装置。
(項目24)
前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
項目23に記載の画像処理装置。
(項目25)
前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される、
項目23または24に記載の画像処理装置。
(項目26)
前記第2方式の式は、
(化119)
Figure 2021530047

(化120)
Figure 2021530047

で表され、
(化121)
Figure 2021530047

は第2方式で決定されるh番目の画像の重み係数であり、
(化122)
Figure 2021530047

はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
項目25に記載の画像処理装置。
(項目27)
前記第2条件は、
(化123)
Figure 2021530047

(化124)
Figure 2021530047

であり、
(化125)
Figure 2021530047

はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
項目25または26に記載の画像処理装置。
(項目28)
前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
項目16ないし27のいずれか一項に記載の画像処理装置。
(項目29)
前記画像処理装置はさらに、
前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
項目16ないし28のいずれか一項に記載の画像処理装置。
(項目30)
前記画像処理装置はさらに、
重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
項目16ないし29のいずれか一項に記載の画像処理装置。
(項目31)
電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目1ないし15のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
(項目32)
コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、項目1ないし15のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。

Claims (32)

  1. 画像処理方法であって、
    同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
    各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することと、
    各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
  2. 前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
    各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
    前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することと、
    前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
    請求項1に記載の画像処理方法。
  3. 前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得することは、
    正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得することを含む、
    請求項2に記載の画像処理方法。
  4. 前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
    前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
    前記第1重み行列に対して第1最適化処理を実行し、最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
    請求項2または3に記載の画像処理方法。
  5. 前記第1重み行列に対して第1最適化処理を実行することは、
    前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、ことと、
    各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得することと、
    前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定することと、及び
    第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定することと、を含む、
    請求項4に記載の画像処理方法。
  6. 前記各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行することは、
    各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得することと、
    各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することと、
    各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得することと、を含む、
    請求項5に記載の画像処理方法。
  7. 前記各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することは、
    第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得することを含み、前記第1方式の式は、
    Figure 2021530047
    で表され、
    Figure 2021530047

    はi番目の画像の第2重み係数であり、
    Figure 2021530047

    はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差を表し、iは1からNまでの整数であり、Nは画像特徴の数であり、
    Figure 2021530047

    の標準偏差である、
    請求項6に記載の画像処理方法。
  8. 前記各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定することは、
    各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
    前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
    前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
    請求項1ないし7のいずれか一項に記載の画像処理方法。
  9. 前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
    同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
    各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
    請求項8に記載の画像処理方法。
  10. 前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
    各画像特徴と前記中央値特徴行列との間の第2誤差を取得することと、
    画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定することと、を含む、
    請求項8または9に記載の画像処理方法。
  11. 前記第2方式の式は、
    Figure 2021530047

    Figure 2021530047

    で表され、
    Figure 2021530047

    は第2方式で決定されるh番目の画像の重み係数であり、
    Figure 2021530047

    はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
    請求項10に記載の画像処理方法。
  12. 前記第2条件は、
    Figure 2021530047

    Figure 2021530047

    であり、
    Figure 2021530047

    はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
    請求項10または11に記載の画像処理方法。
  13. 前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
    各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
    請求項1ないし12のいずれか一項に記載の画像処理方法。
  14. 前記画像処理方法は、
    前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
    請求項1ないし13のいずれか一項に記載の画像処理方法。
  15. 前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
    重み係数の取得モードに対する選択情報を取得することと、
    前記選択情報に基づいて前記重み係数の取得モードを決定することと、
    決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
    前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
    請求項1ないし14のいずれか一項に記載の画像処理方法。
  16. 画像処理装置であって、
    同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
    各画像の画像特徴に従って、各前記画像特徴に1対1対応する重み係数を決定するように構成される決定モジュールと、
    各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
  17. 前記決定モジュールは、
    各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第1確立ユニットと、
    前記画像特徴行列に対して特徴フィッティング処理を実行して、第1重み行列を取得するように構成されるフィッティングユニットと、
    前記第1重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第1決定ユニットと、を備える、
    請求項16に記載の画像処理装置。
  18. 前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第1重み行列を取得するように構成される、
    請求項17に記載の画像処理装置。
  19. 前記決定モジュールはさらに、前記第1重み行列に対して第1最適化処理を実行するように構成される最適化ユニットを備え、
    前記第1決定ユニットは、さらに、前記第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第1重み行列に含まれる各第1重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
    請求項17または18に記載の画像処理装置。
  20. 前記最適化ユニットは、さらに、前記第1重み行列に含まれる各画像特徴の第1重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第1誤差を利用して、前記第1重み行列の第1最適化処理を実行して、第1最適化された重み行列を取得し、前記第1重み行列と第1最適化された重み行列との間の差が第1条件を満たすことに応答して、前記第1最適化された重み行列を、最適化された前記第1重み行列として決定し、及び、第1重み行列と第1最適化された重み行列との間の差が第1条件を満たさないことに応答して、前記第1最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたk(kは1より大きい正の整数である)番目の最適化された重み行列とk−1番目の最適化された重み行列との間の差が前記第1条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第1最適化処理を繰り返し、k番目の最適化された重み行列を、最適化された第1重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第1重み係数との積である、
    請求項19に記載の画像処理装置。
  21. 前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第1誤差を取得し、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得し、各画像の第2重み係数に基づいて前記第1重み行列の第1最適化処理を実行して、前記第1重み行列に対応する第1最適化された重み行列を取得するように構成される、
    請求項20に記載の画像処理装置。
  22. 前記最適化ユニットは、さらに、第1方式で、各前記第1誤差に基づいて、各画像特徴の第2重み係数を取得するように構成され、前記第1方式の式は、
    Figure 2021530047

    で表され、
    Figure 2021530047

    はi番目の画像の第2重み係数であり、
    Figure 2021530047

    はi番目の画像特徴と前記i番目の画像特徴に対応するフィッティング画像特徴との間の第1誤差であり、iは1からNまでの整数であり、Nは画像特徴の数であり、
    Figure 2021530047

    の標準偏差である、
    請求項21に記載の画像処理装置。
  23. 前記決定モジュールはさらに、
    各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第2確立ユニットと、
    前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
    前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第2決定ユニットと、を備える、
    請求項16ないし22のいずれか一項に記載の画像処理装置。
  24. 前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
    請求項23に記載の画像処理装置。
  25. 前記第2決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第2誤差を取得し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たすことに応答して、前記画像特徴の重み係数を第1重み値として設定し、画像特徴と中央値特徴行列との間の前記第2誤差が第2条件を満たさないことに応答して、第2方式で前記画像特徴の重み係数を決定するように構成される、
    請求項23または24に記載の画像処理装置。
  26. 前記第2方式の式は、
    Figure 2021530047

    Figure 2021530047

    で表され、
    Figure 2021530047

    は第2方式で決定されるh番目の画像の重み係数であり、
    Figure 2021530047

    はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表す、
    請求項25に記載の画像処理装置。
  27. 前記第2条件は、
    Figure 2021530047

    Figure 2021530047

    であり、
    Figure 2021530047

    はh番目の画像の画像特徴と中央値特徴行列との間の第2誤差であり、hは1からNまでの整数値であり、Nは画像の数を表し、Kは判断閾値であり、medianは中央値フィルタリング関数を表す、
    請求項25または26に記載の画像処理装置。
  28. 前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
    請求項16ないし27のいずれか一項に記載の画像処理装置。
  29. 前記画像処理装置はさらに、
    前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
    請求項16ないし28のいずれか一項に記載の画像処理装置。
  30. 前記画像処理装置はさらに、
    重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
    前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
    請求項16ないし29のいずれか一項に記載の画像処理装置。
  31. 電子機器であって、
    プロセッサと、
    プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは、請求項1ないし15のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
  32. コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、請求項1ないし15のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
JP2020573111A 2019-03-25 2019-10-30 画像処理方法及び装置、電子機器、並びに記憶媒体 Active JP7098763B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910228716.XA CN109977860B (zh) 2019-03-25 2019-03-25 图像处理方法及装置、电子设备和存储介质
CN201910228716.X 2019-03-25
PCT/CN2019/114465 WO2020192113A1 (zh) 2019-03-25 2019-10-30 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021530047A true JP2021530047A (ja) 2021-11-04
JP7098763B2 JP7098763B2 (ja) 2022-07-11

Family

ID=67080466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573111A Active JP7098763B2 (ja) 2019-03-25 2019-10-30 画像処理方法及び装置、電子機器、並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210342632A1 (ja)
JP (1) JP7098763B2 (ja)
KR (1) KR102389766B1 (ja)
CN (3) CN109977860B (ja)
SG (1) SG11202108147UA (ja)
TW (1) TWI778313B (ja)
WO (1) WO2020192113A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977860B (zh) * 2019-03-25 2021-07-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112289306B (zh) * 2020-11-18 2024-03-26 上海依图网络科技有限公司 一种基于人体特征的未成年人识别的方法及装置
TWI796072B (zh) * 2021-12-30 2023-03-11 關貿網路股份有限公司 身分辨識系統、方法及其電腦可讀媒體
CN114627431B (zh) * 2022-02-22 2023-07-21 安徽新识智能科技有限公司 一种基于物联网的环境智能监控方法及系统
CN115334239B (zh) * 2022-08-10 2023-12-15 青岛海信移动通信技术有限公司 前后摄像头拍照融合的方法、终端设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182210A (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 顔検出装置、顔検出方法及び顔認識システム
JP2018120527A (ja) * 2017-01-27 2018-08-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20120066462A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
CN103218798A (zh) * 2012-01-19 2013-07-24 索尼公司 图像处理设备和方法
CN106803055B (zh) * 2015-11-26 2019-10-25 腾讯科技(深圳)有限公司 人脸识别方法和装置
TWI731920B (zh) * 2017-01-19 2021-07-01 香港商斑馬智行網絡(香港)有限公司 圖像特徵提取方法、裝置、終端設備及系統
CN108304789A (zh) * 2017-12-12 2018-07-20 北京深醒科技有限公司 脸部识别方法及装置
CN108259774B (zh) * 2018-01-31 2021-04-16 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
CN108460365B (zh) * 2018-03-27 2022-04-12 百度在线网络技术(北京)有限公司 身份认证方法和装置
CN109165551B (zh) * 2018-07-13 2021-08-31 广东工业大学 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN109472211A (zh) * 2018-10-16 2019-03-15 深圳爱莫科技有限公司 人脸识别方法及装置
CN109977860B (zh) * 2019-03-25 2021-07-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182210A (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 顔検出装置、顔検出方法及び顔認識システム
JP2018120527A (ja) * 2017-01-27 2018-08-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
KR102389766B1 (ko) 2022-04-22
TWI778313B (zh) 2022-09-21
TW202036476A (zh) 2020-10-01
CN113537048A (zh) 2021-10-22
CN109977860A (zh) 2019-07-05
KR20210024631A (ko) 2021-03-05
WO2020192113A1 (zh) 2020-10-01
SG11202108147UA (en) 2021-08-30
US20210342632A1 (en) 2021-11-04
CN113486830A (zh) 2021-10-08
JP7098763B2 (ja) 2022-07-11
CN109977860B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US11532180B2 (en) Image processing method and device and storage medium
JP7098763B2 (ja) 画像処理方法及び装置、電子機器、並びに記憶媒体
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
JP6852150B2 (ja) 生体検知方法および装置、システム、電子機器、記憶媒体
TWI771645B (zh) 文本識別方法及裝置、電子設備、儲存介質
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR20200131305A (ko) 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체
KR20210090238A (ko) 비디오 처리 방법 및 장치, 전자 기기, 및 기억 매체
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN111539410B (zh) 字符识别方法及装置、电子设备和存储介质
KR20220116015A (ko) 네트워크 트레이닝 방법 및 장치, 이미지 생성 방법 및 장치
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
WO2022141969A1 (zh) 图像分割方法及装置、电子设备、存储介质和程序
TWI770531B (zh) 人臉識別方法、電子設備和儲存介質
CN115035440A (zh) 时序动作提名的生成方法及装置、电子设备和存储介质
CN111488964A (zh) 图像处理方法及装置、神经网络训练方法及装置
CN114973359A (zh) 表情识别方法及装置、电子设备和存储介质
KR20240046777A (ko) 활동 인식 방법 및 장치, 전자 장치 및 저장 매체
CN111626398B (zh) 运算方法、装置及相关产品
CN107992893B (zh) 压缩图像特征空间的方法及装置
CN111723715B (zh) 一种视频显著性检测方法及装置、电子设备和存储介质
CN112734015B (zh) 网络生成方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7098763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150