JP2022028667A - ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム - Google Patents

ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2022028667A
JP2022028667A JP2021172394A JP2021172394A JP2022028667A JP 2022028667 A JP2022028667 A JP 2022028667A JP 2021172394 A JP2021172394 A JP 2021172394A JP 2021172394 A JP2021172394 A JP 2021172394A JP 2022028667 A JP2022028667 A JP 2022028667A
Authority
JP
Japan
Prior art keywords
user image
user
image data
information
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021172394A
Other languages
English (en)
Other versions
JP7285899B2 (ja
Inventor
ゾウ・チュアンフェイ
Chuanfei Zou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2022028667A publication Critical patent/JP2022028667A/ja
Application granted granted Critical
Publication of JP7285899B2 publication Critical patent/JP7285899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

【課題】認識効果を効果的に向上させるユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラムを提供する。【解決手段】ユーザ画像認識モデルの更新方法は、少なくとも一つの対象ユーザのユーザ画像データを取得するステップと、ユーザ画像データをそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して、相応的な認識結果を得るステップと、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の修正情報が得られるステップと、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るステップと、を含む。【選択図】図２

Description

本出願は、コンピュータ技術分野に関し、具体的にモデルトレーニング技術分野、特にユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラムに関する。
目前、車内での画像認識効果は、光、障害物、角度、または不注意な動きのため、認識不良又は誤検出を引き起こすことが多い。
現在、主に、（１）車内でのユーザによる曖昧なフィードバックと、髪の長さ、髪の色、身長、周囲の環境などのユーザ自身の特徴に従って、実際の車両でシミュレーションテストを行ってデータを収集する案と、（２）無差別にずっとデータを取集して得られたデータを分析する案との二つの解決案がある。
本出願の実施例は、ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラムを提供する。
第１の態様によれば、本出願の実施例は、ユーザ画像認識モデルの更新方法であって、少なくとも一つの対象ユーザのユーザ画像データを取得するステップと、ユーザ画像データをそれぞれ事前にトレーニングされた、ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果を得るステップと、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の対応するユーザ画像データの正しい認識結果を指示するための修正情報を取得するステップと、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るステップと、を含む、方法を提供する。
幾つかの実施例において、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新するステップは、取得された指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。なお、指定情報は、ユーザが選択した修正情報を反映するためのものである。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップは、属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、少なくとも一つの対象ユーザのユーザ画像データを取得するステップは、取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するステップを含む。
幾つかの実施例において、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新するステップは、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新するステップを含む。
第２の態様によれば、本出願の実施例は、ユーザ画像認識モデルの更新装置であって、少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される取得モジュールと、前記ユーザ画像データをそれぞれ事前にトレーニングされた、前記ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果を得るように構成される認識モジュールと、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の対応するユーザ画像データの正しい認識結果を指示するための修正情報を取得するように構成されるように構成される修正モジュールと、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るように構成される更新モジュールと、を含む、装置を提供する。
幾つかの実施例において、更新モジュールは、さらに、取得された、ユーザが選択した修正情報を反映するための指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するように構成される。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
幾つかの実施例において、取得モジュールは、さらに、取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される。
幾つかの実施例において、更新モジュールは、さらに、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新するように構成される。
第３の態様によれば、本出願の実施例は、電子機器であって、一つまたは複数のプロセッサと、一つまたは複数のコンピュータプログラムが記憶されたメモリと、を備え、前記１つまたは複数のコンピュータプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサに、上記第１の態様のいずれかの実施例に係るユーザ画像認識モデルの更新方法を実行させる、電子機器を提供する。
第４の態様によれば、本出願の実施例は、コンピュータプログラムが記録されたコンピュータ可読記録媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、上記第１の態様のいずれかの実施例に係るユーザ画像認識モデルの更新方法を実現させるコンピュータ可読記録媒体を提供する。
第５の態様によれば、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、上記第１の態様のいずれかの実施例に係るユーザ画像認識モデルの更新方法を実現させるコンピュータプログラムを提供する。
本願発明は、少なくとも一つの対象ユーザのユーザ画像データを取得して、ユーザ画像データをそれぞれ事前にトレーニングされた、ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果が得られ、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の対応するユーザ画像データ的正しい認識結果を指示するための修正情報を取得して、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルが得られることで、現在のユーザ画像認識モデルに基づいてユーザ画像データ認識の誤ったユーザ画像データに応答して現在のユーザ画像認識モデルを更新することによって、更新後のユーザ画像認識モデルの認識効果を効果的に向上させることを実現する。
なお、この部分に記載の内容は、本開示の実施例のキーポイント又は重要な特徴を特定することも意図していなく、本開示の範囲を限定するために用いられないことを理解されたい。本開示の他の構成は、以下に記載の明細書によって容易に理解される。
本開示の実施例を適用可能な例示的なシステムアーキテクチャを示す図である。 本開示に係るユーザ画像認識モデルの更新方法の一実施例のフローチャートである。 本開示に係るユーザ画像認識モデルの更新方法の一応用場面の模式図である。 本開示に係るユーザ画像認識モデルの更新方法の他の実施例のフローチャートである。 本開示に係るユーザ画像認識モデルの更新装置の一実施例の模式図である。 本開示の実施例を実現するのに適した電子機器のコンピューターシステムの概略構成図である。
以下、添付の図面と併せて本出願の例示的な実施例を説明する。なお、本出願実施例に含まれた様々な詳細は、ただ理解を容易にするための一例であることを理解されたい。従って、当業者は、ここで記載の実施例が本出願の範囲や主旨を逸脱しない限り、種々な置き換え、変更を行うことができることを認識すべきである。同様に、明確さと簡潔さのために、以下に既知の機能と構成に関する説明を省略する。
説明すべきなのは、本出願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面及び実施例を参照しながら本出願を詳細に説明する。
図１に本出願に係るユーザ画像認識モデルの更新方法を適用できる例示的なシステムアーキテクチャ１００が示されている。
図１に示されたように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４、サーバ１０５を含むことができる。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間で通信リンクを提供するための媒体である。ネットワーク１０４には、有線又は無線通信回線、光ファイバケーブル等の各種の接続形態が含まれていてもよい。
ユーザが端末機器１０１、１０２、１０３によりネットワーク１０４を介してサーバ１０５とインタラクションをすることによって、メッセージ等を送受信することができる。端末機器１０１、１０２、１０３には、例えば、画像処理アプリケーション、画像認識アプリケーション等、様々な通信クライアントアプリケーションをインストールすることができる。
端末機器１０１、１０２、１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末機器１０１、１０２、１０３は、ハードウェアである場合、ディスプレイスクリーンを有する様々な電子機器であってもよく、携帯電話、ノート型携帯コンピュータを含むがこれらに限定されない。端末機器１０１、１０２、１０３は、ソフトウェアである場合、上記に例示した電子機器にインストールすることができる。端末機器は、複数のソフトウェア又はソフトウェアモジュール（例えばユーザ画像認識モデルの更新サービスを提供するために用いられる）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよいが、ここで具体的に限定されない。
サーバ１０５は、様々なサービスを提供するサーバであってもよく、例えば、端末機器１０１、１０２、１０３により送信された少なくとも一つの対象ユーザのユーザ画像データを取得するサービス、ユーザ画像データをそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して相応的な認識結果を得るサービス、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の修正情報を取得して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るサービスが挙げられる。
説明すべきなのは、サーバ１０５は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０５はハードウェアである場合、複数のサーバで構成される分散型サーバクラスタとして実現されてもよく、また単一のサーバとして実現されてもよい。サーバは、ソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えばユーザ画像認識モデルの更新サービスを提供するために用いられる）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよいが、ここで具体的に限定されない。
なお、本開示の実施例が提供するユーザ画像認識モデルの更新方法は、サーバ１０５によって実行されてもよく、端末機器１０１、１０２、１０３によって実行されてもよく、サーバ１０５と端末機器１０１、１０２、１０３とが連携して実行されてもよい。相応的に、ユーザ画像認識モデルの更新装置が含まれる各部分（例えば各ユニット、サブユニット、モジュール、サブモジュール）は、全てサーバ１０５に設けられてもよく、全て端末機器１０１、１０２、１０３に設けられてもよく、サーバ１０５と端末機器１０１、１０２、１０３にそれぞれ設けられてもよい。
なお、図１に示した端末機器、ネットワークとサーバの数はただ一例であることを理解されたい。実際のニーズに応じて、任意の数の端末機器、ネットワーク、クラウドリソースサーバを備えることができる。
図２にユーザ画像認識モデルの更新方法に係る実施例の流れ模式図２００が示される。ユーザ画像認識モデルの更新方法は、以下のステップを含む。
ステップ２０１において、少なくとも一つの対象ユーザのユーザ画像データを取得する。
本実施例において、実行主体（例えば、図１に示したサーバ１０５または端末機器１０１、１０２、１０３）は、一个または複数の対象ユーザのユーザ画像データを直接に収集してもよく、有線又は無線の態様を介して一个または複数の対象ユーザによりアップロードされたユーザ画像データを受信してもよい。ここで、対象ユーザは、主に車内でのユーザを指示するためのものである。ユーザ画像データは、ユーザの顔画像、ユーザの身体部分画像、ユーザのジェスチャー画像、ユーザの行動画像に限られない。
具体的に、実行主体は、車Ａ内での対象ユーザＡ１のユーザ画像データ、車Ｂ内での対象ユーザＢ１のユーザ画像データ、及び車Ｃ内での対象ユーザＣ１のユーザ画像データを車内での画像収集装置により取得することができる。
ここで、ユーザ画像データは、対象ユーザによる許可を得て収集されたユーザ画像データであってもよく、ユーザによる許可なしで無差別に収集されたユーザ画像データであってもよいがここでは制限されない。
いくつかの選択可能な実現形態において、少なくとも一つの対象ユーザのユーザ画像データを取得するステップは、対象ユーザによる許可を得る場合に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するステップを含む。
本実施形態において、実行主体は、対象ユーザによる許可を得た後に、車内での画像収集機器を制御して対象ユーザのユーザ画像データを収集することができる。
なお、実行主体は、様々な態様でユーザによる許可を得ることができる。例えば、対象ユーザが入力した画像収集可能なコマンドを受信する態様、ユーザが画像収集装置を起動したことを検出した場合に応答する態様などが挙げられる。
具体的に、車Ａには、音声認識機能があり、ユーザが車Ａに入って「起動」コマンドを発すると、実行主体は、受信されたユーザによる起動コマンド、即ち、取得されたユーザによる許可に応答して、画像収集装置を開いてユーザ画像データを取得するように制御する。
当該実現形態は、取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得することによって、対象ユーザによる許可なしに無差別に画像の収集によるユーザ画像データの有効性低下の問題を効果的に回避し、特定の場面でのユーザ画像データを絞って取得する同時にユーザのプライバシーを保護することができる。
ステップ２０２において、ユーザ画像データそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して、相応的な認識結果を得る。
本実施例において、実行主体は、取得されたユーザ画像データをそれぞれ事前トレーニング済みのユーザ画像認識モデルに入力して、相応的な認識結果を得る。なお、ユーザ画像認識モデルは、主にユーザ画像データに含まれるユーザと関連する情報、例えば、ユーザの身分情報、ユーザのジェスチャーなどを認識するためのものである。ユーザ画像認識モデルは、認識結果がマークされた大量なユーザ画像データに基づいてトレーニングされたものである。
ここで、実行主体は、ユーザ画像認識モデルをオンライン、具体的に、クラウドサーバに置くことができる。
なお、ユーザ画像認識モデルは、既存の技術または将来の開発技術において畳み込みニューラルネットワークモデル、ディープニューラルネットワークモデル、循環ニューラルネットワークモデルなどのニューラルネットワークモデルを使用することができるが、ここでは制限されない。
ステップ２０３において、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の修正情報を取得する。
本実施例において、実行主体は、取得されたユーザ画像データをユーザ画像認識モデルに入力して、ユーザ画像データの認識結果を取得した後に、ユーザ画像データ及びそれに対応する認識結果を展示して、手動入力による判断結果を受信でき、さらに手動入力による判断結果に基づいて、認識結果が誤認識結果であるかどうかを決定する。また、認識結果は、事前に設定された認識結果と照合して、認識結果が誤認識結果であるかどうかを決定することもできるがここでは制限されない。
さらに、認識結果が誤認識結果である場合、誤認識結果の修正情報を取得する。ここで、修正情報は、誤認識結果に対応するユーザ画像データの正しい認識結果を指示するためのものである。
実行主体は誤認識結果の修正情報を取得した後に、誤認識結果に対応するユーザ画像データ及び修正情報を記憶することができる。
具体的に、実行主体が対象ユーザのユーザ画像データを取得して、ユーザ画像データに含まれるユーザ関連情報がユーザの親指が上に向けて「いいね」のようなジェスチャー、即ち、当該ユーザ画像データの認識結果として親指が上に向けて「いいね」のようなジェスチャーである。実行主体は、当該ユーザ画像データを事前にトレーニングされたユーザ画像認識モデルに入力して得られた認識結果は、親指が下に向けて「そう思わない」のようなジェスチャーである。実行主体は、当該ユーザ画像データ及び認識結果を展示して、受信された手動入力による認識結果が誤認識結果である情報及び誤認識結果の修正情報（親指が上に向けて「いいね」のようなジェスチャー）に応答して、認識結果が誤認識結果であると決定されて、ユーザ画像データ及び修正情報を記憶する。
ステップ２０４において、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
本実施例において、実行主体は、誤認識結果に対応するユーザ画像データ及び修正情報をトレーニングサンプルとしてユーザ画像認識モデルを更新して更新後の画像認識モデルを得る。
具体的に、実行主体は、誤認識結果に対応するユーザ画像データをユーザ画像認識モデルからの入力として、当該ユーザ画像データに対応する修正情報を所望の出力とするように、ユーザ画像認識モデルをトレーニングすることによって、ユーザ画像認識モデルにおけるパラメータが更新されてから、ユーザ画像認識モデルの損失関数が事前に設定された条件を満たす場合に応答して、ユーザ画像認識モデルのトレーニングが完了し、更新後のユーザ画像認識モデルを得る。
なお、誤認識結果に対応するユーザ画像データ及び修正情報が複数ある場合、実行主体は、複数の誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを直接に更新してもよく、ユーザが選択した誤認識結果の一部に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新してもよいがここでは制限されない。
また、実行主体は、誤認識結果に対応するユーザ画像データ及び修正情報によれば、ユーザ画像認識モデルを直接に更新してもよく、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
いくつかの選択可能な実現形態において、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るステップは、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
本実施形態において、実行主体は、誤認識結果に対応するユーザ画像データが、例えば、１０００枚、１００００枚など、事前に設定された数の閾値以上である場合、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
ここで、事前に設定された数の閾値は、経験、実際のニーズ及び具体的な応用場面により設定できるが、ここでは制限されない。
この形態は、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るため、モデルの頻繁な更新を効果的に回避して、モデル更新の有效性を効果的に向上させる。
さらに図３を参考して、図３は本実施例に係るユーザ画像認識モデルの更新方法による応用場面の模式図である。
図３の応用場面において、具体的な例において、実行主体３０１は、車両３０２での対象ユーザＡの顔の画像を含むユーザ画像データ３０３を取得し、車両３０４での対象ユーザＢの顔の画像を含むユーザ画像データ３０５を取得し、車両３０６での対象ユーザＣの顔の画像を含むユーザ画像データ３０７を取得して、ユーザ画像データ３０３、３０５、３０７をそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して、相応的な認識結果を得る。なお、前記ユーザ画像認識モデルは、ユーザ画像データを認識するためのものであり、前記ユーザ画像データ３０３及び前記ユーザ画像データ３０７の認識結果は誤認識結果であり、即ちユーザ画像認識モデルが認識ユーザ画像データ３０３及びユーザ画像データ３０７を正しく認識できなく、例えば、ユーザ画像データ３０３及びユーザ画像データ３０７における画像が顔であるかどうかを認識できない場合、実行主体はユーザ画像データ３０３及びユーザ画像データ３０７に対応する修正情報を取得して、ユーザ画像データ３０３及びそれに対応する修正情報、ユーザ画像データ３０７及びそれに対応する修正情報を記憶することができる。さらに、実行主体は、誤認識結果に対応するユーザ画像データ３０３及びそれに対応する修正情報に基づいて、ユーザ画像データ３０７及びそれに対応する修正情報ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
本開示の実施例が提供するユーザ画像認識モデルの更新方法は、少なくとも一つの対象ユーザのユーザ画像データを取得して、ユーザ画像データをそれぞれ事前にトレーニングされた、前記ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果が得られて、認識結果が誤認識結果である場合に応答して、当該誤認識結果の対応するユーザ画像データの正しい認識結果を指示するための修正情報を取得して、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新することによって、更新後のユーザ画像認識モデルが得られ、ユーザ画像認識モデルの認識効果を効果的に向上させる。
さらに図４を参考して、それがユーザ画像認識モデルの更新方法の別の実施例のフロー４００が示される。本実施例において、ユーザ画像認識モデルの更新方法のフロー４００は、以下のステップを含む。
ステップ４０１において、少なくとも一つの対象ユーザのユーザ画像データを取得する。
本実施例において、ステップ４０１は図２が対応する実施例のステップ２０１と基本的に一致しているので、ここでは説明を省略する。
ステップ４０２において、ユーザ画像データをそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して、相応的な認識結果を得る。
本実施例において、ステップ４０２は図２が対応する実施例のステップ２０２と基本的に一致しているので、ここでは説明を省略する。
ステップ４０３において、認識結果が誤認識結果である場合に応答して、当該誤認識結果の修正情報が得られる。
本実施例において、ステップ４０３は、図２が対応する実施例のステップ２０３と基本的に一致しているので、ここでは説明を省略する。
ステップ４０４において、取得された指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
本実施例において、実行主体は、ユーザが入力した、指定情報を含むコマンドを取得する場合、複数の誤認識結果に対応するユーザ画像データ及び修正情報において、指定情報とマッチングする修正情報を決定する。さらに、決定されたマッチングする修正情報及びそれに対応するユーザ画像データに基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像データモデルを得る。なお、指定情報はユーザが選択した修正情報を反映するためのものである。
具体的に、現時点ではそれぞれ「ユーザ画像データ１-ユーザの手足を含む画像」、「ユーザ画像データ２-ユーザの上肢を含む画像」、「ユーザ画像データ３-ユーザの四肢を含む画像」、「ユーザ画像データ４-ユーザの四肢を含む画像」及び「ユーザ画像データ５-ユーザの上肢を含む画像」との５つの誤認識結果に対応するユーザ画像データ及び修正情報があり、受信されたユーザによる更新コマンドは、「ユーザの手足を含む画像」という指定情報を含む場合、「ユーザ画像データ１-ユーザの手足を含む画像」、「ユーザ画像データ３-ユーザの手足を含む画像」及び「ユーザ画像データ４-ユーザの手足を含む画像」に基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
いくつかの選択可能な実現形態において、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップは、属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
本実施形態において、指定情報は、ユーザが選択した、修正情報が属するカテゴリー情報を含み、カテゴリー情報は、ユーザの顔カテゴリー、ユーザのジェスチャーカテゴリー、ユーザ行動カテゴリーのいずれかの一つを含む。実行主体は指定情報を含むコマンドを取得した後、複数の誤認識結果に対応するユーザ画像データ及び修正情報において、修正情報が属するカテゴリーが指定情報のうちカテゴリー情報とマッチングする第一の修正情報を決定して、さらに決定された第一の修正情報及びそれに対応するユーザ画像データに基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像データモデルを得る。
具体的に、現時点ではそれぞれ「ユーザ画像データ１-ユーザによる「いいね」のようなジェスチャー」、「ユーザ画像データ２-ユーザの顔」、「ユーザ画像データ３-ユーザによる「そう思わない」のようなジェスチャー」、「ユーザ画像データ４-ユーザによる「いいね」のようなジェスチャー」及び「ユーザ画像データ５-ユーザの顔」との５つの誤認識結果に対応するユーザ画像データ及び修正情報があり、受信されたユーザによる更新コマンドは「ユーザのジェスチャー」という指定情報を含む場合、「ユーザ画像データ１-ユーザによる「いいね」のようなジェスチャー」、「ユーザ画像データ３-ユーザによる「そう思わない」のようなジェスチャー」、「ユーザ画像データ４-ユーザによる「いいね」のようなジェスチャー」は、指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データと決定される。さらに、第一の修正情報及びそれに対応するユーザ画像データである「ユーザ画像データ１-ユーザによる「いいね」のようなジェスチャー」、「ユーザ画像データ３-ユーザによる「そう思わない」のようなジェスチャー」、「ユーザ画像データ４-ユーザによる「いいね」のようなジェスチャー」に基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
当該実現形態は、属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新することによって、指定カテゴリーのユーザ画像データに対する更新後のユーザ画像認識モデルの精細化認識効果を有効的に向上させる。
いくつかの選択可能な実現形態において、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
本実施形態において、指定情報が、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、実行主体が指定情報を含むコマンドを取得した後、複数の誤認識結果に対応するユーザ画像データ及び修正情報において、修正情報に対応する対象ユーザ標識が指定情報における対象ユーザ標識とマッチングする第２の修正情報と決定された。さらに、決定された第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像データモデルを得る。
ここで、修正情報に対応する対象ユーザ標識は、修正情報に含まれてもよく、修正情報に対応するユーザ画像データの由来により決定されてもよいがここでは制限されない。
具体的に、現時点ではそれぞれ「ユーザ画像データ１-対象ユーザＡの画像」、「ユーザ画像データ２-対象ユーザＢの画像」、「ユーザ画像データ３-対象ユーザＣの画像」、「ユーザ画像データ４-対象ユーザＡの画像」及び「ユーザ画像データ５-対象ユーザＡの画像」との５つの誤認識結果に対応するユーザ画像データ及び修正情報があり、受信されたユーザによる更新コマンドは「対象ユーザＡ」という指定情報を含む場合、「ユーザ画像データ１-対象ユーザＡの画像」、「ユーザ画像データ４-対象ユーザＡの画像」及び「ユーザ画像データ５-対象ユーザＡの画像」は、指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データと決定される。さらに、第２の修正情報及びそれに対応するユーザ画像データである「ユーザ画像データ３-対象ユーザＡの画像」及び「ユーザ画像データ５-対象ユーザＡの画像」に基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
当該実現形態は、対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新して、特定ユーザのユーザ画像データに対する更新後のユーザ画像認識モデルの精細化認識効果を効果的に向上させる。
いくつかの選択可能な実現形態において、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新する。
本実施形態において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、実行主体が指定情報を含むコマンドを取得した後、複数の誤認識結果に対応するユーザ画像データ及び修正情報において、修正情報に対応する対象ユーザ標識及び属するカテゴリーが指定情報における対象ユーザ標識とマッチングする第３の修正情報と決定された。さらに、決定されたマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
具体的に、現時点ではそれぞれ「ユーザ画像データ１-対象ユーザＡ-ジェスチャー画像」、「ユーザ画像データ２-対象ユーザＢの画像-顔画像」、「ユーザ画像データ３-対象ユーザＣ-ジェスチャー画像」、「ユーザ画像データ４-対象ユーザＡ-顔画像」及び「ユーザ画像データ５-対象ユーザＡ-ジェスチャー画像」との５つの誤認識結果に対応するユーザ画像データ及び修正情報があり、受信されたユーザによる更新コマンドが「対象ユーザＡ-ジェスチャー画像」という指定情報を含む場合、「ユーザ画像データ１-対象ユーザＡ-ジェスチャー画像」、「ユーザ画像データ５-対象ユーザＡ-ジェスチャー画像」が指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データと決定された。さらに、第３の修正情報及びそれに対応するユーザ画像データである「ユーザ画像データ１-対象ユーザＡ-ジェスチャー画像」、「ユーザ画像データ５-対象ユーザＡ-ジェスチャー画像」に基づいてユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得る。
当該実現形態は、対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新することによって、特定ユーザの特定カテゴリーのユーザ画像データに対する更新後のユーザ画像認識モデルの精細化認識効果を効果的に向上させる。
図４と対応する実施例が図２と比較すると、本実施例におけるユーザ画像認識モデルの更新方法のフロー４００は、取得された指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新することによって、実行主体がユーザより指定されたユーザ画像データによればユーザ画像認識モデルを更新することができ、更新後のユーザ画像認識モデルによるユーザ画像データ認識の精細化程度を絞って向上させ、モデルの認識効果を更に向上させることを特徴とする。
さらに図５を参照すると、上図に示す方法の実現形態として、本出願がユーザ画像認識モデルの更新装置の一つ実施例を提供する。当該装置実施例は、図１に示す方法実施例に対応する。当該装置は、具体的に様々な電子機器に適用できる。
図５に示されたように、本実施例に係るユーザ画像認識モデルの更新装置５００は、取得モジュール５０１、認識モジュール５０２、修正モジュール５０３及び更新モジュール５０４を含む。
なお、取得モジュール５０１は、少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される。
認識モジュール５０２は、前記ユーザ画像データをそれぞれ事前にトレーニングされたユーザ画像認識モデルに入力して、相応的な認識結果を得るように構成される。なお、前記ユーザ画像認識モデルは前記ユーザ画像データを認識するためのものである。
修正モジュール５０３は、認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の修正情報を取得するように構成される。なお、修正情報が誤認識結果と対応するユーザ画像データの正しい認識結果を指示するためのものである。
更新モジュール５０４は、誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るように構成される。
本実施例のいくつかの選択可能な実現形態において、更新モジュールは、さらに、取得された指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するように構成される。なお、指定情報はユーザが選択した修正情報を反映するためのものである。
本実施例のいくつかの選択可能な実現形態において、指定情報は、ユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップを含む。
本実施例のいくつかの選択可能な実現形態において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
本実施例のいくつかの選択可能な実現形態において、指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップは、対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む。
本実施例のいくつかの選択可能な実現形態において、取得モジュールは、さらに、取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される。
本実施例のいくつかの選択可能な実現形態において、更新モジュールは、さらに、誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新するように構成される：
さらに、本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記録媒体を提供する。
図６に、本出願の実施例に係るユーザ画像認識モデルの更新方法による電子機器のブロック図が示される。電子機器は、ラップトップコンピューター、デスクトップコンピューター、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピューター、その他の適切なコンピュータなど、様々な形態のデジタルコンピューターを示すことを目的としている。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、およびその他の同様のコンピュータデバイスなど、様々な形式のモバイルデバイスを表すこともできる。本明細書に示す部品、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書に記載及び／又は要求とされる本出願の実現を制限することを意図するものではない。
図６に示されたように、当該電子機器は、１つ又は複数のプロセッサ６０１、メモリ６０２、及び各部品を接続するための、高速インタフェースと低速インタフェースを含むインタフェースを含む。各部品は、異なるバスにより相互に接続しており、共通のメインボードに設置してもよく、必要に応じて他の方法により設置してもよい。プロセッサは、電子機器内に実行されたコマンドを処理することができ、前記コマンドは、メモリに記憶されたコマンドまたはメモリにある外部入力/出力装置（例えば、インタフェースに結合された表示機器）にＧＵＩのグラフィック情報を表示させるためのコマンドを含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを複数のメモリと複数のメモリとともに使用することができる。同様、複数の電子機器と接続して、各機器に幾つかの必要とする操作（例えば、サーバアレイ、ブレードサーバのグループ、またはマルチプロセッサシステム）を提供することができる。図６はプロセッサ６０１を例として示されている。
メモリ６０２は、本出願が提供する非一時的コンピュータ可読記録媒体である。そのうち、前記メモリに記憶された少なくとも一つのプロセッサによって実行され得るコマンドによって、前記の少なくとも一つのプロセッサに本出願が提供するユーザ画像認識モデルの更新方法を実行させる。本出願に係る非一時的コンピュータ可読記録媒体にコンピュータコマンドが記憶され、当該コンピュータコマンドはコンピュータに本出願が提供するユーザ画像認識モデルの更新方法を実行させる。
メモリ６０２は、非一時的コンピュータ可読記録媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを記憶するために用いられ、例えば、本出願の実施例に係るユーザ画像認識モデルの更新方法に対応するプログラムコマンド/モジュール（例えば、図５に示す取得モジュール５０１、認識モジュール５０２、修正モジュール５０３、更新モジュール５０４。プロセッサ６０１は、メモリ６０２に記憶された非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することによって、サーバにおける様々な機能アプリケーション及びデータ処理を実行する。よって、前記した方法実施例に係るユーザ画像認識モデルの更新方法を実現する。
メモリ６０２は、記憶プログラム領域と記憶データ領域を含んでも良く、前記記憶プログラム領域は、オペレーティングシステム、少なくとも一つの機能が必要とするアプリケーションプログラムを記憶することができ、前記記憶データ領域は、顔跟踪の電子機器の使用によるデータ等を記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリを含んでも良く、非一時的メモリを含んでも良く、例えば少なくとも一つ磁気ディスク記憶装置、フラッシュ記憶装置、又は他の非一時的ソリッドステート記憶装置であってもよい。幾つかの実施例において、メモリ６０２はプロセッサ６０１に対して遠隔設定されたメモリを選択しても良く、これらの遠隔メモリは、ネットワークを介して車道線検出の電子機器に接続することができる。前記ネットワークの一例としてインターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。
ユーザ画像認識モデルの更新方法による電子機器は、入力装置６０３、出力装置６０４をさらに含んでも良い。プロセッサ６０１、メモリ６０２、入力装置６０３、出力装置６０４は、バスまたは他の方法で接続することができる。図６では、バス接続を例として示されている。
入力装置６０３は、入力された数値、文字情報を受信することができ、車道線検出の電子機器のユーザ設定及び機能制御と関連するキー信号入力を生成することもでき、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、1つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置であってもよい。出力装置６０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モーター）等を含むことができる。当該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイを含むがこれらに限定されていない。幾つかの実施形態において、表示機器はタッチスクリーンであってもよい。
ここで記載のシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにより実現することができる。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムにおいて実行されることを含み、当該一つ又は複数のコンピュータプログラムは少なくとも一つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行及び/又は解釈することができ、当該プログラム可能なプロセッサは、専用または通用のプログラム可能なプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、少なくとも一つの出力装置からデータとコマンドを受信し、データとコマンドを当該記憶システム、当該少なくとも一つの入力装置、当該少なくとも一つの出力装置に転送してもよい。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）には、プログラム可能なプロセッサの機械語コマンドが含まれ、高レベルのプロセス及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブラ/機械語によりこれらのコンピュータプログラムを実行する。本明細書で使用された、「機械読み取り可能な記録媒体」と「コンピュータ可読記録媒体」という用語は、機械コマンド及び/又はデータをプログラム可能なプロセッサのいずれかのコンピュータプログラム製品、機器、及び/又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））に提供するためのものを指し、機器コマンドを機械読み取り可能な信号として受信するための機器読み取り可能媒体を含む。「機械読み取り可能な信号」という用語は、机器コマンド及び/又はデータをプログラム可能なプロセッサに提供するためのいずれかの信号である。
ユーザとのインタラクションを提供するために、コンピュータにここで記載のシステムと技術を実行することができる。当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）と、ユーザが当該キーボードと当該ポインティングデバイスにより入力をコンピュータに提供するキーボードとポインティングデバイス（例えば、マウスまたはトラックボール）を備える。他の種類の装置は、ユーザとのインタラクションを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってよく、任意の形式（音響入力、音声入力、または触覚入力を含む）ユーザからの入力を受け取ることができる。
ここで記載のシステムと技術をバックエンド部品を含むコンピューターシステム（例えば、データサーバ）、または中間部品を含むコンピューターシステム（例えば、アプリケーションサーバ）、またはフロントエンド部品を含むコンピューターシステム（例えば、グラフィカルユーザーインターフェースまたはネットワークブラウザを有するユーザコンピュータは、ユーザが当該グラフィカルユーザーインターフェースまたは当該ネットワークブラウザによりここで記載のシステムと技術の実施形態とインタラクションする）、またはこのバックエンド部品、中間部品、またはフロントエンド部品の任意の組み合わせのコンピューターシステムで実行してもよい。任意の形式または媒体によるデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を相互に接続することができる。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）とインターネットを含む。
本出願の実施例に係る技術案によれば、ユーザ画像認識モデルの更新効果を効果的に向上させる。
なお、上記に示す様々な形式のフロー、並べ替え、追加又は削除のステップを利用することができることを理解されたい。例えば、本出願に記載の各ステップは、本出願に開示された技術的解決策の所望の結果が達成できる限り、並行して、順次に、または異なる順序で実行することができ、これは本明細書に限定されない。
上記した具体的な実施形態は、本出願の範囲を制限するものではない。当業者であれば、設計要件および他の要因に応じて様々な修正、組み合わせ、サブコンビネーションおよび置き換えを行うことができることを理解されたい。本出願の主旨と原則の範囲内で行われた変更、同等の置き換え、改良は、いずれも本出願の範囲内に含まれるものとする。

Claims (17)

  1. ユーザ画像認識モデルの更新方法であって、
    少なくとも一つの対象ユーザのユーザ画像データを取得するステップと、
    前記ユーザ画像データをそれぞれ事前にトレーニングされた、前記ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果を得るステップと、
    認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の対応するユーザ画像データの正しい認識結果を指示するための修正情報を取得するステップと、
    前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るステップと、
    を含む方法。
  2. 上記した前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新するステップは、
    取得された、ユーザが選択した修正情報を反映するための指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップを含む、
    請求項１に記載の方法。
  3. 前記指定情報は、ユーザが選択した修正情報が属するカテゴリー情報を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップを含む
    請求項２に記載の方法。
  4. 前記指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む
    請求項２に記載の方法。
  5. 前記指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む
    請求項２に記載の方法。
  6. 上記した少なくとも一つの対象ユーザのユーザ画像データを取得するステップは、
    取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するステップを含む
    請求項１に記載の方法。
  7. 上記した前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新するステップは、
    誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新するステップを含む
    請求項１に記載の方法。
  8. ユーザ画像認識モデルの更新装置であって、
    少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される取得モジュールと、
    前記ユーザ画像データをそれぞれ事前にトレーニングされた、前記ユーザ画像データを認識するためのユーザ画像認識モデルに入力して、相応的な認識結果を得るように構成される認識モジュールと、
    認識結果が誤認識結果であると決定される場合に応答して、当該誤認識結果の対応するユーザ画像データの正しい認識結果を指示するための修正情報を取得するように構成される修正モジュールと、
    前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新して、更新後のユーザ画像認識モデルを得るように構成される更新モジュールと、
    を含む装置。
  9. 前記更新モジュールは、さらに
    取得された、ユーザが選択した修正情報を反映するための指定情報を含む更新コマンドに応答して、指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するように構成される
    請求項８に記載の方法。
  10. 前記指定情報は、ユーザが選択した修正情報が属するカテゴリー情報を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    属するカテゴリーが指定情報とマッチングする第一の修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップを含む
    請求項９に記載の方法。
  11. 前記指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    対応する対象ユーザ標識が指定情報とマッチングする第２の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む
    請求項９に記載の方法。
  12. 前記指定情報は、ユーザが選択した修正情報に対応する対象ユーザ標識及びユーザが選択した修正情報が属するカテゴリー情報を含み、
    上記した指定情報とマッチングする修正情報及びそれに対応するユーザ画像データに基づいて、前記ユーザ画像認識モデルを更新するステップは、
    対応する対象ユーザ標識及び属するカテゴリーが指定情報とマッチングする第３の修正情報及びそれに対応するユーザ画像データに基づいて、ユーザ画像認識モデルを更新するステップを含む
    請求項９に記載の方法。
  13. 前記取得モジュールは、さらに
    取得された対象ユーザによる許可に応答して、少なくとも一つの対象ユーザのユーザ画像データを取得するように構成される
    請求項８に記載の装置。
  14. 前記更新モジュールは、さらに、
    誤認識結果に対応するユーザ画像データの数が事前に設定された数の閾値以上である場合に応答して、前記誤認識結果に対応するユーザ画像データ及び修正情報に基づいて、前記ユーザ画像認識モデルを更新するように構成される
    請求項８に記載の装置。
  15. 電子機器であって、
    少なくとも一つのプロセッサと、
    少なくとも一つのプロセッサと通信して接続されたメモリと、を備え、
    前記メモリに記憶された前記少なくとも一つのプロセッサにより実行されるコマンドは、少なくとも一つのプロセッサにより実行されると、少なくとも一つのプロセッサに請求項１～７のいずれか１項に記載の方法を実行させることを特徴とする電子機器。
  16. コンピュータプログラムが記録された非一時的コンピュータ可読記録媒体であって、
    前記コンピュータコマンドは、コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるコンピュータ可読記録媒体。
  17. コンピュータプログラムであって、
    前記コンピュータコマンドは、プロセッサにより実行されると、請求項１～１０のいずれか１項に記載の方法を実行させるコンピュータプログラム。
JP2021172394A 2020-11-30 2021-10-21 ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム Active JP7285899B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011371250.8A CN112487973B (zh) 2020-11-30 2020-11-30 用户图像识别模型的更新方法和装置
CN202011371250.8 2020-11-30

Publications (2)

Publication Number Publication Date
JP2022028667A true JP2022028667A (ja) 2022-02-16
JP7285899B2 JP7285899B2 (ja) 2023-06-02

Family

ID=74937387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021172394A Active JP7285899B2 (ja) 2020-11-30 2021-10-21 ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220044076A1 (ja)
EP (1) EP3920094A3 (ja)
JP (1) JP7285899B2 (ja)
KR (2) KR20210082401A (ja)
CN (1) CN112487973B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259031A1 (en) * 2021-06-11 2022-12-15 Sensetime International Pte. Ltd. Methods, apparatuses, systems, media, and computer devices for processing data
CN113508391A (zh) * 2021-06-11 2021-10-15 商汤国际私人有限公司 一种数据处理方法、装置和系统、介质和计算机设备
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007069756A (ja) * 2005-09-07 2007-03-22 Toyota Motor Corp 車両用入力操作規制装置
JP2009075848A (ja) * 2007-09-20 2009-04-09 Kansai Electric Power Co Inc:The アナログ式メータの読取方法、読取装置および読取システム
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
US10474879B2 (en) * 2016-07-31 2019-11-12 Google Llc Automatic hands free service requests
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10489722B2 (en) * 2017-07-27 2019-11-26 Disney Enterprises, Inc. Semiautomatic machine learning model improvement and benchmarking
KR102550932B1 (ko) * 2017-12-29 2023-07-04 삼성전자주식회사 음성 인식 모델의 개인화 방법 및 장치
US11119638B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Using face detection to update user interface orientation
CN109800805A (zh) * 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理系统以及计算机设备
CN110288049B (zh) * 2019-07-02 2022-05-24 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007069756A (ja) * 2005-09-07 2007-03-22 Toyota Motor Corp 車両用入力操作規制装置
JP2009075848A (ja) * 2007-09-20 2009-04-09 Kansai Electric Power Co Inc:The アナログ式メータの読取方法、読取装置および読取システム
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル

Also Published As

Publication number Publication date
EP3920094A2 (en) 2021-12-08
US20220044076A1 (en) 2022-02-10
CN112487973B (zh) 2023-09-12
KR20210082401A (ko) 2021-07-05
CN112487973A (zh) 2021-03-12
KR20210134251A (ko) 2021-11-09
JP7285899B2 (ja) 2023-06-02
EP3920094A3 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US10831345B2 (en) Establishing user specified interaction modes in a question answering dialogue
US10275022B2 (en) Audio-visual interaction with user devices
JP2022028667A (ja) ユーザ画像認識モデルの更新方法、装置、電子機器、コンピュータ可読記録媒体及びコンピュータプログラム
KR102613774B1 (ko) 애플리케이션 관련 사용자 데이터를 추출하고 공유하기 위한 시스템 및 방법
JP6279153B2 (ja) 言語入力データからｎグラムおよび概念関係の自動生成
RU2662410C2 (ru) Клиентское намерение в среде с комплексным поиском
US8943092B2 (en) Digital ink based contextual search
EP2891041B1 (en) User interface apparatus in a user terminal and method for supporting the same
CN104462056A (zh) 基于深度文档分析的主动知识指导
JP6434640B2 (ja) メッセージ表示方法、メッセージ表示装置、およびメッセージ表示デバイス
EP4006909A1 (en) Method, apparatus and device for quality control and storage medium
US10936815B2 (en) Removable spell checker device
KR20210035787A (ko) 키포인트 위치결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111858880A (zh) 获取查询结果的方法、装置、电子设备和可读存储介质
WO2022121643A1 (zh) 基于输入框的信息输入方法及系统、移动终端及存储介质
CN110502625A (zh) 医疗问题解答方法、装置、设备及计算机可读存储介质
CN108369589A (zh) 提供用于对通信进行分类的自动主题标签建议
US20230135661A1 (en) Image processing method and apparatus for smart pen, and electronic device
WO2020252880A1 (zh) 反向图灵验证方法及装置、存储介质、电子设备
CN113010811B (zh) 网页获取方法、装置、电子设备及计算机可读存储介质
CN106202418A (zh) 一种用于智能机器人的图片数据收集方法及系统
KR20090072773A (ko) 필기 이미지에 대응하는 이모티콘을 제공하기 위한 방법,시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN114912522B (zh) 信息分类方法和装置
KR102440635B1 (ko) 음성 패킷 녹취 기능의 안내 방법, 장치, 기기 및 컴퓨터 저장 매체
JP2024500778A (ja) オンデバイス文法チェック

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230523

R150 Certificate of patent or registration of utility model

Ref document number: 7285899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150