JP2022530868A - 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム - Google Patents

機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム Download PDF

Info

Publication number
JP2022530868A
JP2022530868A JP2021562367A JP2021562367A JP2022530868A JP 2022530868 A JP2022530868 A JP 2022530868A JP 2021562367 A JP2021562367 A JP 2021562367A JP 2021562367 A JP2021562367 A JP 2021562367A JP 2022530868 A JP2022530868 A JP 2022530868A
Authority
JP
Japan
Prior art keywords
feature
law
target object
detection
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021562367A
Other languages
English (en)
Other versions
JP7191443B2 (ja
Inventor
治 ▲喬▼
▲シェン▼ 葛
▲陽▼天 晏
▲カイ▼ 王
▲賢▼ ▲呉▼
▲偉▼ 范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022530868A publication Critical patent/JP2022530868A/ja
Application granted granted Critical
Publication of JP7191443B2 publication Critical patent/JP7191443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

機械学習に基づくターゲットオブジェクト属性予測方法、及び関連機器であって、データ予測の技術分野に属する。方法は、検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練して、ターゲットオブジェクトの少なくとも1つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特性をより体現でき、ひいては、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、予測された属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。

Description

本願は、2012年05月09日に中国専利局に提出した、出願番号が201910386448.4であって、発明の名称が「属性予測方法、装置、コンピュータ機器、及びコンピュータ読み取り可能な記憶媒体」である中国特許出願の優先権を主張し、本願で、その全ての内容を援用により組み込む。
本出願は、データ予測の技術分野に関し、特に、機械学習に基づくターゲットオブジェクト属性予測に関する。
EHR(electronic health records、電子健康記録)データは、ターゲットオブジェクトの各回の問診記録を記録することができ、技術の発展に伴い、ますます多くの臨床診断推定モデルは、患者のEHRデータに基づいて医師の診断プロセスをシミュレートして、ユーザーの将来の罹患率を予測することができる。
関連技術では、ユーザの将来の罹患率を予測するプロセスは、EHRデータ内の医療符号化データを患者の属性として臨床診断推定モデルに入力し、臨床診断推定モデルが医療符号化データをトレーニングし、予測された診断結果を出力できることであり得る。なお、臨床診断推定モデルが医療符号化データをトレーニングするプロセスは、臨床診断推定モデルが医師による診断プロセスをシミュレートすることを表すことができ、その後、臨床診断推定モデルによって予測された診断結果に従って、患者の将来の罹患率を予測するようにすることができる。
しかしながら、前述の診断予測プロセスにおいて臨床診断推定モデルによって予測された診断結果の精度が低いため、予測された診断結果に基づいて確定された患者の将来の罹患率は不正確である。
本出願の実施例は、臨床診断推定モデルによって予測された診断結果の精度が低いという問題を解決するできる機械学習に基づくターゲットオブジェクト属性予測方法、及び関連機器を提供する。前記技術案は以下通りである。
一局面によれば、機械学習に基づくターゲットオブジェクト属性予測方法を提供し、コンピュータ機器によって実行され、前記方法は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定し、
前記検出特徴を第1のニューラルネットワークに入力し、
前記検出特徴のうち各時系列での検出特徴について、前記第1のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第1の法則特徴、及び前記第1の法則特徴と異なる前記検出特徴の将来の変化法則を表す第2の法則特徴を出力し、
前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定し、
前記グローバル特徴を第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力し、
前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測することを含む。
他の局面によれば、機械学習に基づくターゲットオブジェクト属性予測装置を提供し、前記装置は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュールと、
前記検出特徴を第1のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第1のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第1の法則特徴、及び前記第1の法則特徴と異なる前記検出特徴の将来の変化法則を表す第2の法則特徴を出力するための計算モジュールと、
前記グローバル特徴を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力するための抽出モジュールと、
前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュールとを、含んでおり、
前記取得モジュールは、さらに、前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる。
他の局面によれば、コンピュータ機器を提供し、当該コンピュータ機器はプロセッサ、及びコンピュータプログラムを格納するためのメモリを含んでおり、当該プロセッサは、メモリに格納されたコンピュータプログラムを実行することで、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現するために用いられる。
他の局面によれば、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行される場合に、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現する。
他の局面によれば、命令を含むコンピュータプログラム製品を提供し、コンピュータ上で実行される場合に、上記の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を前記コンピュータに実行させる。
本出願の実施例で提供される技術案は、以下の有益な効果を有する。
検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練して、ターゲットオブジェクトの少なくとも1つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特点をより体現でき、ひいては、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測された属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。
本出願の実施例における技術案をより明確に説明するために、以下で実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本出願のいくつかの実施例に過ぎなく、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。
本出願の実施例で提供される実施環境の概略図である。 本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法のフローチャートである。 本出願の実施例で提供される診断推定モデルの概略図である。 本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置の構造概略図である。 本出願の実施例で提供されるコンピュータ機器の構造概略図である。
本出願で提供される属性予測方法の理解を容易にするために、以下、まず、属性予測の関連技術及び発明者の研究発見を説明する。
関連技術では、ユーザの将来の罹患率を予測するプロセスは、EHRデータにおける医療符号化データを患者の属性として臨床診断推定モデルに入力し、臨床診断推定モデルが医療符号化データをトレーニングし、予測された診断結果を出力できることであり得る。なお、臨床診断推定モデルが医療符号化データをトレーニングするプロセスは、臨床診断推定モデルが医師による診断プロセスをシミュレートすることを表すことができ、その後、トレーニングされた臨床診断推定モデルによる診断結果に応じて患者の将来の罹患率を予測するようにすることができる。
しかしながら、上記関連技術の研究において、発明者は、以下のことを発見した:上記の診断予測プロセスにおいて、臨床診断推定モデルに入力されるものは医療符号化データであり、医療符号化データには数千の病気のデータを含むが、1人の患者が1つ又は複数の病気だけを患う可能性があり、あまり多くの病気を患う可能性は低いであり、したがって、医療符号化データにおける有用なデータは、医療符号化データにおいて比較的まばらにかつ離散的に分布しており、さらに、医療符号化データは、患者が病気にかかったことを表すことしかできず、患者の全体的な身体的状態を表すことはできず、その結果。このような医療符号化データを用いて臨床診断推定モデルをトレーニングした後、出力される予測診断結果の精度が低く、この予測診断結果に基づいて決定される患者の将来の罹患率が不正確になる。
関連技術における技術的問題を解決するために、本出願は、機械学習に基づくターゲットオブジェクト属性予測方法を提供し、この方法は、具体的に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第1のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第1のニューラルネットワークは、異なる二つの時系列で計算した後に、第1の法則特徴、及び第1の法則特徴と異なる第2の法則特徴を出力し、第1の法則特徴は検出特徴の過去の変化法則を表し、第2の法則特徴は検出特徴の将来の変化法則を表し、第1の法則特徴、及び第2の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第2のニューラルネットワークに入力し、第2のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいてターゲットオブジェクトの属性を予測することを含む。
本出願で提供される機械学習に基づくターゲットオブジェクト属性予測方法では、検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練することで、ターゲットオブジェクトの少なくとも1つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特性をより体現でき、ひいては、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測された属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。
本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、機械学習技術に基づいて実現される。なお、機械学習(Machine Learning、ML)は、複数の分野が交わる学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に係る。新しい知識やスキルを習得するためにコンピュータが人間の学習行動をどのようにシミュレート又は実現するかを専門に研究し、既存の知識構造を再組織して自身のパフォーマンスを継続的に改善する。機械学習は、人工知能のコアであり、コンピュータに知能を持たせる基本的な方法であり、その適用は人工知能のすべての分野をカバーする。機械学習及び深層学習は、一般、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。
また、機械学習は、人工知能(Artificial Intelligence、AI)の重要な方向性である。人工知能は、デジタルコンピュータ又はデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、延長、拡張し、環境を感知し、知識を獲得し、知識を使用して最適な結果を得る理論、方法、技術、及びアプリケーションシステムである。つまり、人工知能は、計算機科学の総合的な技術であり、知能の本質を理解し、人間の知能と同じように反応できる新しいインテリジェントマシンを生み出そうとする。人工知能は、さまざまなインテリジェントマシンの設計原理と実現方法を研究して、マシンに感知、推論、決定の機能を持たせることである。
人工知能技術は総合的な学科であり、ハードウェアについての技術とソフトウェアについての技術の両方を含む幅広い分野に係る。人工知能の基本的な技術は、一般に、センサー、AI専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング/インタラクションシステム、メカトロニクスなどの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータービジョン技術、音声処理技術、自然言語処理技術、機械学習/深層学習などを含む。
上記の内容から分かるように、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、人工知能に関し、特に、人工知能における機械学習に関する。
本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、端末デバイス、サーバーなどの、データ処理を実行できるコンピュータ機器に応用可能であり、なお、端末デバイスは、具体的に、スマートフォン、コンピュータ、パーソナルデジタルアシスタント(Personal Digital Assitant、PDA)、タブレットコンピューターなどであってもよく、サーバーは、具体的に、アプリケーションサーバーであってもよいし、Webサーバーであってもよく、実際の配置中に、当該サーバーは独立サーバーであってもよいし、クラスターサーバーであってもよい。
本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が端末デバイスによって実行される場合に、端末デバイスは、直接にユーザーによって入力されたターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、ターゲットオブジェクトの属性を予測し、予測結果はユーザーが見るように表示される。本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法がサーバーによって実行される場合に、サーバーは、まず、端末デバイスによってアップロードされたターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、ターゲットオブジェクトの属性を予測し、予測結果を取得し、次に、当該予測結果を端末デバイスに送信、端末デバイスは、受信した予測結果をユーザーが見るように表示する。
本出願の実施例で提供される技術案を理解しやすいために、以下、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が端末デバイスに適用されることを例として、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法が適用される適用シナリオについて例示的に説明する。
本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法の可能な適用シナリオとして、当該適用シナリオは端末デバイス及びユーザーを含み、端末デバイスは、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法を実行し、ターゲットオブジェクトの属性を予測して予測結果を取得し、ユーザーがみるようにするために用いられる。
端末デバイスは、ユーザートによってリガーされた属性予測命令を受信した後に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第1のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第1のニューラルネットワークが異なる二つの時系列で計算した後に、特徴検出特徴の過去の変化法則を表す第1の法則特徴、及び第1の法則特徴と異なる検出特徴の将来の変化法則を表す第2の法則特徴を出力し、第1の法則特徴及び第2の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第2のニューラルネットワークに入力し、第2のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいてターゲットオブジェクトの属性を予測し、予測結果を取得することができ、端末デバイスは当該予測結果をユーザーに表示するようにする。
実際の適用において、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法をサーバーに適用可能であることを理解されたい。これに基づいて、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法の別の可能な適用シナリオとして、当該適用シナリオはサーバー、端末デバイス及びユーザーを含む。なお、端末デバイスは、ユーザーによってトリガーされた属性予測命令を受信した後に、属性予測命令に従って属性予測要求を生成し、属性予測要求にサーバーに送信し、サーバーは、端末デバイスによって送信された属性予測要求を受信した後に、ターゲットオブジェクトの検出データ、及び検出データに対応する属性に応じて、ターゲットオブジェクトの検出特徴を確定し、検出特徴を第1のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第1のニューラルネットワークが異なる二つの時系列で計算した後に、検出特徴の過去の変化法則を表す第1の法則特徴、及び第1の法則特徴と異なる検出特徴の将来の変化法則を表す第2の法則特徴を出力し、第1の法則特徴及び第2の法則特徴に基づいて、ターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を第2のニューラルネットワークに入力し、第2のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力し、ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいてターゲットオブジェクトの属性を予測し予測結果を取得するようにし、サーバーは、取得した予測結果を端末デバイスにフィードバックし、ユーザーは端末デバイスで当該予測結果をみることができる。
上記の適用シナリオは単なる例であり、実際の適用において、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は、さらに、他の属性予測を行う適用シナリオに応用可能であることを理解されたく、ここで、本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法は限定されない。
本出願の実施例の目的、技術案及びメリットをより明確にするために、以下、図面と合わせて、本出願の実施形態を更に詳しく説明する。
図1は、本出願の実施例で提供される実施環境の概略図である。図1を参照して、当該環境は、機械学習に基づくターゲットオブジェクト属性予測システム100を含み、当該機械学習に基づくターゲットオブジェクト属性予測システムは、前処理モジュール101、検出特徴抽出モジュール102、法則特徴抽出モジュール103及び予測モジュール104を含む。
なお、前処理モジュール101は、ターゲットオブジェクトの検出データ、及び検出データに対応する属性を処理するために用いられ、具体的に、ユーザーの検出データ、及び検出データに対応する属性を、検出特徴抽出モジュール102が計算できるデータに変換する。
検出特徴抽出モジュール102は、検出データの特徴と検出データに対応する属性の混合特徴を抽出するために用いられ、抽出された混合特徴はターゲットオブジェクト検出特徴とすることができる。具体的に、検出特徴抽出モジュール102は、まず、前処理モジュール101によって処理されたデータに基づいて、属性の特徴及び検出データの特徴を抽出し、次に、抽出された属性の特徴及び検出データの特徴をスプライシングし、最後、検出特徴抽出モジュール102がスプライシング結果に基づいて検出特徴を抽出する。
法則特徴抽出モジュール103は、法則特徴を抽出し、ターゲットオブジェクトのグローバル特徴を生成するために用いられ、当該法則特徴は、検出特徴のグローバル変化法則を表すために用いられ、具体的に、法則特徴抽出モジュール 103は、まず、検出特徴抽出モジュール102によって抽出された検出特徴の過去変化法則及び未来変化法則を抽出することができ、次に、法則特徴抽出モジュール103は検出特徴の過去変化法則及び未来変化法則に基づいて、検出特徴のグローバル変化法則を取得し、最後、グローバル変化法則を代表する法則特徴に応じて、ターゲットオブジェクトのグローバル特徴を確定することができる。
予測モジュール104は、ターゲットオブジェクトの属性を予測するために用いられ、具体的に、予測モジュール104は、ニューラルネットワークにより法則特徴抽出モジュール103によって生成されたグローバル特徴を洗練し、ターゲットオブジェクトのローカル特徴を取得し、次に、予測モジュール104はターゲットローカル特徴を使用して取得した複数のローカル特徴をまとめて表現し、最後、予測モジュール104はターゲットローカル特徴に基づいてターゲットオブジェクトの属性を予測することができる。
なお、当該機械学習に基づくターゲットオブジェクト属性予測システム100における各モジュールの機能は、1つのコンピュータ機器によって実現されてもよいし、複数のコンピュータ機器によって実現されてもよく、本出願の実施例では、各モジュールの機能を実現するコンピュータ機器の数は具体的に限定されない。
図1は、機械学習に基づくターゲットオブジェクト属性予測システムにおける各モジュールの各々の機能を説明し、機械学習に基づくターゲットオブジェクト属性予測システムによる属性予測の具体的なプロセスを体現するために、図2を参照して、図2は本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法のフローチャートである。図2に示すように、当該機械学習に基づくターゲットオブジェクト属性予測方法は、以下のステップを含む。
201において、コンピュータ機器が、ターゲットオブジェクトの検出データ、及び当該検出データに対応する属性に応じて、当該ターゲットオブジェクトの検出特徴を確定する。
当該コンピュータ機器は任意のコンピュータ機器であってもよい。ターゲットオブジェクトは任意のユーザーであってもよい。
ターゲットオブジェクトの検出データは、過去の時間帯におけるターゲットオブジェクトの各検出の検出データを含み得、各検出の検出データは、1つの検出時間に対応するので、各検出の検出データは、当該ターゲットオブジェクトに関する複数のタイプのデータを含み得る。ターゲットオブジェクトを兆候検出することを例として、一度に検出されたデータは、心拍データ、血圧データなどのタイプのデータであり、任意のタイプのデータについて、各検出中に大量のデータが検出され得、一度に検出された複数のデータは今回の検出時間に関する1つの時系列シーケンスを構成できるので、1つの検出時間は複数の時系列シーケンスに対応する可能性があり、1つの検出時間での複数のタイプの検出データを区別するために、各タイプの時系列シーケンスをラベル付けすることができる。なお、本出願の実施例では、検出時間は特に限定されず、二つの検出時間の間の時間間隔は特に限定されていないことに留意されたい。また、本出願の実施例では、上記過去の時間帯は限定されず、上記過去の時間帯とは、コンピュータデバイスが属性予測方法を使用してターゲットオブジェクトの属性を予測する前の任意の時間帯を指すことができる。
当該検出データがターゲットオブジェクトの兆候データである場合に、当該検出データはEHRデータに記憶された時系列データであってもよく、当該時系列データにはターゲットオブジェクトの各問診の問診時間、及び各問診時間に検出されたターゲットオブジェクトの兆候データが含まれ、当該問診時間は検出時間でもあることを理解されたい。
上記の属性はターゲットオブジェクトの少なくとも1つの状態を指示するために用いられ、当該属性の各位置は1つの状態に対応し、当該ターゲットオブジェクトが対応する状態を有するかどうかを状態識別子で示すことができ、当該状態識別子は第1の状態識別子及び第2の状態識別子を含み得、その中、当該第1の状態識別子は、ターゲットオブジェクトが対応する状態を有することを表すために用いられ、当該第2の状態識別子は、ターゲットオブジェクトが対応する状態を有しないことを表すために用いられ、例えば、当該属性内のいずれかの位置に第1の状態識別子があると、ターゲットオブジェクトが当該位置に対応する状態を有することを説明し、当該属性内のいずれかの位置に第2の状態識別子があると、ターゲットオブジェクトが当該位置に対応する状態を有しないことを説明する。また、異なる文字列を使用して第1の状態識別子及び第2の状態識別子を示すことができるが、本出願の実施例では、当該第1の状態識別子又は第2の状態識別子を表す文字列は具体的に限定されない。
毎回ターゲットオブジェクトを検出した後に、今回の検出データを取得し、今回の検出データに基づいて、ターゲットオブジェクトの属性を確定でき、当該確定されたターゲットオブジェクトの属性に対応する検出時間は今回の検出データに対応する検出時間である。本出願の実施例では、1つの属性は1つの検出時間に対応し、そして、当該ターゲットオブジェクトの検出データに少なくとも1つの検出時間を含むと、当該ターゲットオブジェクトの検出データは少なくとも1つの属性に対応することがわかる。
上記の少なくとも1つの状態は、ターゲットオブジェクトの罹病の状態であってもよいし、他の状態であってもよく、本出願の実施例では、当該少なくとも1つの状態は具体的に限定されない。当該ターゲットオブジェクトの状況が罹病の状態である場合に、当該検出データに対応する属性は医療符号化データであってもよく、1つの医療符号化データは0と1で構成され得、医療符号化データの各位置は1つの病気に対応し、いずれかの位置でのデータが0であると、ターゲットオブジェクトが当該位置に対応する病気にかからないこと代表し、いずれかの位置でのデータが1である場合に、ターゲットオブジェクトが当該位置に対応する病気にかかることを代表し、ここでの0は第2の状態識別子に相当し、ここでの1は第1の状態識別子に相当することを理解されたい。
計算を容易にするために、当該コンピュータ機器は、まず、ターゲットオブジェクトの検出データ、及び当該検出データに対応する属性を前処理し、検出データ、及び検出データに対応する属性がその後の計算に必要なフォーマットに合致し、次に、処理されたデータに対して特徴抽出を行って、当該ターゲットオブジェクトの検出特徴を取得することができる。可能な実現方式では、このステップ201は、以下のステップ2011-2014に示す手順により実現されてもよい。
ステップ2011において、当該コンピュータ機器が当該検出データに対応する属性を全結合ニューラルネットワークに入力し、当該全結合ニューラルネットワークにより当該属性におけるターゲット状態を選別し、当該ターゲット状態に対して加重処理を行い、当該検出データに対応する属性の特徴を出力する。
ターゲットオブジェクトの属性に複数の状態が記憶されているので、当該ターゲットオブジェクトは属性内の幾つかの状態を有し、ターゲットオブジェクトが有する状態をターゲット状態とする。
計算を容易にするために、コンピュータ機器は、当該検出データに対応する属性を前処理し、可能な実現方式では、当該コンピュータ機器は、当該検出データに対応する属性をマルチホスト(mulit-hot)ベクトルで表すことができ、当該検出データに対応する属性を前処理する目的を達成する。当該mulit-hotベクトルは0と1で構成され、0はターゲットオブジェクトが対応する状態を有しないことを代表し、1はターゲットオブジェクトが対応する状態を有することを代表する。
そうすると、当該コンピュータ機器は、mulit-hotベクトルを全結合ニューラルネットワークに入力し、全結合ネットワークが符号化行列によりターゲットオブジェクトのターゲット状態を選別し、選別されたターゲット状態に対して加重処理を行って、当該検出データに対応する属性の特徴を出力することができる。なお、本出願は、選別されたターゲット状態に対して加重処理を行うことにより、処理された結果はmulit-hotベクトルに対応する属性の特徴を集中させることができる。
具体的に、当該全結合ネットワークにおける各ネットワークノードは第1の式により当該mulit-hotベクトル内のデータを計算することができ、当該第1の式は、πj=ReLU(WTxj+bπ)として示すことができ、その中、WTは符号化特徴行列であり、当該WTは予めトレーニングされた行列であってもよいし、全結合ニューラルネットワークが属性の特徴を計算する過程でトレーニングされた行列であってもよく、jは、j回目の検出時間の番号であり、xjはj回目の検出中に対応する属性のmulit-hotベクトルであり、つまり、xjはj回目の検出中対応する属性mulit-hotベクトルを代表し、πjはj番目の検出時間に対応する属性の特徴ベクトルであり、当該特徴ベクトルはj回目の検出中に対応する属性の特徴を代表し、jは1以上の整数であり、bπは偏差パラメータを示し、bπは予めトレーニングされたパラメータであってもよいし、全結合ニューラルネットワークが属性の特徴を計算する過程でトレーニングされたパラメータであってもよい。
Jがターゲットオブジェクトの検出回数の総数を示す場合に、当該コンピュータ機器は全結合ニューラルネットワークにより当該検出データに対応する全ての属性を計算した後に、検出データに対応する属性の特徴π=[π1, ..., πJ]を得ることができ、なお、当該コンピュータ機器は、全結合ネットワークにより属性の特徴を計算することに加えて、他のニューラルネットワークにより属性の特徴を計算することもできる。
1つの属性はターゲットオブジェクトの少なくとも1つの状態を指示するために用いられるので、そうすると、当該属性で指示された状態が多い場合に、当該コンピュータ機器が当該属性のmulit-hotベクトルで当該属性を示すと、mulit-hotベクトルの次元が比較的高い可能性がある。この場合、ターゲット状態を選別することで、属性の特徴πの次元をmulit-hotベクトルの次元よりも小さくし、ステップ2011に示す手順は、次元削減のプロセスとして見なすことができ、これにより、その後の計算が容易になる。
ステップ2012において、当該コンピュータ機器が当該検出データを時系列分析ツールに入力し、時系列分析ツールにより当該検出データの各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力する。
時系列分析ツールは、HCTSA(highly comparative time-series)コードストレージであってもよい。各タイプのデータの各時系列での特徴はこのタイプのデータのデータ分布、エントロピー、ズーム属性などを表す特徴を含んでもよく、これらの特徴は、このタイプのデータの自己相関構造を示すことができることがわかり、そして、これらの特徴は実際の検出データに基づいて取得されるので、これらの特徴は解釈可能である。
当該コンピュータ機器は、j回目の検出データを時系列分析ツールに入力した後に、時系列分析ツールは事前設定された特徴抽出ルールに基づいて、j回目の検出データの各タイプのデータの特徴
Figure 2022530868000002
を抽出することができ、その中、
Figure 2022530868000003
はj回目の検出中にk番目のデータタイプの時系列特徴を示し、zは正の整数であり、kはデータタイプの番号であり、jはj回目の検出の番号を示し、つまり、j回目の検出時間の番号であり、jは正の整数であり、1≦j≦Jであり、Jはターゲットオブジェクトの検出回数の総数を示す。なお、本出願の実施例では、当該事前設定された特徴抽出ルールは、具体的に限定されない。
Jがターゲットオブジェクトの検出回数の総数を示すと、これらのJ回の検出データを時系列分析ツールにより処理した後に、当該時系列分析ツールは抽出された毎回の検出データの特徴を1つの特徴セット
Figure 2022530868000004
に記憶し、最後、当該時系列分析ツールは当該特徴セットを出力でき、これにより、当該コンピュータ機器は当該特徴セットを得ることができる。
特徴セットにおける特徴は、各タイプのデータの自己相関構造を表すことができるだけであり、全ての検出データの特徴を体現できないので、当該コンピュータ機器は、さらに、以下のステップ2013を実行することで検出データの特徴を取得する必要がある。
ステップ2013において、当該コンピュータ機器が特徴セットをディープ&クロスネットワークに入力し、当該ディープ&クロスニューラネットワークにより当該特徴セット内の各時系列特徴に対してクロス処理を行って、当該検出データの特徴を出力する。
DCN(deep&cross network、ディープ&クロスネットワーク)はクロスネットワーク及び1つのディープネットワークを有し、当該コンピュータ機器は特徴セットをクロスネットワーク及びディープネットワークにそれぞれ入力し、クロスネットワークにより特徴セット内の複数の時系列特徴をクロスさせ、クロスした特徴を出力し、ディープネットワークにより特徴セット内の全ての特徴の共通の特徴を抽出する。最後、DCNによって出力されるクロス特徴とディープネットワークによって抽出される共通の特徴とを組み合わせて当該検出データの特徴を取得する。
なお、本出願の実施例では、ステップ2011-203の実行順序は、具体的に限定されない。例えば、当該計算装置は、まず、ステップ2011を実行してから、ステップ2012及び2013実行してもよく、まず、ステップ2012及び2013を実行してからステップ2011を実行してもよく、ステップ2011を実行する際にステップ2012及び2013を同時に実行してもよい。
ステップ2014において、当該コンピュータ機器が当該属性の特徴、及び当該検出データの特徴をディープニューラルネットワークに入力し、当該ディープニューラルネットワークにより当該検出データと当該検出データに対応する属性の混合特徴を抽出し、当該検出特徴を出力する。
当該コンピュータ機器は、まず、当該属性の特徴と検出データの特徴とをスプライシングして、1つのスプライシングされた特徴を取得し、次に、スプライシングされた特徴を当該ディープニューラルネットワークに入力する。
可能な実現方式では、アレイを接続する関数concat[]を採用して、j回目の検出中に対応する属性の特徴πjとj回目の検出中の検出データの特徴τjとをxjにスプライシングし、xj=concat[τjj]であり、次に、xjを当該ディープニューラルネットワークの入力として、当該ディープニューラルネットワークにおける各ノードは、以下の第2の式に従ってxjにおけるデータを計算でき、これにより、当該ディープニューラルネットワークはj番目の検出時間での検出特徴ξjを出力でき、当該第2の式は、
Figure 2022530868000005
として示すことができ、その中、Wxは第1の重み値行列であり、
Figure 2022530868000006
はWxの転置行列であり、bxは第1の偏差パラメータである。
Wxの各重み値は、xjにおける各要素の重要度を表すために用いられるので、
Figure 2022530868000007
により、xjにおける各要素に対する加重処理を実現でき、さらに、xjにおける要素を統合でき、ReLU(rectified linear unit、正規化線形ユニット)関数は、データ間の関連機能をより適切にマイニングすることができるので、ReLU関数は比較的強い表現力を持っており、ReLU関数を使用して
Figure 2022530868000008
を処理し、処理結果ξjはxjが持つ特徴を表現できるため、ξjはj回目の検出の検出特徴とすることができる。
各検出時間に対応する属性の特徴と検出データの特徴とに対してスプライシング処理を行う場合に、当該コンピュータ機器は、また、当該ディープニューラルネットワークにより各検出時間での検出特徴を抽出でき、説明を容易にするために、各検出時間での検出特徴をサブ検出特徴と呼ぶので、ディープニューラルネットワークによって最終的に出力された検出特徴は、少なくとも1つのサブ検出特徴を含み、当該コンピュータ機器は時系列で当該少なくとも1つのサブ検出特徴を当該検出特徴に記憶し、検出特徴ξ=[ξ1, ξ2, ... ξJ]を取得することができ、ξjはj番目のサブ検出特徴であり、j番目の検出時間に対応する検出特徴でもあり、jは正の整数であり、1≦j≦Jであり、Jはターゲットオブジェクトの検出回数の総数を示す。
検出データの特徴及び属性の特徴は各時系列の各タイプデータの特徴を含んでいるので、当該検出特徴はマルチモードを有し、当該検出特徴はマルチモード特徴として見なすことができる。
検出特徴は検出データ及び検出データに対応する属性に基づいて取得されるので、検出データのみに基づいて取得したターゲットオブジェクトの特徴に対して、本出願の実施例における検出特徴はターゲットオブジェクトの検出中の特徴をより体現でき、そして、検出データは、実際に検出されたデータであり、客観的根拠とすることができ、取得された検出特徴は解釈可能であり、検出データに対応する属性は主観的な判断の結果であるので、属性及び検出データに基づいて取得された検出特徴の精度は高い。
ステップ2011-2014に示す手順の理解を容易にするために、図3のマルチモード特徴抽出部分を参照し、図3は本出願の実施例で提供される診断推定モデルの概略図であり、マルチモード特徴抽出部分において、まず、コンピュータ機器が医療符号化データ(即ち、検出データに対応する属性)をmulit-hotベクトルに変換し、mulit-hotベクトルを全結合ニューラルネットワークに入力し、全結合ニューラルネットワークが計算により医療符号化データの特徴(即ち、属性の特徴)を出力できることがわかり、なお、全結合ニューラルネットワークが計算により医療符号化データの特徴を出力するプロセスは医療符号化データを埋め込むプロセスである。
次に、コンピュータ機器は時系列データ(即ち、検出データ)に対して特徴抽出を行って、特徴セットを取得し、続いて、コンピュータ機器は特徴セットをDCNに入力し、DCNはクロスマルチ時系列混合特徴(cross multiple time series feature mixture)、即ち、検出データの特徴を出力し、最後、コンピュータ機器はクロスマルチ時系列混合特徴と属性特徴とを混合して、混合された特徴に基づいて、マルチモード特徴(即ち、検出特徴)を取得する。
なお、当該コンピュータ機器は、ディープニューラルネットワークを使用して、検出データの特徴を取得することに加えて、他のニューラルネットワークを採用して、検出データの特徴を取得することもできる。
202において、当該コンピュータ機器が当該検出特徴を第1のニューラルネットワークに入力し、検出特徴のうち各時系列での検出特徴について、第1のニューラルネットワークが異なる二つの時系列で計算した後に、当該検出特徴の過去の変化法則を表す第1の法則特徴、及び第1の法則特徴と異なる当該検出特徴の将来の変化法則を表す第2の法則特徴を出力する。
第1のニューラルネットワークは、アテンション(attention)メカニズムを有するBiRNN(bidirectional recurrent neural networks、双方向リカレントニューラルネットワーク)であってもよく、当該BiRNNは、1つの第1のサブネットワーク及び1つの第2のサブネットワークで構成され、その中、第1のサブネットワークは第1の法則特徴を取得するために用いられ、第2のサブネットワークは第2の法則特徴を取得するために用いられる。
可能な実現方式では、当該コンピュータ機器は、逆方向の時系列順序に従って、当該検出特徴を当該第1のニューラルネットワークの第1のサブネットワークに入力し、当該第1のサブネットワークにより当該検出特徴に対して逆方向の時系列計算を行って、当該第1の法則特徴を取得し、順方向の時系列順序に従って、当該検出特徴を当該第1のニューラルネットワークの第2のサブネットワークに入力し、当該第1のサブネットワークにより当該検出特徴に対して順方向の時系列計算を行って、当該第2の法則特徴を取得する。
検出特徴内の少なくとも1つのサブ検出特徴は時間順序に従ってソートされるので、当該コンピュータ機器は、順方向の時系列に従って検出特徴を第1のサブネットワークに入力してもよいし、当該コンピュータ機器は、逆方向の時系列に従って、検出特徴を第2のサブネットワークに入力してもよい。
可能な実現方式では、当該コンピュータ機器は、後から前へ検出特徴ξ=[ξ12, …ξJ]における各サブ検出特徴を第1のサブネットワーク内の入力層のノードに順次入力し、具体的に、当該コンピュータ機器は、ξJを第1のサブネットワークの入力層の第1のノードに入力し、ξJ-1を第1のサブネットワークの入力層の第2のノードに入力し、…(以下同様である)。当該コンピュータ機器は当該検出特徴を第1のサブネットワークに入力した後に、当該第1のサブネットワークは第1のサブネットワーク内で事前設定された計算ルールに従って、検出特徴内の各サブ特徴を計算し、最終的に、当該第1のサブネットワークは当該第1の法則特徴
Figure 2022530868000009
を出力でき、bは逆方向を表すために用いられるが、本出願の実施例では、当該第1のサブネットワークにおける事前設定された計算ルールは、具体的に限定されない。
可能な実現方式では、当該コンピュータ機器は、前から後へ検出特徴ξ=[ξ12, …ξJ]にける各サブ検出特徴を第2のサブネットワーク内の入力層のノードに順次入力し、具体的に、当該コンピュータ機器はξ1を第1のサブネットワークの入力層の第1のノードに入力し、ξ2を第1のサブネットワークの入力層の第2のノードに入力し…(以下同様である)。当該コンピュータ機器が当該検出特徴を第2のサブネットワークに入力した後に、当該第2のサブネットワークは第2のサブネットワークにおける事前設定された計算ルールに従って検出特徴内の各サブ特徴を計算し、最終的に、当該第2のサブネットワークは当該第2の法則特徴
Figure 2022530868000010
を出力でき、その中、fは順方向を代表し、本出願の実施例では、当該第2のサブネットワークにおける事前設定された計算ルールは、具体的に限定されない。
203において、当該コンピュータ機器が当該第1の法則特徴及び第2の法則特徴に基づいて、当該ターゲットオブジェクトのグローバル特徴を確定する。
検出特徴の過去の変化法則は第1の法則特徴によって表され、検出特徴の将来の変化法則は第2の法則特徴によって表されるので、第1の法則特徴及び第2の法則特徴のいずれかは検出特徴のグローバル変化法則を表すことができず、より精確なターゲットオブジェクトのグローバル特徴を取得するために、当該コンピュータ機器は、まず、第1の法則特徴及び第2の法則特徴に基づいて、検出特徴のグローバル変化法則を表す法則特徴を取得し、その後、この法則特徴に応じて、グローバル特徴を取得することができる。
可能な実現方式では、このステップ203は以下のステップ2031-2033に示す手順により実現されてもよい。
ステップ2031において、当該コンピュータ機器が当該第1の法則特徴と第2の法則特徴とをスプライシングして、第3の法則特徴を取得する。
第1のサブネットワークが当該第1の法則特徴
Figure 2022530868000011
を出力し、且つ第2のサブネットワークが当該第2の法則特徴
Figure 2022530868000012
を出力した後に、当該コンピュータ機器は第1のニューラルネットワークにより第1の法則特徴h=[h1, ..., hJ]をスプライシングして、第3の法則特徴h=[h1, ..., hJ]を取得し、その中、jは正の整数であり、1≦j≦Jであり、Jはターゲットオブジェクトの検出回数の総数を示す。
ステップ2032において、当該コンピュータ機器が当該第3の法則特徴に対して加重処理を行って、第4の法則特徴を取得し、当該第4の法則特徴は、当該検出特徴のグローバル変化法則を表すために用いられる。
当該計算装置は第1のニューラルネットワークにおけるアテンションメカニズムにより、第3の法則特徴に対して加重処理を行うことができる。可能な実現方式では、このステップ2032はステップ11-13に示す手順により実現されてもよい。
ステップ11において、当該コンピュータ機器が第1のアテンションメカニズム及び当該第3の法則特徴に基づいて、重み値学習を行って、少なくとも1つの第1の重み値を取得し、当該第1の重み値は、1つの検出データと当該1つの検出データに対応する属性の重要度を表すために用いられる。
なお、当該第1のアテンションメカニズムは当該第1のニューラルネットワーク内の任一アテンションメカニズムであり、当該コンピュータ機器は当該第1のアテンションメカニズムにおける重み値学習ポリシーに基づいて、重み値学習を行うことができ、当該重み値学習ポリシーは位置に基づくアテンション重み値学習ポリシーであってもよく、位置に基づくアテンション重み値学習ポリシーは、
Figure 2022530868000013
として示すことができ、その中、Wτは第2の重み値ベクトルであり、
Figure 2022530868000014
はWτの転置行列であり、bτは第2の偏差パラメータであり、
Figure 2022530868000015
はj回目の検出中に対応する第1の重み値である。
そうすると、当該コンピュータ機器は第3の法則特徴h=[h1, ..., hJ]における各法則特徴、及び上記の位置のアテンション重み値学習ポリシーに基づいて、重み値学習を行うことで、J個の第1の重み値を得ることができ、当該J個の第1の重み値は少なくとも1つの第1の重み値でもある。
なお、当該第1のアテンションメカニズムにおける重み値学習ポリシーは他のアテンション重み値学習ポリシーであってもよく、本出願の実施例では、当該第1のアテンションメカニズムにおける重み値学習ポリシーは、具体的に限定されない。
ステップ12において、当該コンピュータ機器が当該少なくとも1つの第1の重み値に対して正規化処理を行って、少なくとも1つの第2の重み値を取得する。
ステップ11の第1の重み値は数学的計算によって得られた値であるため、当該少なくとも1つの第1の重み値は、大きすぎるか、又は小さすぎる可能性がある。計算を容易にするために、当該少なくとも1つの第1の重み値に対して正規化処理を行って、処理後に得られる各第2の重み値の大きさを適切にすることができ、当該少なくとも1つの第1の重み値が大きすぎる場合、当該少なくとも1つの第1の重み値は比例して減少し得、当該少なくとも1つの第1の重み値が小さすぎる場合に、当該少なくとも1つの第1の重み値は比例して拡大され得、当該少なくとも1つの第1の重み値に対する正規化処理を実現する。
各第2の重み値は1つの第1の重みを正規化した結果のみであるため、第2の重み値は第1の重み値と同じ作用を有し、両方とも、1つの検出データ及び1つの検出データに対応する属性の重要度を表すために使用される。
ステップ13において、当該コンピュータ機器が少なくとも1つの第2の重み値に基づいて、当該第3の法則特徴に対して加重処理を行って、当該第4の法則特徴を取得する。
当該コンピュータ機器は、当該少なくとも1つの第2の重み値
Figure 2022530868000016
を第3の式に代入し、第3の式の出力を当該第4の法則特徴とすることにより、第3の法則特徴に対する加重処理を実現し、当該第3の式は、
Figure 2022530868000017
として示すことができ、その中、cは第4の法則特徴であり、
Figure 2022530868000018
はj回目の検出中に対応する第2の重み値であり、Jは当該ターゲットオブジェクトの検出回数の総数である。
1つの第2の重み値は、1つの検出データと当該1つの検出データに対応する属性の重要度を表すために用いられ、少なくとも1つの第2の重み値により当該第3の法則特徴に対して加重処理を行い、第3の法則特徴はより統括されて表現されるので、第4の法則特徴は検出特徴のグローバル変化法則を表すことができる。
第1の法則特徴及び第2の法則特徴に対して加重処理を行ったので、第1の法則特徴及び第2の法則特徴は、第4の法則特徴によって総括して表され得、従って、第4の法則特徴は、第1の法則特徴で表される過去の変化法則を表すことができるだけではなく、第1の法則特徴で表される将来の変化法則を表すこともできるため、第4の特徴法則は検出特徴のグローバル変化法則を表すことができる。
ステップ2033において、当該コンピュータ機器が当該第3の法則特徴、及び当該第4の法則特徴に基づいて、当該グローバル特徴を確定する。
隣接する検出データ間の相関性と隣接する属性間の相関性が最も高いので、次の検出中のターゲットオブジェクトの属性をさらに予測するために、当該コンピュータ機器は当該第3の法則特徴のうち最後の検出時間に対応する法則特徴、及び当該第4の法則特徴を、第4の式に代入し、第4の式の出力を当該グローバル特徴とすることができ、第4の式は、
Figure 2022530868000019
として示すことができ、その中、
Figure 2022530868000020
は当該グローバル特徴であり、hJは第3の法則特徴におけるターゲットオブジェクトの最後の検出時間に対応する法則特徴であり、[hJ,c]はhJとcとがスプライシングされたベクトルであり、Wdは第3の重み値行列であり、
Figure 2022530868000021
はWdの転置行列であり、bdは第3の偏差パラメータであり、ReLU()とは正規化線形関数である。
第4の法則特徴は検出特徴のグローバル変化法則を表し、第1の法則特徴は検出特徴の過去の変化法則を表し、第2の法則特徴は検出特徴の将来の変化法則を表し得るので、この三つの法則特徴に対して加重処理を行って、得られた結果はターゲットオブジェクトのグローバル特徴を示すことができる。
204において、当該コンピュータ機器が当該グローバル特徴を第2のニューラルネットワークに入力し、第2のニューラルネットワークがグローバル特徴からターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力する。
当該第2のニューラルネットワークは、HMCN(hierarchical multi-label classification networks、階層マルチラベル分類ネットワーク)であってもよく、そして、第2のニューラルネットワークは入力されたグローバル特徴からローカル特徴を抽出することができる。グローバル特徴はターゲットオブジェクトの詳細を表すことができないので、第2のニューラルネットワークによりターゲットオブジェクトの詳細を抽出することができ、具体的に、第2のニューラルネットワークは当該ターゲットオブジェクトの詳細を段階的に抽出することができ、最終的に抽出された詳細は属性予測用のニーズを満たすことができる。
当該第2のニューラルネットワークの各層は1つの当該ローカル特徴を出力することができる。当該コンピュータ機器が当該グローバル特徴を当該第2のニューラルネットワークに入力した後に、当該グローバル特徴は入力層から第2のニューラルットワークの出力層までに入力され得、当該第2のニューラルネットワークは層ごとにグローバル特徴を計算でき、当該第2のニューラルネットワークの第1のターゲット層は、計算中に、第2のターゲット層の出力データに基づいて、第1のターゲット層の階層的特徴、及び当該ターゲットオブジェクトの第1のターゲット層におけるローカル特徴を計算することができ、その中、第1のターゲット層は当該第2のニューラルネットワークのいずれかの層であり、第2のターゲット層は当該第2のニューラルネットワークにおける当該第1のターゲット層の上位層であり、当該階層的特徴は、当該第2のニューラルネットワークのネットワーク層における当該グローバル特徴の状態を表すために用いられ、当該第1のターゲット層の階層的特徴は、当該グローバル特徴、及び当該第2のターゲット層の階層的特徴によって決定される。
当該第2のニューラルネットワークの第2のターゲット層が第2のターゲット層の階層的特徴、及び当該ターゲットオブジェクトの第2のターゲット層におけるローカル特徴を生成した後に、当該第2のターゲット層は、第1のターゲット層が第2のターゲット層の階層的特徴及び当該グローバル特徴を受信できるように、第1のターゲット層に第2のターゲット層の階層的特徴、及び当該グローバル特徴(第2のターゲット層の出力データ)を出力することができる。そうすると、第2のニューラルネットワークの各ネットワーク層によって出力されたグローバル特徴に伴い当該グローバル特徴を当該第2のニューラルネットワークの各ネットワーク層に入力することができる。
第1のターゲット層の階層的特徴は当該グローバル特徴及び当該第2のターゲット層の階層的特徴によって决定されるので、第1のターゲット層が第2のターゲット層の階層的特徴及び当該グローバル特徴を受信した後に、当該第1のターゲット層は第2のターゲット層の階層的特徴、及び当該グローバル特徴に基づいて、第1のターゲット層の階層的特徴を計算することができる。可能な実現方式では、当該第2のニューラルネットワークの第i層の階層的特徴
Figure 2022530868000022
として示すことができ、その中、Gはグローバルを代表し、
Figure 2022530868000023
は第4の重み行列であり、
Figure 2022530868000024
は第i-1層の階層的特徴であり、
Figure 2022530868000025
は第i層の階層的特徴を示し、bGは第4の偏差パラメータであり、第iの層は第1のターゲット層として見なすことができる。
当該第1のターゲット層におけるノードは第1のターゲット層の階層的特徴及び当該グローバル特徴に基づいて、当該ターゲットオブジェクトの第1のターゲット層におけるローカル特徴を取得することができる。可能な実現方式では、当該ターゲットオブジェクトの第iの層におけるローカル特徴
Figure 2022530868000026
として示すことができ、その中、Lはネットワーク層を代表し、
Figure 2022530868000027
は第5の重み行列であり、bTは第5の偏差パラメータである。
当該第2のニューラルネットワークの各層は前の層の階層的特徴及びグローバル特徴に基づいて計算するので、第2のニューラルネットワークの各層におけるターゲットオブジェクトのローカル特徴は前の層ローカル特徴の影響を受け、各層の階層的表現はこの層の階層的特徴によって決定されるので、当該第2のニューラルネットワークにおけるいずれかのネットワーク層によって生成されるローカル特徴は次のネットワーク層によって生成されるローカル特徴の親とすることができる、従って、第2のニューラルネットワークは当該ターゲットオブジェクトの詳細を段階的に抽出することを実現することができる。
205において、当該コンピュータ機器が当該ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、当該ターゲットオブジェクトの属性を予測する。
1つのローカル特徴はターゲットオブジェクトの異なるレベルの詳細を表すことができるので、詳細が多いことを考慮して、それらを一括的に処理し、より詳細なローカル特徴を取得し、その後、このより詳細なローカル特徴に応じて、属性予測を行うことができる。
可能な実現方式では、本ステップ205は、以下のステップ2051-2052に示す手順により実現されてもよい。
ステップ2051において、当該コンピュータ機器は当該ターゲットオブジェクトの少なくとも1つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得する。
当該ターゲットローカル特徴は、また、より詳細なローカル特徴である。コンピュータ機器は、第2のニューラルネットワークにおけるアテンションメカニズムにより、ターゲットオブジェクトのローカル特徴に対して加重処理を行うことができる。可能な実現方式では、このステップ2051はステップ21-22に示される手順により実現されてもよい。
ステップ21において、当該コンピュータ機器は第2のアテンションメカニズム及び当該少なくとも1つのローカル特徴に基づいて、重み値学習を行って、少なくとも1つの第3の重み値を取得し、1つの第3の重み値は、1つのローカル特徴の重要度を表すために用いられる。
なお、当該第2のアテンションメカニズムは当該第2のニューラルネットワーク内のいずれかのアテンションメカニズムであり、コンピュータ機器は第2のアテンションメカニズム、及び当該少なくとも1つのローカル特徴に基づいて、重み値学習を行って、当該第2のアテンションメカニズムにおける重み値学習ポリシー、重み値を学習し、当該第2のアテンションメカニズムにおける重み値学習ポリシーは、
Figure 2022530868000028
として示すことができ、
その中、
Figure 2022530868000029
は、i番目の第3の重み値であり、Wαは第6の重み値行列であり、bαは第6の偏差パラメータであり、
Figure 2022530868000030
はj番目の検出時間に対応するパラメータの重み値であり、Mはローカル特徴の数を示す。
なお、当該第2のアテンションメカニズムにおける重み値学習ポリシーは他のアテンション重み値学習ポリシーであってもよく、本出願の実施例では、当該第2のアテンションメカニズムにおける重み値学習ポリシーは具体的に限定されない。
ステップ22において、当該コンピュータ機器が当該少なくとも1つの第3の重み値に基づいて、当該ターゲットオブジェクトの少なくとも1つのローカル特徴に対して加重処理を行って、当該ターゲットローカル特徴を取得する。
当該コンピュータ機器は、少なくとも1つの第3の重み値、及び当該ターゲットオブジェクトの少なくとも1つのローカル特徴を第5の式に代入して、第5の式の出力をターゲットローカル特徴として、ターゲットオブジェクトの少なくとも1つのローカル特徴に対する加重処理を実現し、当該第5の式は、
Figure 2022530868000031
として示すことができ、
その中、AGは現在の時系列に対応する検出データに対応する属性であり、Nは第2のニューラルネットワークの層数である。
1つの第3の重み値は1つのローカル特徴の重要度を表すので、少なくとも1つの第3の重み値により少なくとも1つのローカル特徴に対して加重処理を行って、取得したターゲットローカル特徴は洗練される。
ステップ2052において、当該ターゲットローカル特徴に基づいて、当該ターゲットオブジェクトの属性を予測する。
当該コンピュータ機器は、当該ターゲットローカル特徴を第6の式に代入して、ターゲットオブジェクトの属性を予測することができ、当該第6の式は当該ターゲットオブジェクトの属性を予測するために用いられ、当該第6の数は
Figure 2022530868000032
として示すことができ、その中、
Figure 2022530868000033
はJ+1番目の検出データに対応する予測されたターゲットオブジェクトの属性であり、WGは第7の重み値行列であり、bGは第7の偏差パラメータである。
幾つかの実施例では、第2のニューラルネットワークは、第2のニューラルネットワークのグローバル損失及びローカル損失に応じて、現在予測される属性を出力するかどうかを確定することができる。
幾つかの可能な実現方式において、当該グローバル特徴を当該第2のニューラルネットワークに入力した後に、当該第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、当該第2のニューラルネットワークは現在予測される属性を出力し、満たさないと、第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすまで、当該第2のニューラルネットワークは当該第2のニューラルネットワーク内の重み行列を調整し、当該ローカル損失は、当該第2のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、当該グローバル損失は当該第2のニューラルネットワークの所望の最終出力データと実際の最終出力データとの差である。
第2のニューラルネットワークのいずれかの層が計算を終了した後に、当該第2のニューラルネットワークは当該いずれかの層の次の検出中のローカル特徴(予測ローカル特徴と略称される)を予測でき、第iの層の予測ローカル特徴は、
Figure 2022530868000034
として示すことができ、
その中、
Figure 2022530868000035
は第iの層の第8の重み値行列であり、bLは第8の偏差パラメータである。
第2のニューラルネットワークは少なくとも1つのターゲットオブジェクトの属性を予測でき、第2のニューラルネットワークに基づいて少なくとも1つのターゲットオブジェクトの属性を予測する場合に、当該いずれかの層の予測ローカル特徴に基づき、当該第2のニューラルネットワークはクロスエントロピーポリシーを採用して当該いずれかの層のローカル損失を計算することができ、そうすると、第iの層のローカル損失Lli
Figure 2022530868000036
として示すことができ、
その中、Qはターゲットオブジェクトの数であり、
Figure 2022530868000037
はQ番目のターゲットオブジェクトのグローバル特徴に基づいて、第iの層によって実際に出力されたデータであり、
Figure 2022530868000038
はQ番目のターゲットオブジェクトのグローバル特徴に基づいて予測された第iの層の出力データである。
第2のニューラルネットワークに基づいて少なくとも1つのターゲットオブジェクトの属性を予測する場合に、当該第2のニューラルネットワークの各層が計算を終了した後に、当該第2のニューラルネットワークが少なくとも1つのターゲットオブジェクトの次の検出中の属性を計算でき、その後、当該第2のニューラルネットワークは少なくとも1つのターゲットオブジェクトの次の検出中の属性を予測でき、クロスエントロピーポリシーを採用してグローバル損失LGを計算し、なお、LGは、
Figure 2022530868000039
として示すことができ、
その中、
Figure 2022530868000040
は実際に出力されたQ番目のターゲットオブジェクトの次の検出中の属性であり、
Figure 2022530868000041
は予測されたQ番目のターゲットオブジェクトの次の検出中の属性である。
当該事前設定された条件はLoss=LG+γ(Ll1+Ll2 ... Llp)と示され得、その中、Pは2よりも大きい整数であり、例えば、p=3であり、Lossは事前設定された収束値であり、γは事前定義されたパラメータであり、グローバル損失とローカル損失のバランスをとるために用いられ、当該コンピュータ機器はLoss、γ、Ll1、Ll2、...、Llpを上記の事前設定された条件の式に入力した後に、上記の式が成立すると、当該第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たし、上記の式が成立しないと、当該第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たさない。
第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、第2のニューラルネットワークの各層によって生成されるローカル特徴と所望のローカル特徴との差が事前設定された精度に達成したことを説明し、これにより、当該第2のニューラルネットワークの各層のローカル特徴の精度が高いことを保証することができ、ひいては、予測された属性の精度を向上させることができる。
なお、第2のニューラルネットワークは数値に基づいて計算するが、ターゲットオブジェクトの属性内の各状態は実際に状態識別子で示されるので、当該コンピュータ機器は、さらに、第2のニューラルネットワークによって実際に出力されたデータを、状態識別子から構成される属性に変換する必要があり、第2のニューラルネットワークによって実際に出力されたデータは少なくとも1つの確率値を含み得、各確率値はターゲットオブジェクトの属性内の1つの状態に対応し、いずれかの確率値がターゲット値よりも大きいと、当該ターゲットオブジェクトが当該いずれかの確率に対応するターゲット状態を有することを説明し、当該コンピュータ機器は、第1の状態識別子を、属性内のターゲット状態の位置に記憶し、いずれかの確率値が当該ターゲット値以下である場合に、当該ターゲットオブジェクトが当該いずれかの確率に対応するターゲット状態を有しないことを説明し、当該コンピュータ機器は、第2の状態識別子を、属性内のターゲット状態の位置に記憶する。そうすると、各確率値を判断することにより、属性の実際の表現方式を得ることができる。本出願の実施例では、当該ターゲット値は具体的に限定されない。
ステップ203-204に示す手順をさらに示すために、図3のニューラルレベルマルチラベルモデリング部分を参照されたい。この部分から、アテンションリカレントネットワーク(attention recurrent networks)の出力データ(即ち、グローバル特徴)がニューラルレベルマルチラベルモデリング部分に送られ、アテンションリカレントネットワークは第1のニューラルネットワークに相当することが分かる。具体的に、当該コンピュータ機器はグローバル特徴をニューラルレベルマルチラベルモデリング部分における第2のニューラルネットワークの各層に入力し、第1の層がグローバル特徴に応じて第1の層の階層的特徴
Figure 2022530868000042
を生成し、さらに、
Figure 2022530868000043
に応じて、第1の層のローカル特徴
Figure 2022530868000044
を生成し、
Figure 2022530868000045
に基づいてデータ予測を実行でき、第1の層によって予測された出力データ
Figure 2022530868000046
を取得し、コンピュータ機器が第1の層のローカル損失Ll1を計算し、第1の層が
Figure 2022530868000047
を第2の層に出力し、第2の層が同様に第1の層の計算手順を行うことができ、最終に、第2のニューラルネットワークの全ての層は1つの
Figure 2022530868000048
を取得し、コンピュータ機器がM個の
Figure 2022530868000049
をアテンションセット(attentional ensembel)に出力し、アテンションセットにおいて、第2の注意メカニズムに基づいて、予測された出力データ
Figure 2022530868000050
を生成し、さらに、予測された出力データ
Figure 2022530868000051
に応じてグローバル損失LGを生成する。そのすると、グローバル損失LG及びローカル損失Liの両方が事前設定された条件を満たすと、当該第2のニューラルネットワークは
Figure 2022530868000052
出力できる。
本出願の実施例で提供される方法によれば、検出特徴の過去及び将来の変化法則を表す法則特徴に基づいてターゲットオブジェクトのグローバル特徴を確定し、グローバル特徴を洗練して、ターゲットオブジェクトの少なくとも1つのローカル特徴を取得し、そうすると、洗練されたローカル特徴はターゲットオブジェクトの特徴をより体現でき、さらに、ローカル特徴に応じてターゲットオブジェクトの属性を予測し、従って、予測される属性の精度を向上させることができ、ターゲットオブジェクトの属性が予測された診断結果である場合に、予測された診断結果の精度を向上させることができる。そして、検出特徴は検出データ及び検出データに対応する属性に基づいて取得されるので、検出データのみに基づいて取得したターゲットオブジェクトの特徴に対して、本出願の実施例における検出特徴はターゲットオブジェクトの検出中の特徴をより体現できる。そして、検出データは、実際に検出されたデータであり、客観的根拠とすることができ、取得された検出特徴は解釈可能であり、検出データに対応する属性は主観的な判断の結果であるので、属性及び検出データに基づいて取得された検出特徴の精度は高い。そして、第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、第2のニューラルネットワークの各層によって生成されたローカル特徴がいずれも所望値に達したことを説明し、これにより、当該第2のニューラルネットワークの出力層によって出力されるローカル特徴の精度が高いことを保証することができる。
図4は本出願の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置の構造概略図であり、当該装置は、
ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュール401と、
前記検出特徴を第1のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第1のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第1の法則特徴、及び前記第1の法則特徴と異なる前記検出特徴の将来の変化法則を表す第2の法則特徴を出力するための計算モジュール402と、
前記グローバル特徴を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力するための抽出モジュール403と、
前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュール404とを、含んでおり、
前記取得モジュール401は、さらに、前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる。
任意選択で、前記取得モジュール401は、
前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記属性におけるターゲット状態を選別し、前記ターゲット状態に対して加重処理を行い、前記属性の特徴を出力し、
前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力し、
特徴セットをディープ&クロスネットワークニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得し、
前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより、前記検出データと前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するために用いられる。
任意選択で、前記取得モジュール401は、
前記第1の法則特徴と第2の法則特徴とをスプライシングして、第3の法則特徴を取得し、
前記第3の法則特徴に対して加重処理を行って、第4の法則特徴を取得し、前記第4の法則特徴は、前記検出特徴のグローバル変化法則を表すために用いられ、
前記第3の法則特徴、及び前記第4の法則特徴に基づいて、前記グローバル特徴を確定するために用いられる。
任意選択で、前記取得モジュール401は、具体的に、
第1のアテンションメカニズム、及び前記第3の法則特徴に基づいて、重み値学習を行って、少なくとも1つの第1の重み値を取得し、1つの前記第1の重み値は、1つの検出データと前記1つの検出データに対応する属性の重要度を表すために用いられ、
前記少なくとも1つの第1の重み値に対して正規化処理を行って、少なくとも1つの第2の重み値を取得し、
前記少なくとも1つの第2の重み値に基づいて、前記第3の法則特徴に対して加重処理を行って、前記第4の法則特徴を取得するために用いられる。
任意選択で、前記予測モジュール404は、
前記ターゲットオブジェクトの少なくとも1つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するための処理ユニットと、
前記ターゲットローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測ユニットとを含む。
任意選択で、前記処理ユニットは、
第2のアテンションメカニズム、及び前記少なくとも1つのローカル特徴に基づいて、重み値学習を行って、少なくとも1つの第3の重み値を取得し、1つの第3の重み値は、1つのローカル特徴の重要度を表すために用いられ、
前記少なくとも1つの第3の重み値に基づいて、前記少なくとも1つのローカル特徴に対して加重処理を行って、前記ターゲットローカル特徴を取得するために用いられる。
任意選択で、前記第2のニューラルネットワークの各層は1つの前記ローカル特徴を出力する。
任意選択で、前記装置は、前記グローバル特徴を前記第2のニューラルネットワークに入力した後に、前記第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、前記第2のニューラルネットワークが現在予測される属性を出力する出力モジュールをさらに含んでおり、前記ローカル損失は、前記第2のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、前記グローバル損失は、前記第2のニューラルネットワークの所望の最終出力データと実際の最終データとの差である。
任意選択で、当該装置は、前記第2のニューラルネットワークにおける第1のターゲット層の階層的特徴、及び第2のターゲット層によって生成されたローカル特徴に基づいて、前記第1のターゲット層よって出力されたローカル特徴を生成するための生成モジュールをさらに含んでおり、第1のターゲット層の前記階層的特徴は、前記グローバル特徴の第1のターゲット層での状態を表すために用いられ、前記第2のターゲット層は前記第2のニューラルネットワークにおける前記第1のターゲット層の上位層である。
任意選択で、前記第1のターゲット層の階層的特徴は、前記グローバル特徴及び前記第2のターゲット層の階層的特徴によって決定される。
図5は、本出願の実施例で提供されるコンピュータ機器の構造概略図であり、当該コンピュータ機器500は、配置又は性能によって大きく異なり、1つ又は複数のCPU(central processing units、プロセッサ)501と、1つ又は複数のメモリ502とを含んでもよく、ここで、前記メモリ502には少なくとも一つの命令が記憶されており、前記少なくとも一つの命令が前記プロセッサ501によってロードされて実行されることで、上記の各个方法実施例で提供される機械学習に基づくターゲットオブジェクト属性予測方法を実現する。当該コンピュータ機器500は、入出力のために、有線又は無線ネットワークインターフェース、キーボード及び入出力インターフェースなどの部品をさらに有してもよく、当該コンピュータ機器500は、他のデバイス機能を実現するための部品をさらに含んでもよく、ここで再度説明されない。
例示的な実施例では、さらに、コンピュータ読み取り可能な記憶媒体、例えば、命令を含むメモリを提供し、上記命令は、端末のプロセッサによって実行されることで、上記各実施例における機械学習に基づくターゲットオブジェクト属性予測方法を実現させることが可能である。例えば、前記コンピュータ読み取り可能な記憶媒体は、読み出し専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、読み出し専用光ディスク(CD-ROM:Compact Disc Read-Only Memory)、磁気テープ、フロッピーディスクや光データ記憶デバイスなどであってもよい。
例示的な実施例では、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータ上で実行される場合に、上記の実施例における機械学習に基づくターゲットオブジェクト属性予測方法を前記コンピュータに実行させる。
上記の全ての選択可能な技術案は、任意の組み合わせにより本発明の選択可能な実施例を形成することができ、ここでは再度一つずつ説明されない。
なお、上記の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置は、属性を予測する場合に、上記の各機能モジュールの分割のみを例に挙げて説明しているが、実際の適用では、必要に応じて上記機能を異なる機能モジュールに割り当て、つまり、装置の内部構成を異なる機能モジュールに分割することにより、上述した機能の全部又は一部を完了してもよい。また、上記の実施例で提供される機械学習に基づくターゲットオブジェクト属性予測装置と、機械学習に基づくターゲットオブジェクト属性予測方法の実施例とは、同一の構想に属し、その具体的な実現過程の詳細については、方法の実施例を参照すればよく、ここで説明を省略する。
当業者であれば理解できるように、上記実施例を実現するためのステップの全部又は一部は、ハードウェアによって実行されてもよいし、プログラムによって関連ハードウェアに指示することにより実行されてもよい。該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記で言及された記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどであってもよい。
以上は、本発明の好適な実施例に過ぎず、本出願を限定することは意図していない。本出願の精神や原則内の如何なる修正、均等の置き換え、改良などは、本出願の保護範囲内に含まれるべきである。
100 ターゲットオブジェクト属性予測システム
101 前処理モジュール
102 検出特徴抽出モジュール
103 法則特徴抽出モジュール
104 予測モジュール
401 取得モジュール
402 計算モジュール
403 抽出モジュール
404 予測モジュール
500 コンピュータ機器
501 プロセッサ
502 メモリ

Claims (16)

  1. コンピュータ機器によって実行される、機械学習に基づくターゲットオブジェクト属性予測方法であって、
    ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するステップと、
    前記検出特徴を第1のニューラルネットワークに入力するステップと、
    前記検出特徴のうち各時系列での検出特徴について、前記第1のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第1の法則特徴、及び前記第1の法則特徴と異なる前記検出特徴の将来の変化法則を表す第2の法則特徴を出力するステップと、
    前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するステップと、
    前記グローバル特徴を第2のニューラルネットワークに入力するステップと、
    前記第2のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力するステップと、
    前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するするステップとを含む方法。
  2. 前記ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するステップは、
    前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記属性におけるターゲット状態を選別し、前記ターゲット状態に対して加重処理を行い、前記属性の特徴を出力するステップと、
    前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力するステップと、
    特徴セットをディープ&クロスニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得するステップと、
    前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより、前記検出データと前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するステップとを含む請求項1に記載の方法。
  3. 前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するステップは、
    前記第1の法則特徴と第2の法則特徴とをスプライシングして、第3の法則特徴を取得するステップと、
    前記第3の法則特徴に対して加重処理を行って、第4の法則特徴を取得し、前記第4の法則特徴は、前記検出特徴のグローバル変化法則を表すために用いられるステップと、
    前記第3の法則特徴、及び前記第4の法則特徴に基づいて、前記グローバル特徴を確定するステップとを含む請求項1に記載の方法。
  4. 前記第3の法則特徴に対して加重処理を行って、第4の法則特徴を取得するステップは、
    第1のアテンションメカニズム、及び前記第3の法則特徴に基づいて、重み値学習を行って、少なくとも1つの第1の重み値を取得ステップであって、1つの前記第1の重み値は、1つの検出データと前記1つの検出データに対応する属性の重要度を表すために用いられるステップと、
    前記少なくとも1つの第1の重み値に対して正規化処理を行って、少なくとも1つの第2の重み値を取得するステップと、
    前記少なくとも1つの第2の重み値に基づいて、前記第3の法則特徴に対して加重処理を行って、前記第4の法則特徴を取得するステップとを含む請求項3に記載の方法。
  5. 前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するステップは、
    前記ターゲットオブジェクトの少なくとも1つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するステップと、
    前記ターゲットローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するステップとを含む請求項1に記載の方法。
  6. 前記ターゲットオブジェクトの少なくとも1つのローカル特徴に対して加重処理を行って、ターゲットローカル特徴を取得するステップは、
    第2のアテンションメカニズム、及び前記少なくとも1つのローカル特徴に基づいて、重み値学習を行って、少なくとも1つの第3の重み値を取得するステップと、1つの第3の重み値は、1つのローカル特徴の重要度を表すために用いられるステップと、
    前記少なくとも1つの第3の重み値に基づいて、前記少なくとも1つのローカル特徴に対して加重処理を行って、前記ターゲットローカル特徴を取得するステップとを含む請求項5に記載の方法。
  7. 前記第2のニューラルネットワークの各層は1つの前記ローカル特徴を出力する請求項1に記載の方法。
  8. 前記グローバル特徴を前記第2のニューラルネットワークに入力した後に、前記第2のニューラルネットワークのグローバル損失及びローカル損失が事前設定された条件を満たすと、前記第2のニューラルネットワークが現在予測される属性を出力することをさらに含み、前記ローカル損失は、前記第2のニューラルネットワークの各層における所望の出力データと実際の出力データとの差であり、前記グローバル損失は、前記第2のニューラルネットワークの所望の最終出力データと実際の最終データとの差である請求項1に記載の方法。
  9. 前記第2のニューラルネットワークにおける第1のターゲット層の階層的特徴、及び第2のターゲット層によって生成されたローカル特徴に基づいて、前記第1のターゲット層よって出力されたローカル特徴を生成するステップをさらに含み、第1のターゲット層の前記階層的特徴は、前記グローバル特徴の第1のターゲット層での状態を表すために用いられ、前記第2のターゲット層は前記第2のニューラルネットワークにおける前記第1のターゲット層の上位層である請求項1に記載の方法。
  10. 前記第1のターゲット層の階層的特徴は、前記グローバル特徴、及び前記第2のターゲット層の階層的特徴によって決定される請求項9に記載の方法。
  11. 機械学習に基づくターゲットオブジェクト属性予測装置であって、
    ターゲットオブジェクトの検出データ、及び前記検出データに対応する属性に応じて、前記ターゲットオブジェクトの検出特徴を確定するための取得モジュールと、
    前記検出特徴を第1のニューラルネットワークに入力し、前記検出特徴のうち各時系列での検出特徴について、前記第1のニューラルネットワークが異なる二つの時系列で計算した後に、前記検出特徴の過去の変化法則を表す第1の法則特徴、及び前記第1の法則特徴と異なる前記検出特徴の将来の変化法則を表す第2の法則特徴を出力するための計算モジュールと、
    前記グローバル特徴を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークが前記グローバル特徴から前記ターゲットオブジェクトの少なくとも1つのローカル特徴を抽出して出力するための抽出モジュールと、
    前記ターゲットオブジェクトの少なくとも1つのローカル特徴に基づいて、前記ターゲットオブジェクトの属性を予測するための予測モジュールとを、含み、
    前記取得モジュールは、さらに、前記第1の法則特徴、及び第2の法則特徴に基づいて、前記ターゲットオブジェクトのグローバル特徴を確定するために用いられる装置。
  12. 前記取得モジュールは、
    前記検出データに対応する属性を全結合ニューラルネットワークに入力し、前記全結合ニューラルネットワークにより前記検出データに対応する属性の不要な要素を削除し、前記検出データに対応する属性の特徴を取得し、
    前記検出データを時系列分析ツールに入力し、時系列分析ツールにより前記検出データにおいて各タイプのデータの各時系列での特徴を抽出し、特徴セットを出力し、
    特徴セットをディープ&クロスニューラルネットワークに入力し、ディープ&クロスニューラルネットワークにより前記特徴セット内の各時系列特徴に対してクロス処理を行って、前記検出データの特徴を取得し、
    前記属性の特徴、及び前記検出データの特徴をディープニューラルネットワークに入力し、前記ディープニューラルネットワークにより前記検出データとび前記検出データに対応する属性の混合特徴を抽出し、前記検出特徴を出力するために用いられる請求項11に記載の装置。
  13. 前記取得モジュールは、
    前記第1の法則特徴と第2の法則特徴とをスプライシングして、第3の法則特徴を取得し、
    前記第3の法則特徴に対して加重処理を行って、前記検出特徴のグローバル変化法則を表すための第4の法則特徴を取得し、
    前記第3の法則特徴、及び前記第4の法則特徴に基づいて、前記グローバル特徴を確定するために用いられる請求項11に記載の装置。
  14. コンピュータ機器であって、1つ又は複数のプロセッサ、及び1つ又は複数のメモリを含み、前記1つ又は複数のメモリには少なくとも一つの命令が記憶されており、前記命令が前記1つ又は複数のプロセッサにロードされて実行されることで、請求項1~請求項10のいずれか一項に記載の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現することを特徴とするコンピュータ機器。
  15. コンピュータ読み取り可能な記憶媒体であって、前記記憶媒体には少なくとも一つの命令が記憶されており、前記命令が前記プロセッサにロードされて実行されることで、請求項1~請求項10のいずれか一項に記載の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
  16. 命令を含むコンピュータプログラムであって、コンピュータ上で実行される場合に、請求項1~請求項10のいずれか一項に記載の機械学習に基づくターゲットオブジェクト属性予測方法で実行される操作を前記コンピュータに実行させるコンピュータプログラム。
JP2021562367A 2019-05-09 2020-04-22 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム Active JP7191443B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910386448.4 2019-05-09
CN201910386448.4A CN110111885B (zh) 2019-05-09 2019-05-09 属性预测方法、装置、计算机设备及计算机可读存储介质
PCT/CN2020/086007 WO2020224433A1 (zh) 2019-05-09 2020-04-22 基于机器学习的目标对象属性预测方法及相关设备

Publications (2)

Publication Number Publication Date
JP2022530868A true JP2022530868A (ja) 2022-07-04
JP7191443B2 JP7191443B2 (ja) 2022-12-19

Family

ID=67489143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562367A Active JP7191443B2 (ja) 2019-05-09 2020-04-22 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US20210406687A1 (ja)
EP (1) EP3968337A4 (ja)
JP (1) JP7191443B2 (ja)
KR (1) KR20210113336A (ja)
CN (1) CN110111885B (ja)
WO (1) WO2020224433A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111885B (zh) * 2019-05-09 2023-09-19 腾讯科技(深圳)有限公司 属性预测方法、装置、计算机设备及计算机可读存储介质
CN112133441B (zh) * 2020-08-21 2024-05-03 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN114925806A (zh) * 2022-03-30 2022-08-19 北京达佳互联信息技术有限公司 信息处理方法、信息处理模型训练方法及装置
CN115994632A (zh) * 2023-03-24 2023-04-21 北京搜狐新动力信息技术有限公司 一种点击率预测方法、装置、设备及可读存储介质
CN116072298B (zh) * 2023-04-06 2023-08-15 之江实验室 一种基于层级标记分布学习的疾病预测系统
CN116824281B (zh) * 2023-08-30 2023-11-14 浙江大学 一种隐私保护的图像分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276681A (ja) * 1993-03-23 1994-09-30 Hokuriku Electric Power Co Inc:The 電力需要量予測装置
JPH10143490A (ja) * 1996-11-07 1998-05-29 Fujitsu Ltd 需要予測方法、需要予測システム及び記録媒体
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技(深圳)有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6171256B1 (en) * 1998-04-30 2001-01-09 Physio-Control Manufacturing Corporation Method and apparatus for detecting a condition associated with acute cardiac ischemia
US7634360B2 (en) * 2003-09-23 2009-12-15 Prediction Sciences, LL Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof
US20080010024A1 (en) * 2003-09-23 2008-01-10 Prediction Sciences Llp Cellular fibronectin as a diagnostic marker in cardiovascular disease and methods of use thereof
WO2014055718A1 (en) * 2012-10-04 2014-04-10 Aptima, Inc. Clinical support systems and methods
JP6276681B2 (ja) 2014-11-14 2018-02-07 アオイ電子株式会社 試料固定装置および試料分析装置
US10699151B2 (en) * 2016-06-03 2020-06-30 Miovision Technologies Incorporated System and method for performing saliency detection using deep active contours
CN106777874A (zh) * 2016-11-18 2017-05-31 中国科学院自动化研究所 基于循环神经网络构建预测模型的方法
CN106778014B (zh) * 2016-12-29 2020-06-16 浙江大学 一种基于循环神经网络的患病风险预测建模方法
CN108648829A (zh) * 2018-04-11 2018-10-12 平安科技(深圳)有限公司 疾病预测方法及装置、计算机装置及可读存储介质
US11101029B2 (en) * 2018-07-17 2021-08-24 Petuum Inc. Systems and methods for predicting medications to prescribe to a patient based on machine learning
CN109599177B (zh) * 2018-11-27 2023-04-11 华侨大学 一种基于病历的深度学习预测医疗轨迹的方法
CN109698017B (zh) * 2018-12-12 2020-11-27 中电健康云科技有限公司 医疗病历数据生成方法及装置
CN110111885B (zh) * 2019-05-09 2023-09-19 腾讯科技(深圳)有限公司 属性预测方法、装置、计算机设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276681A (ja) * 1993-03-23 1994-09-30 Hokuriku Electric Power Co Inc:The 電力需要量予測装置
JPH10143490A (ja) * 1996-11-07 1998-05-29 Fujitsu Ltd 需要予測方法、需要予測システム及び記録媒体
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技(深圳)有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置

Also Published As

Publication number Publication date
EP3968337A1 (en) 2022-03-16
CN110111885B (zh) 2023-09-19
WO2020224433A1 (zh) 2020-11-12
EP3968337A4 (en) 2022-06-29
CN110111885A (zh) 2019-08-09
JP7191443B2 (ja) 2022-12-19
KR20210113336A (ko) 2021-09-15
US20210406687A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP2022530868A (ja) 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム
CN112364880B (zh) 基于图神经网络的组学数据处理方法、装置、设备及介质
Sharma et al. Application of fuzzy logic and genetic algorithm in heart disease risk level prediction
CN112100406B (zh) 数据处理方法、装置、设备以及介质
CN110598786B (zh) 神经网络的训练方法、语义分类方法、语义分类装置
Xu et al. Bipolar fuzzy Petri nets for knowledge representation and acquisition considering non-cooperative behaviors
CN110245310B (zh) 一种对象的行为分析方法、装置及存储介质
CN110889450A (zh) 超参数调优、模型构建方法和装置
CN113362931B (zh) 基于知识图谱的归因分析方法、装置和系统
CN113987155B (zh) 一种融合知识图谱与大规模用户日志的会话式检索方法
KR20220111215A (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
CN113673244A (zh) 医疗文本处理方法、装置、计算机设备和存储介质
CN117688974B (zh) 基于知识图谱的生成式大模型建模方法、系统及设备
CN113707323A (zh) 基于机器学习的疾病预测方法、装置、设备及介质
CN116994695A (zh) 报告生成模型的训练方法、装置、设备及存储介质
CN112394982B (zh) 生成语音识别系统的方法、装置、介质及电子设备
CN113239184A (zh) 知识库获取方法、装置、计算机设备及存储介质
CN117876090A (zh) 风险识别方法、电子设备、存储介质及程序产品
CN116612843B (zh) 一种心理测评掩饰性行为识别方法及系统
CN112070205A (zh) 一种多损失模型获取方法以及装置
KR102545670B1 (ko) 조건부 순환 생성적 적대 신경망을 활용한 질병의 진행 과정 이미지 생성 방법 및 그 장치
CN113762648B (zh) 公卫黑天鹅事件预测方法、装置、设备及介质
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
KR20190082453A (ko) 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램
CN113821610A (zh) 信息匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7191443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150