JP2022068146A - データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム - Google Patents

データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム Download PDF

Info

Publication number
JP2022068146A
JP2022068146A JP2022004875A JP2022004875A JP2022068146A JP 2022068146 A JP2022068146 A JP 2022068146A JP 2022004875 A JP2022004875 A JP 2022004875A JP 2022004875 A JP2022004875 A JP 2022004875A JP 2022068146 A JP2022068146 A JP 2022068146A
Authority
JP
Japan
Prior art keywords
annotation
algorithm
data
target
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022004875A
Other languages
English (en)
Inventor
ウェイペイ ジャン,
Weipei Zhang
ジーユェン ホン,
Zhiyuan Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022068146A publication Critical patent/JP2022068146A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/72Code refactoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/73Program documentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/10Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105Shells for specifying net layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】データを注釈する方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。【解決手段】方法は、注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするためのアンカーを抽出するステップと、注釈対象データに対応する注釈要求を取得し、当該注釈要求に対応するターゲットアンカーを確定するステップと、注釈要求に基づいて当該ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するステップと、当該ターゲット注釈アルゴリズムを用いて当該注釈対象データを処理し、注釈結果を取得するステップと、を含む。【選択図】図2

Description

本出願は、データ処理技術分野に関し、具体的にデータ注釈(data annotation)、ディープラーニングなどの人工知能技術分野に関し、特にデータ注釈方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。
人工知能産業は現代社会でますます重要視されているが、この産業では、サンプルデータのデータ注釈作業は依然として労働集約型産業であり、いまだに手作業に頼っており、長期的にわたって粗放な状態のままである。
従来技術では、データ注釈に関連する認識アルゴリズムを用いてユーザの前処理、事前注釈を行うことが多い。これにより、ユーザは前処理、事前注釈の結果に基づいて注釈を行い、人工データ注釈の効率を向上させることができる。
本出願の実施形態は、データ注釈方法、装置、電子機器、コンピュータ可読記憶媒体、およびコンピュータプログラムを提案する。
第1態様において、本出願の実施形態は、注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、オリジナル注釈アルゴリズムにおけるアンカーを抽出するステップであって、アンカーは、オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる、ステップと、注釈対象データに対応する注釈要求を取得し、注釈要求に対応するターゲットアンカーを確定するステップと、注釈要求に基づいてターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するステップと、ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、注釈結果を取得するステップと、を含むデータ注釈方法を提供する。
第2態様において、本出願の実施形態は、注釈対象データに対応するオリジナル注釈アルゴリズムを取得するように構成されるオリジナル注釈アルゴリズム抽出サブユニットと、オリジナル注釈アルゴリズムにおけるアンカーを抽出するように構成されるアンカー抽出サブユニットであって、アンカーは、オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる、アンカー抽出サブユニットと、を含むオリジナル注釈アルゴリズム・アンカー抽出ユニットと、注釈対象データに対応する注釈要求を取得し、注釈要求に対応するターゲットアンカーを確定するように構成されるターゲットアンカー確定ユニットと、注釈要求に基づいてターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するように構成される注釈アルゴリズム生成ユニットと、ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、注釈結果を取得するように構成される注釈結果生成ユニットと、を含むデータ注釈装置を提供する。
第3態様において、本出願の実施形態は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信可能に接続されたメモリと、を含む電子機器であって、メモリに少なくとも1つのプロセッサによって実行可能な指令が記憶され、指令が少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサが第1態様のいずれか一つの実施形態に記載のデータ注釈方法を実施する、電子機器を提供する。
第4態様において、本出願の実施形態は、コンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第1態様のいずれか一つの実施形態に記載のデータ注釈方法を実施させるためのものである、非一時的コンピュータ可読記憶媒体を提供する。
第5態様において、本出願の実施形態は、プロセッサによって実行されると、第1態様のいずれか一つの実施形態に記載のデータ注釈方法を実施するコンピュータプログラムを提供する。
本出願の実施形態に係るデータ注釈方法、装置、電子機器、コンピュータ可読記憶媒体、およびコンピュータプログラム製品は、まず、注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、オリジナル注釈アルゴリズムのコードセグメントにおける予め設定された機能に対応するコードの修正可能な部分をマークするための、オリジナル注釈アルゴリズムにおけるアンカーを抽出する。そして、注釈対象データに対応する注釈要求を取得し、注釈要求に対応するターゲットアンカーを確定する。さらに、注釈要求に基づいてターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成する。最後に、ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、注釈結果を取得する。
本出願は、オリジナルのアルゴリズムの機能、コードの解析を予め行い、オリジナルのアルゴリズムの各部分の機能および機能に対応するコードの修正可能な部分を確定し、各修正可能な部分に対して対応するアンカーを追加することができる。また、注釈対象データを取得した後、注釈対象データに基づいて対応するオリジナル注釈アルゴリズムを確定するとともに、注釈対象データの注釈要求に基づいて対応するターゲットアンカーを確定することができる。さらに、当該注釈要求の実現パラメータに基づいてターゲットアンカーに対応する内容を修正して当該注釈要求に適合可能なターゲット注釈アルゴリズムを取得することができる。これにより、異なる注釈対象データ、適用シーンに対するオリジナル注釈アルゴリズムの汎用性、および異なる注釈対象データに対するアルゴリズムの構成効率を向上させることができる。
上記説明は、本出願の実施形態の肝心または重要な特徴を認識させることが意図されているわけではなく、本出願の範囲を限定するためにも使用されないことを理解されたい。本出願の他の特徴は、以下の説明によって理解しやすくなる。
以下の図面を参照して作成された非限定的な実施形態の詳細な説明を読むことによって、本出願の他の特徴、目的、および利点は、より明らかになる。
本出願が適用可能な例示的なシステムアーキテクチャである。 本出願の実施形態に係るデータ注釈方法のフローチャートである。 本出願の実施形態に係る別のデータ注釈方法のフローチャートである。 本出願の実施形態に係る1つの適用シーンにおけるデータ注釈方法の効果を示す概略図である。 本出願の実施形態に係るデータ注釈装置の構成ブロック図である。 本出願の実施形態に係るデータ注釈方法の実行に適する電子機器の構成概略図である。
以下、図面に関連して、本出願の例示的な実施形態を説明する。理解を助けるために、本出願の実施形態の様々な詳細を含むが、それらは例示的なものにすぎないとみなされるべきである。したがって、当業者であれば、本出願に記載された実施形態は、本出願の範囲および趣旨から逸脱することなく、様々な変更および修正を行うことができることを認識すべきである。同様に、以下の説明では、明確化かつ簡略化のために、公知の機能および構造の説明を省略する。なお、矛盾を生じない限り、本出願における実施形態および実施形態における特徴は、互いに組み合わせられてもよい。
また、本出願に係る技術的解決手段では、係るユーザ個人情報の取得(例えば、注釈対象データがユーザの顔情報を含む顔画像である場合)、記憶、応用などは、関連する法律法規の規定に適合しており、公序良俗に反しない。
図1は、本出願に係るデータ注釈方法、装置、電子機器、およびコンピュータ可読記憶媒体の一実施形態を適用することができる例示的なシステムアーキテクチャ100を示す。
図1に示すように、システムアーキテクチャ100は、端末装置101、102、103、ネットワーク104、およびサーバ105を含んでもよい。ネットワーク104は、端末装置101、102、103とサーバ105との間に通信リンクを提供するための媒体である。ネットワーク104は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含んでもよい。
ユーザは、メッセージなどを受信または送信するために、端末装置101、102、103を使用して、ネットワーク104を介してサーバ105とインタラクションすることができる。端末装置101、102、103、およびサーバ105には、データ注釈アプリケーション、モデルトレーニングアプリケーション、インスタント通信アプリケーションなど、両者の間の情報通信を実現するための様々なアプリケーションが実装されていてもよい。
端末装置101、102、103、およびサーバ105は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置101、102、103がハードウェアである場合、スマートフォン、タブレット、ラップトップ、デスクトップコンピュータなどを含むが、これらに限定されない、ディスプレイを有する様々な電子機器であってもよい。端末装置101、102、103がソフトウェアである場合、上記の電子機器にインストールすることが可能であり、複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは、具体的には限定しない。サーバ105がハードウェアである場合、複数のサーバからなる分散サーバクラスタとして実装されてもよく、単一のサーバとして実装されてもよい。サーバがソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは、具体的に限定しない。
サーバ105は内蔵された様々なアプリケーションによって様々なサービスを提供することができる。ユーザからアップロードされた注釈対象データを注釈することができるデータ注釈アプリケーションを例にすると、サーバ105は当該データ注釈アプリケーションを実行する場合、次のようなことが可能となる。まず、ネットワーク104を介して端末装置101、102、103から注釈対象データを受信し、当該注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、当該オリジナル注釈アルゴリズムにおけるアンカーを抽出する。当該アンカーは、当該オリジナル注釈アルゴリズムのコードセグメントにおける予め設定された機能に対応するコードの修正可能な部分をマークするためのものである。そして、サーバ105は当該注釈対象データに対応する注釈要求を取得し、当該注釈要求に対応するターゲットアンカーを確定する。さらに、サーバ105は当該注釈要求に基づいて当該ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成する。最後に、サーバ105は当該ターゲット注釈アルゴリズムを用いて当該注釈対象データを処理し、注釈結果を取得する。
なお、注釈対象データは端末装置101、102、103からネットワーク104を介して取得することができるほか、様々な方法で予めサーバ105のローカルに記憶されていてもよい。したがって、サーバ105はこれらのデータがローカルに記憶されていることを検出した場合(例えば、前に残ったデータ注釈の処理すべきタスクを処理し始める場合)は、これらのデータをローカルから直接取得することを選択することができる。この場合、例示的なシステムアーキテクチャ100は、端末装置101、102、103、およびネットワーク104を含まなくてもよい。
データ注釈プロセスは、多くの演算リソースおよび強い演算能力を占有する必要があるため、本出願の以下の各実施形態に係るデータ注釈方法は、一般に、強い演算能力、多くの演算リソースを有するサーバ105によって実行される。それに応じて、データ注釈装置も、一般に、サーバ105に配置される。しかし同時に、端末装置101、102、103も要求を満たす演算能力および演算リソースを有する場合には、端末装置101、102、103はそれらに実装されたデータ注釈アプリケーションにより、上記のサーバ105による各演算を完了し、サーバ105と同様の結果を出力してもよいことに留意されたい。特に、異なる演算能力を有する端末装置が複数同時に存在するが、データ注釈アプリケーションは、所在の端末装置がより強い演算能力とより多くの演算リソースを有すると判断した場合には、端末装置に上記の演算を実行させるようにしてもよい。これにより、サーバ105の演算負荷を適宜に軽減することができる。したがって、データ注釈装置を端末装置101、102、103に設けてもよい。この場合、例示的なシステムアーキテクチャ100は、サーバ105およびネットワーク104を含まなくてもよい。
図1の端末装置、ネットワーク、およびサーバの数は、例示的なものにすぎないことを理解すべきである。実装の必要に応じて、任意の数の端末装置、ネットワーク、およびサーバを有してもよい。
図2を参照すると、図2は、本出願の実施形態に係るデータ注釈方法のフローチャートである。フローチャート200は、以下のステップを含む。
ステップ201では、注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、オリジナル注釈アルゴリズムにおけるアンカーを抽出する。
本実施形態では、データ注釈方法の実行主体(例えば、図1に示すサーバ105)は、注釈対象データを確定した後、当該注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、当該オリジナル注釈アルゴリズムにおけるアンカーを確定するが、アンカーは、当該オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる。
一般に、オリジナル注釈アルゴリズムは、注釈対象データのタイプおよび注釈目的に関連している。例えば、注釈対象データが画像データである場合には、注釈目的は画像データにおける特定の内容を注釈、分割(例えば、顔、車両など)することであってもよい。この場合、オリジナル注釈アルゴリズムは意味分割ニューラルネットワークであってもよい。注釈対象データがオーディオ情報である場合には、注釈目的はオーディオ情報の特徴ベクトルを生成することであってもよい。これにより、後の音声情報の分類処理が便利になる。この場合、オリジナル注釈アルゴリズムは、畳み込みニューラルネットワークに基づいて音声情報のラベルベクトルを生成し、音声情報の注釈を完了するための、畳み込みニューラルネットワークであってもよい。
なお、注釈対象データは、上記の実行主体がローカル記憶装置から直接取得してもよいし、ローカル以外の記憶装置(例えば、図1に示す端末装置101、102、103)から取得してもよい。ローカル記憶装置は、上記の実行主体に設けられたデータ記憶モジュール、例えば、サーバハードディスクであってもよい。この場合、注釈対象データをローカルに迅速に読み出すことができる。ローカル以外の記憶装置は、データを記憶するために設けられた他の任意の電子機器、例えば、いくつかのユーザ端末などであってもよい。この場合、上記の実行主体は、取得コマンドを当該電子機器に送信することにより、必要な注釈対象データを取得することができる。
ここで、データ注釈をより良く実現するために、注釈対象データに対応するオリジナル注釈アルゴリズムは、通常、上記の実行主体のローカルに記憶されている。これにより、上記の実行主体は、注釈データの内容に応じて、オリジナル注釈アルゴリズムを迅速に呼び出して、適合させることができる。
さらに、オリジナル注釈アルゴリズムの解析および得られたアンカーの更新、構成を助けるために、オリジナル注釈アルゴリズムにおけるアンカーは、通常、上記の実行主体によってオリジナル注釈アルゴリズムを取得した後、実行主体のローカルで対応する解析を行い、オリジナル注釈アルゴリズムに存在するアンカーを確定する。実際には、オリジナル注釈アルゴリズムに存在するアンカーに対する解析、マーク作業は、上記の実行主体以外の装置によって実行されてもよい。オリジナル注釈アルゴリズムにおけるアンカーの注釈が完了した後、関連する注釈情報をオリジナル注釈アルゴリズムに対応させて上記の実行主体にフィードバックして、アンカーソースを拡張することができる。
ステップ202では、注釈対象データに対応する注釈要求を取得し、注釈要求に対応するターゲットアンカーを確定する。
本実施形態では、上記のステップ201に基づいて注釈対象データに対応するオリジナル注釈アルゴリズムおよび当該オリジナルのアルゴリズムにおけるアンカーを確定した後、当該注釈対象データに対応する注釈要求に基づいて、オリジナル注釈アルゴリズムにおける、当該注釈要求に対応して機能を実現するターゲットアンカーを確定する。
ここで、注釈要求は、画像における特定オブジェクトの確定、画像の特徴情報の確定、顔画像における五官の位置情報の確定、音声セグメントからの特定情報の抽出などの注釈目的であり得る。
実際には、通常、上記の実行主体はステップ201で確定されたオリジナル注釈アルゴリズムにおけるアンカーを確定し、当該アンカーに対応する機能に基づいてマークした後、注釈対象データの提供者にフィードバックする。これにより、当該提供者は自身の注釈要求に応じて対応する機能タグ、ターゲットアンカーを選択することができる。
ステップ203では、注釈要求に基づいてターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成する。
本実施形態では、ターゲットアンカーがあると確定された後、注釈要求に対応する内容に応じて、当該ターゲットアンカーに対応するコード部分の実現パラメータを調整する。例えば、注釈対象データが画像である場合には、調整すべきパラメータは、認識範囲サイズ、認識内容精度、データ並列量などの内容であり得る。これにより、ターゲットアンカーに対応するコードを注釈対象データの注釈要求に適合させることができる。さらに、当該注釈要求を満たすために利用可能なターゲット注釈アルゴリズムを取得することができる。
ステップ204では、ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、注釈結果を取得する。
本実施形態では、上記のステップ203に基づいて調整後のターゲット注釈アルゴリズムを取得した後、当該ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、注釈要求を満たすデータ注釈動作を完了させ、最終的な注釈結果を取得する。
本出願の実施形態に係るデータ注釈方法は、オリジナルのアルゴリズムの機能およびコードに対する解析を予め行い、オリジナルのアルゴリズムの各部分の機能および機能に対応するコードの修正可能な部分を確定し、各修正可能な部分に対して対応するアンカーを追加することができる。また、注釈対象データを取得した後、注釈対象データに基づいて対応するオリジナル注釈アルゴリズムを確定するとともに、注釈対象データの注釈要求に基づいて対応するターゲットアンカーを確定することができる。さらに、当該注釈要求の実現パラメータに基づいてターゲットアンカーに対応する内容を修正して当該注釈要求に適合可能なターゲット注釈アルゴリズムを取得することができる。これにより、異なる注釈対象データおよび適用シーンに対するオリジナル注釈アルゴリズムの汎用性、および異なる注釈対象データに対するアルゴリズムの構成効率を向上させることができる。
本実施形態のいくつかのオプション的な実施形態では、上記の、当該注釈要求に基づいて当該ターゲットアンカーの実現パラメータを調整するステップは、当該ターゲットアンカーに対応する修正可能なコードを取得し、当該修正可能なコードにおける各部分の機能を提示するための、当該修正可能なコードのプロンプト情報を生成するステップと、当該修正可能なコードおよび当該プロンプト情報を提示するステップと、当該修正可能なコードに対応するパラメータ修正情報を受信し、当該パラメータ修正情報に基づいて当該修正可能なコードを調整するステップと、を含む。
具体的には、注釈要求に対応するターゲットアンカーを取得した後、当該ターゲットアンカーに対応する修正可能なコードを抽出し、当該修正可能なコードのプロンプト情報を生成する。プロンプト情報は当該修正可能なコードにおける各部分の機能を提示するためのものである。例えば、当該プロンプト情報は、当該修正可能なコードが実現可能な対応機能とコードにおける各文字、パラメータに対応する意味、およびコード修正後に生じ得る効果を提示する。そして、当該ターゲットアンカーに対応する修正可能なコードおよびプロンプト情報を提示する。これにより、ユーザは当該修正可能なコードおよび対応するプロンプト情報に基づいて、修正可能なコードに対応するパラメータ修正情報を構成して生成することができる。さらに、上記の実行主体は、修正可能なコードに対応するパラメータ修正情報を受信した後、パラメータ修正情報に基づいて修正可能なコードを調整する。情報を提示することにより、データ注釈機能を実現したいユーザによる機能およびパラメータ構成の調整を支援し、ターゲット注釈アルゴリズムを取得する効率と品質を向上させることができる。
図3を参照すると、図3は、本出願の実施形態に係る別のデータ注釈方法のフローチャートである。フローチャート300は、以下のステップを含む。
ステップ301では、注釈対象データが属するタイプ情報を解析する。
本実施形態では、注釈対象データを取得した後、当該注釈対象データに対応するタイプ情報を取得するために、当該注釈対象データのタイプを解析する。当該タイプ情報は、画像タイプデータ、オーディオタイプデータ、およびテキストタイプデータのうちの少なくとも1つを含む。
ステップ302では、タイプ情報に基づいて、予め設定されたアルゴリズムデータベースからオリジナル注釈アルゴリズムを抽出し、オリジナル注釈アルゴリズムにおけるアンカーを抽出する。
本実施形態では、上記のステップ301で確定された注釈対象データのタイプ情報を取得し、当該タイプ情報に基づいて予めアルゴリズムデータベースから当該タイプ情報に対応するアルゴリズムを抽出する。アルゴリズムデータベースには、予めデータのタイプおよび注釈要求に応じて、対応する注釈アルゴリズムを設定しておいてもよい。これにより、後に注釈対象データのタイプ、注釈要求などの内容を取得した場合に、アルゴリズムのマッチングを高速に行うことができる。
さらに、アルゴリズムデータベースにおける注釈アルゴリズムは、上記の実行主体の運営側によってカスタマイズされてもよいし、履歴データにおける異なる注釈データ、注釈要求に対応するターゲット注釈アルゴリズムに基づいてマッチング・記憶を行ってもよい。これにより、後に同一の、または類似度が閾値条件を超えた注釈データ、注釈要求を受信した場合に、近似的なターゲット注釈アルゴリズムを確定し、効率を向上させることができる。また、他のユーザからアップロードする形で、アルゴリズムデータベースにおける注釈アルゴリズムを補完、更新することにより、アルゴリズムデータベースに記憶されている注釈アルゴリズムの数量を豊富にし、その品質を高め、アルゴリズムデータベースの使用価値を向上させることができる。
その上、アルゴリズムデータベースを構築する際には、注釈アルゴリズムが使用されるシーン、注釈対象データのタイプ、処理能力、並列量、実現可能な注釈機能などの内容に基づいて、アルゴリズムデータベースにおける注釈アルゴリズムに、対応する注釈情報を付加することも可能である。これにより、ユーザの指示を通じて、またはユーザからアップロードされた注釈対象データパラメータ、注釈要求の内容に基づいて、関連するマッチングに対応するオリジナル注釈アルゴリズムを自主的に選択することができるため、ユーザ体験を向上させることができる。
ステップ303では、当該注釈対象データに対応する注釈要求を取得し、当該注釈要求に対応するターゲットアンカーを確定する。
ステップ304では、当該注釈要求に基づいて当該ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成する。
ステップ305では、当該ターゲット注釈アルゴリズムを用いて当該注釈対象データを処理し、注釈結果を取得する。
上記のステップ303~305は図2に示すステップ202~204と一致し、同じ部分の内容は、前の実施形態の対応する部分を参照されたい。ここではこれ以上説明しない。
本実施形態では、上記の図2に対応する実施形態に基づいて、さらに、アルゴリズムデータベースを構築する形で複数の注釈アルゴリズムを記憶した後、注釈対象データのタイプ情報に基づいて、対応する初期注釈アルゴリズムを確定する。これにより、データ注釈方法が複数のタイプの注釈対象データ、多面的な注釈要求に対応する場合の注釈処理能力を向上させることができる。
本実施形態のいくつかのオプション的な実施形態では、上記の、当該タイプ情報に基づいて、予め設定されたアルゴリズムデータベースからオリジナル注釈アルゴリズムを抽出するステップは、当該タイプ情報に対応する推奨アルゴリズムを提示するステップと、当該推奨アルゴリズムに対する選択情報を受信したことに応答して、当該選択情報によって確定された推奨アルゴリズムを当該オリジナル注釈アルゴリズムとして確定するステップと、を含む。
具体的には、注釈対象データのタイプ情報を取得した後、予め設定されたアルゴリズムデータベースから当該タイプ情報に対応するオリジナル注釈アルゴリズムを抽出する際に、当該アルゴリズムデータベースから当該注釈対象データのタイプ情報に対応する一つまたは複数の推奨アルゴリズムを同時に抽出することができる。これにより、ユーザは自身の実際のニーズに応じて適当なオリジナル注釈アルゴリズムを選択することができる。推奨アルゴリズムに対する選択情報を受信した後、当該選択情報に対応する推奨アルゴリズムをオリジナル注釈アルゴリズムとして確定する。これにより、ユーザに対して実際の要求にいっそう適合できるオリジナル注釈アルゴリズムを提供し、取得されたオリジナル注釈アルゴリズムの品質を向上させることができる。
上記のいずれかの実施形態に基づいて、当該ターゲット注釈アルゴリズムを生成するステップの後に、当該注釈対象データに対する前処理の指示を取得したことに応答して、当該注釈対象データに対して、当該前処理の指示に従って、重複排除、偏差補正および色度調整のうちの少なくとも1つを含む対応する前処理動作を行うステップをさらに含む。
具体的には、ターゲット注釈アルゴリズムを取得した後、注釈対象データに対する前処理の指示を受信すると、当該前処理の指示に従って、注釈対象データに対して、ターゲット注釈アルゴリズムの適応的な処理を行う。前処理動作は、重複排除、偏差補正および色度調整のうちの少なくとも1つを含む。前処理を通じて注釈対象データに対してターゲット注釈アルゴリズムの適応的な処理を行うことにより、ターゲット注釈アルゴリズムは、注釈対象データをより良く注釈し、良質な注釈結果を取得することができる。
実際には、注釈対象データの前処理方法は注釈対象データのタイプに応じて適当に設定されてもよい。例えば、注釈対象データが画像データである場合、対応する前処理方法は、要素のエンクロウジング(element enclosing)、フレームセグメンテーション(frame segmentation)のうちの少なくとも1つを含んでもよい。
さらに、データ注釈の効率を向上させるために、特に上記の図3に対応する実施形態では、アルゴリズムデータベースに基づいてオリジナル注釈アルゴリズムを取得し、ユーザは同じタイプの注釈対象データに対して同じ注釈要求がある場合には、当該データ注釈方法は、注釈結果を取得した後に、さらに、当該注釈要求に基づいて当該ターゲット注釈アルゴリズムの機能タグを生成するステップと、当該機能タグに基づいて、異なる注釈要求に対応する各ターゲット注釈アルゴリズムと、各ターゲット注釈アルゴリズムにおける当該オリジナル注釈アルゴリズムに関する修正情報との関係が記録されたテーブルを生成するステップと、を含む。
具体的には、注釈対象データに対応する注釈要求の注釈結果を取得した後、今回用いた注釈データと当該注釈データに対応する注釈要求に基づいて、取得したターゲット注釈アルゴリズムの機能タグを生成する。その後、当該ターゲット機能タグに基づいて、注釈要求に対応するターゲット注釈アルゴリズムと、当該ターゲット注釈アルゴリズムにおけるオリジナル注釈アルゴリズムに関する修正情報との関係が記録されたテーブルを生成する。これにより、当該テーブルに基づいて、注釈要求に対応するターゲット注釈アルゴリズムと当該ターゲット注釈アルゴリズムにおけるオリジナル注釈アルゴリズムに対する修正部分を取得して繰り返し構成し、後続の同じ注釈要求に対する呼び出しおよびアルゴリズムデータベースの構築効率を向上させることができる。
さらに、ユーザの使用を助けるために、当該関係テーブルには、注釈対象データの内容、注釈対象データのタイプが含まれてもよい。これにより、より多くの参照情報を提供することができる。後に当該関係テーブルの内容に基づいてターゲット注釈アルゴリズムを取得、構成することに役立つ。
理解を深めるために、本出願はまた、1つの具体的な適用シーンに関連して、具体的な実施形態を提供する。当該適用シーンでは、データ注釈方法の実行主体がユーザからアップロードされた画像形式の注釈対象データを受信した後、対応する処理を行い、注釈結果を取得するプロセスは、以下の通りである。
ユーザからアップロードされた注釈対象データを受信すると、当該注釈データのタイプを解析する。例えば、本適用シーンでは、当該注釈対象データのタイプ情報を「ピクチャ」として確定する。
当該注釈データに対応する意味分割ニューラルネットワークをオリジナル注釈アルゴリズムとして取得し、当該オリジナル注釈アルゴリズムにおけるアンカーを抽出する。
当該注釈対象データに対応する「画像において顔画像をマークする」という注釈要求を取得し、当該注釈要求に対応するターゲットアンカーを確定する。
当該ターゲットアンカーに対応する修正可能なコードを取得して提示する。当該修正可能なコードを提示する効果は、図4を参照することができる。ここで、アルゴリズム構成情報ボックス内にはターゲットアンカーに対応する修正可能なコードの内容が提示されている。
ユーザは直接、図4に示すインタフェースを介してアルゴリズム構成部分の内容を修正して、修正可能なコードの構成を完了する。本出願の実行主体は、対応する修正内容(パラメータ修正情報)を受信した後、修正可能なコードを調整し、さらに同様にターゲット注釈アルゴリズムの並列量、認識時間を調整することができる。これにより、最終的なターゲット注釈アルゴリズムを生成することができる。
ターゲット注釈アルゴリズムを取得した後、当該ターゲット注釈アルゴリズムを用いて注釈対象データを処理し、最終的な注釈結果を取得する。
さらに図5を参照すると、本出願は、上記の各図に示す方法の実施形態として、様々な電子機器に具体的に適用可能な図2に示す方法の実施形態に対応するデータ注釈装置の一実施形態を提供する。
図5に示すように、本実施形態に係るデータ注釈装置500は、注釈対象データに対応するオリジナル注釈アルゴリズムを取得するように構成されるオリジナル注釈アルゴリズム抽出サブユニットと、当該オリジナル注釈アルゴリズムにおけるアンカーを抽出するように構成されるアンカー抽出サブユニットであって、アンカーは、当該オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる、アンカー抽出サブユニットと、を含むオリジナル注釈アルゴリズム・アンカー抽出ユニット501と、当該注釈対象データに対応する注釈要求を取得し、当該注釈要求に対応するターゲットアンカーを確定するように構成されるターゲットアンカー確定ユニット502と、当該注釈要求に基づいて当該ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するように構成される注釈アルゴリズム生成ユニット503と、当該ターゲット注釈アルゴリズムを用いて当該注釈対象データを処理し、注釈結果を取得するように構成される注釈結果生成ユニット504と、を含んでもよい。
本実施形態では、データ注釈装置500におけるオリジナル注釈アルゴリズム・アンカー抽出ユニット501、ターゲットアンカー確定ユニット502、注釈アルゴリズム生成ユニット503、および注釈結果生成ユニット504の具体的な処理およびそれによる技術的効果は、それぞれ図2に対応する実施形態におけるステップ201~204に関する説明を参照することができる。ここではこれ以上説明しない。
本実施形態のいくつかのオプション的な実施形態では、当該オリジナル注釈アルゴリズム抽出サブユニットは、当該注釈対象データが属するタイプ情報を解析するように構成されるタイプ解析モジュールであって、タイプ情報は、画像タイプデータ、オーディオタイプデータおよびテキストタイプデータのうちの少なくとも1つを含む、タイプ解析モジュールと、当該タイプ情報に基づいて、予め設定されたアルゴリズムデータベースから当該オリジナル注釈アルゴリズムを抽出するように構成されるオリジナル注釈アルゴリズム抽出モジュールと、を含む。
本実施形態のいくつかのオプション的な実施形態では、当該オリジナル注釈アルゴリズム抽出モジュールは、当該タイプ情報に対応する推奨アルゴリズムを提示するように構成される推奨アルゴリズム提示サブモジュールと、当該推奨アルゴリズムに対する選択情報を受信したことに応答して、当該選択情報に基づいて確定された推奨アルゴリズムを当該オリジナル注釈アルゴリズムとして確定するように構成されるオリジナル注釈アルゴリズム確定サブモジュールと、を含む。
本実施形態のいくつかのオプション的な実施形態では、当該注釈アルゴリズム生成ユニット503は、当該ターゲットアンカーに対応する修正可能なコードを取得し、当該修正可能なコードにおける各部分の機能を提示するための、当該修正可能なコードのプロンプト情報を生成するように構成されるプロンプト情報生成サブユニットと、当該修正可能なコードおよび当該プロンプト情報を提示するように構成される修正可能内容提示サブユニットと、当該修正可能なコードに対応するパラメータ修正情報を受信し、当該パラメータ修正情報に基づいて当該修正可能なコードを調整するように構成されるコード調整サブユニットと、を含み、当該注釈アルゴリズム生成ユニットは、当該オリジナル注釈アルゴリズムにおける修正可能なコードを調整した結果に基づいて、当該ターゲット注釈アルゴリズムを生成するようにさらに構成されている。
本実施形態のいくつかのオプション的な実施形態では、当該データ注釈装置は、当該注釈対象データに対する前処理の指示を取得したことに応答して、当該注釈対象データに対して、当該前処理の指示に従って、重複排除、偏差補正および色度調整のうちの少なくとも1つを含む対応する前処理動作を行うように構成されるデータ前処理ユニットをさらに含む。
本実施形態のいくつかのオプション的な実施形態では、当該データ注釈装置は、当該注釈要求に基づいて、当該ターゲット注釈アルゴリズムの機能タグを生成するように構成される機能タグ生成ユニットと、当該機能タグに基づいて、異なる注釈要求に対応する各ターゲット注釈アルゴリズムと、各ターゲット注釈アルゴリズムにおける当該オリジナル注釈アルゴリズムに関する修正情報との関係が記録されたテーブルを生成するように構成される関係テーブル生成ユニットと、をさらに含む。
本実施形態は、上記の方法の実施形態に対応する装置の実施形態として存在する。本実施形態に係るデータ注釈装置は、オリジナルのアルゴリズムの機能、コードの解析を予め行い、オリジナルのアルゴリズムの各部分の機能および機能に対応するコードの修正可能な部分を確定し、各修正可能な部分に対して対応するアンカーを追加し、その後、注釈対象データを取得した後、注釈対象データに基づいて対応するオリジナル注釈アルゴリズムを確定するとともに、注釈対象データの注釈要求に基づいて対応するターゲットアンカーを確定することができる。さらに、当該注釈要求の実現パラメータに基づいてターゲットアンカーに対応する内容を修正して当該注釈要求に適合可能なターゲット注釈アルゴリズムを取得することができる。これにより、異なる注釈対象データおよび適用シーンに対するオリジナル注釈アルゴリズムの汎用性、および異なる注釈対象データに対するアルゴリズムの構成効率を向上させることができる。
本出願の実施形態によれば、本出願はさらに、電子機器、読み取り可能な記憶媒体、およびコンピュータプログラムを提供する。
図6は、本出願の実施形態を実施するために使用することができる例示的な電子機器600の概略ブロック図である。電子機器は、ラップトップ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを示すことが意図されている。電子機器はまた、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル装置、および他の同様のコンピューティングデバイスのような様々な形態のモバイルデバイスを示すことができる。本明細書に示すコンポーネント、それらの接続と関係、およびそれらの機能は、あくまでも例示であり、本明細書に記載されたおよび/または要求される本明細書の実装を限定することは意図されていない。
図6に示すように、機器600は、読み出し専用メモリ(ROM)602に記憶されたコンピュータプログラム、または記憶ユニット608からランダムアクセスメモリ(RAM)603にロードされたコンピュータプログラムに基づいて、様々な適切な動作および処理を実行することができる計算ユニット601を含む。RAM603には機器600の動作に必要な各種プログラムおよびデータも記憶することができる。計算ユニット601、ROM602およびRAM603は、バス604を介して互いに接続されている。入出力(I/O)インタフェース605もバス604に接続されている。
機器600における複数のコンポーネントは、I/Oインタフェース605に接続されている。それには、キーボード、マウスなどの入力ユニット606と、各種のディスプレイ、スピーカなどの出力ユニット607と、磁気ディスク、光ディスクなどの記憶ユニット608と、NIC、モデム、無線通信送受信機などの通信ユニット609と、が含まれる。通信ユニット609は、機器600が、インターネットなどのコンピュータネットワークおよび/または様々な電気通信ネットワークを介して他のデバイスと情報/データを交換することを可能にする。
計算ユニット601は、処理および計算能力を有する様々な汎用および/または専用の処理モジュールであってもよい。計算ユニット601のいくつかの例示として、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、様々な専用人工知能(AI)計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ(DSP)、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが挙げられるが、これらに限定されない。計算ユニット601は、上記の様々な方法および処理、例えば、データ注釈方法を実行する。例えば、いくつかの実施形態では、データ注釈方法は、記憶ユニット608のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ROM602および/または通信ユニット609を介して機器600にロードおよび/またはインストールされてもよい。コンピュータプログラムがRAM603にロードされ、計算ユニット601によって実行される場合には、上記のデータ注釈方法の1つまたは複数のステップを実行することができる。あるいは、他の実施形態では、計算ユニット601は、他の任意の適切な方法を通じて(例えば、ファームウェアによって)、データ注釈方法を実行するように構成されてもよい。
本明細書に述べた上記システムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、オンチップシステムのシステム(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実装することができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラム内に実装されることを含んでもよい。当該1つまたは複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および/または解釈することができる。当該プログラマブルプロセッサは、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび指令を受信し、データおよび指令を当該記憶システム、当該少なくとも1つの入力デバイス、および当該少なくとも1つの出力デバイスに送信することができる専用または汎用プログラマブルプロセッサであり得る。
本明細書の方法を実施するためのプログラムコードは、1つまたは複数のプログラミング言語の任意の組み合わせを用いて書くことができる。これらのプログラムコードは、プロセッサまたはコントローラによって実行されるときに、フローチャートおよび/またはブロック図に規定された機能/動作を実施するように、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供することができる。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして機械上で部分的に実行されかつ遠隔機械上で部分的に実行されるか、または完全に遠隔機械もしくはサーバ上で実行されてもよい。
本明細書の文脈では、機械可読媒体は、指令実行システム、機器、もしくはデバイスが使用するため、または指令実行システム、機器、もしくはデバイスと組み合わせて使用するためのプログラムを含むかまたは記憶することができる有形媒体とすることができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体とすることができる。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、機器もしくはデバイス、またはこれらの任意の適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、1つまたは複数のラインに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、携帯用のコンパクトディスク読取り専用メモリ(CD-ROM)、光学記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含む。
ユーザとの相互作用を提供するために、本明細書に記載されたシステムおよび技術は、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、キーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)とを有するコンピュータ上で実施されてもよく、ユーザはキーボードおよびポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類のデバイスはさらに、ユーザとの相互作用を提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンサフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよい。ユーザからの入力は、任意の形態(音響入力、音声入力、または触覚入力を含む)で受信されてもよい。
本明細書に記載されたシステムおよび技術は、バックグラウンドコンポーネントを含む計算システム(例えば、データサーバとして)、またはミドルウェアコンポーネントを含む計算システム(例えば、アプリケーションサーバ)、またはフロントエンドコンポーネントを含む計算システム(例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ。ユーザは当該グラフィカルユーザインターフェースまたは当該ウェブブラウザを介して、本明細書に記載されたシステムおよび技術の実施形態と相互作用することができる)、またはそのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせを含む計算システムにおいて実装されてもよい。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、およびインターネットを含む。
コンピュータシステムは、クライアントおよびサーバを含んでもよい。クライアントおよびサーバは、一般に、互いに離れており、一般に通信ネットワークを介して相互作用する。クライアントとサーバの関係は、対応するコンピュータ上で動作し、互いにクライアント・サーバ関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよい。クラウドサーバは、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのうちの一つのホスト製品である。これにより、従来の物理ホストと仮想専用サーバ(VPS,Virtual Private Server)サービスに存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決することができる。サーバは、分散システムのサーバであってもよいし、ブロックチェーンを結合したサーバであってもよい。
本出願の実施形態の技術的解決手段によれば、オリジナルのアルゴリズムの機能、コードの解析を予め行い、オリジナルのアルゴリズムの各部分の機能および機能に対応するコードの修正可能な部分を確定し、各修正可能な部分に対して対応するアンカーを追加することができる。また、注釈対象データを取得した後、注釈対象データに基づいて対応するオリジナル注釈アルゴリズムを確定するとともに、注釈対象データの注釈要求に基づいて対応するターゲットアンカーを確定することができる。さらに、当該注釈要求の実現パラメータに基づいてターゲットアンカーに対応する内容を修正して当該注釈要求に適合可能なターゲット注釈アルゴリズムを取得することができる。これにより、異なる注釈対象データおよび適用シーンに対するオリジナル注釈アルゴリズムの汎用性、および異なる注釈対象データに対するアルゴリズムの構成効率を向上させることができる。
なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順次実行されてもよいし、異なる順番で実行されてもよい。本明細書はここで制限しない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを当業者は理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (15)

  1. 注釈対象データに対応するオリジナル注釈アルゴリズムを取得し、前記オリジナル注釈アルゴリズムにおけるアンカーを抽出するステップであって、前記アンカーは、前記オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる、ステップと、
    前記注釈対象データに対応する注釈要求を取得し、前記注釈要求に対応するターゲットアンカーを確定するステップと、
    前記注釈要求に基づいて前記ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するステップと、
    前記ターゲット注釈アルゴリズムを用いて前記注釈対象データを処理し、注釈結果を取得するステップと、
    を含むデータ注釈方法。
  2. 前記の、注釈対象データに対応するオリジナル注釈アルゴリズムを取得するステップは、
    前記注釈対象データが属するタイプ情報を解析するステップであって、前記タイプ情報は、画像タイプデータ、オーディオタイプデータおよびテキストタイプデータのうちの少なくとも1つを含む、ステップと、
    前記タイプ情報に基づいて、予め設定されたアルゴリズムデータベースから前記オリジナル注釈アルゴリズムを抽出するステップと、
    を含む請求項1に記載のデータ注釈方法。
  3. 前記の、前記タイプ情報に基づいて、予め設定されたアルゴリズムデータベースから前記オリジナル注釈アルゴリズムを抽出するステップは、
    前記タイプ情報に対応する推奨アルゴリズムを提示するステップと、
    前記推奨アルゴリズムに対する選択情報を受信したことに応答して、前記選択情報に基づいて確定された推奨アルゴリズムを前記オリジナル注釈アルゴリズムとして確定するステップと、
    を含む請求項2に記載のデータ注釈方法。
  4. 前記の、前記注釈要求に基づいて前記ターゲットアンカーの実現パラメータを調整するステップは、
    前記ターゲットアンカーに対応する修正可能なコードを取得し、前記修正可能なコードにおける各部分の機能を提示するための、前記修正可能なコードのプロンプト情報を生成するステップと、
    前記修正可能なコードおよび前記プロンプト情報を提示するステップと、
    前記修正可能なコードに対応するパラメータ修正情報を受信し、前記パラメータ修正情報に基づいて前記修正可能なコードを調整するステップと、
    を含む請求項1に記載のデータ注釈方法。
  5. 前記の、ターゲット注釈アルゴリズムを生成するステップの後に、
    前記注釈対象データに対する前処理の指示を取得したことに応答して、前記注釈対象データに対して、前記前処理の指示に従って、重複排除、偏差補正および色度調整のうちの少なくとも1つを含む対応する前処理動作を行うステップをさらに含む、請求項1に記載のデータ注釈方法。
  6. 前記注釈要求に基づいて、前記ターゲット注釈アルゴリズムの機能タグを生成するステップと、
    前記機能タグに基づいて、異なる注釈要求に対応する各ターゲット注釈アルゴリズムと、各ターゲット注釈アルゴリズムにおける前記オリジナル注釈アルゴリズムに関する修正情報との関係が記録されたテーブルを生成するステップと、
    をさらに含む請求項1~5のいずれか一項に記載のデータ注釈方法。
  7. 注釈対象データに対応するオリジナル注釈アルゴリズムを取得するように構成されるオリジナル注釈アルゴリズム抽出サブユニットと、前記オリジナル注釈アルゴリズムにおけるアンカーを抽出するように構成されるアンカー抽出サブユニットであって、前記アンカーは、前記オリジナル注釈アルゴリズムのコードセグメントにおける、予め設定された機能に対応するコードの修正可能な部分をマークするために用いられる、アンカー抽出サブユニットと、を含むオリジナル注釈アルゴリズム・アンカー抽出ユニットと、
    前記注釈対象データに対応する注釈要求を取得し、前記注釈要求に対応するターゲットアンカーを確定するように構成されるターゲットアンカー確定ユニットと、
    前記注釈要求に基づいて前記ターゲットアンカーの実現パラメータを調整し、ターゲット注釈アルゴリズムを生成するように構成される注釈アルゴリズム生成ユニットと、
    前記ターゲット注釈アルゴリズムを用いて前記注釈対象データを処理し、注釈結果を取得するように構成される注釈結果生成ユニットと、を含むデータ注釈装置。
  8. 前記オリジナル注釈アルゴリズム抽出サブユニットは、
    前記注釈対象データが属するタイプ情報を解析するように構成されるタイプ解析モジュールであって、前記タイプ情報は、画像タイプデータ、オーディオタイプデータおよびテキストタイプデータのうちの少なくとも1つを含む、タイプ解析モジュールと、
    前記タイプ情報に基づいて、予め設定されたアルゴリズムデータベースから前記オリジナル注釈アルゴリズムを抽出するように構成されるオリジナル注釈アルゴリズム抽出モジュールと、
    を含む請求項7に記載のデータ注釈装置。
  9. 前記オリジナル注釈アルゴリズム抽出モジュールは、
    前記タイプ情報に対応する推奨アルゴリズムを提示するように構成される推奨アルゴリズム提示サブモジュールと、
    前記推奨アルゴリズムに対する選択情報を受信したことに応答して、前記選択情報に基づいて確定された推奨アルゴリズムを前記オリジナル注釈アルゴリズムとして確定するように構成されるオリジナル注釈アルゴリズム確定サブモジュールと、
    を含む請求項8に記載のデータ注釈装置。
  10. 前記注釈アルゴリズム生成ユニットは、
    前記ターゲットアンカーに対応する修正可能なコードを取得し、前記修正可能なコードにおける各部分の機能を提示するための、前記修正可能なコードのプロンプト情報を生成するように構成されるプロンプト情報生成サブユニットと、
    前記修正可能なコードおよび前記プロンプト情報を提示するように構成される修正可能内容提示サブユニットと、
    前記修正可能なコードに対応するパラメータ修正情報を受信し、前記パラメータ修正情報に基づいて前記修正可能なコードを調整するように構成されるコード調整サブユニットと、を含み、
    前記注釈アルゴリズム生成ユニットは、前記オリジナル注釈アルゴリズムにおける修正可能なコードを調整した結果に基づいて、前記ターゲット注釈アルゴリズムを生成するようにさらに構成されている、請求項7に記載のデータ注釈装置。
  11. 前記注釈対象データに対する前処理の指示を取得したことに応答して、前記注釈対象データに対して、前記前処理の指示に従って、重複排除、偏差補正および色度調整のうちの少なくとも1つを含む対応する前処理動作を行うように構成されるデータ前処理ユニットをさらに含む請求項7に記載のデータ注釈装置。
  12. 前記注釈要求に基づいて、前記ターゲット注釈アルゴリズムの機能タグを生成するように構成される機能タグ生成ユニットと、
    前記機能タグに基づいて、異なる注釈要求に対応する各ターゲット注釈アルゴリズムと、各ターゲット注釈アルゴリズムにおける前記オリジナル注釈アルゴリズムに関する修正情報との関係が記録されたテーブルを生成するように構成される関係テーブル生成ユニットと、をさらに含む請求項7~11のいずれか一項に記載のデータ注釈装置。
  13. 少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されたメモリと、を含む電子機器であって、
    前記メモリに前記少なくとも1つのプロセッサによって実行可能な指令が記憶され、前記指令が前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサが請求項1~6のいずれか一項に記載のデータ注釈方法を実施する、電子機器。
  14. コンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令はコンピュータに請求項1~6のいずれか一項に記載のデータ注釈方法を実施させるためのものである、非一時的コンピュータ可読記憶媒体。
  15. プロセッサによって実行されると、請求項1~6のいずれか一項に記載のデータ注釈方法を実施するコンピュータプログラム。

JP2022004875A 2021-04-28 2022-01-17 データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム Pending JP2022068146A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110465098.8A CN113127058B (zh) 2021-04-28 2021-04-28 数据标注方法、相关装置及计算机程序产品
CN202110465098.8 2021-04-28

Publications (1)

Publication Number Publication Date
JP2022068146A true JP2022068146A (ja) 2022-05-09

Family

ID=76781178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022004875A Pending JP2022068146A (ja) 2021-04-28 2022-01-17 データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220129423A1 (ja)
EP (1) EP4047474A1 (ja)
JP (1) JP2022068146A (ja)
KR (1) KR20220024227A (ja)
CN (1) CN113127058B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955342B (zh) * 2023-09-20 2023-12-15 彩讯科技股份有限公司 业务数据一致率校验方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
JP2019219906A (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
CN111598006A (zh) * 2020-05-18 2020-08-28 北京百度网讯科技有限公司 用于标注对象的方法和装置
JP2020149687A (ja) * 2019-03-15 2020-09-17 株式会社リコー レビューされた1つ以上の文書へのリンクを含む会議レビュー文書の生成
JP2020191080A (ja) * 2019-05-21 2020-11-26 富士通株式会社 増分学習のためのデータ認識方法
US20200380415A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Integration of learning models into a software development system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788253B2 (en) * 2006-12-28 2010-08-31 International Business Machines Corporation Global anchor text processing
US8612931B2 (en) * 2010-07-14 2013-12-17 International Business Machines Corporation Interactive blueprinting for packaged applications
WO2014121114A1 (en) * 2013-01-31 2014-08-07 Hirschfeld David Social networking with video annotation
CN105022757A (zh) * 2014-04-29 2015-11-04 腾讯科技(深圳)有限公司 网页修改方法及网页修改装置
US10133568B2 (en) * 2016-08-31 2018-11-20 International Business Machines Corporation Embedding code anchors in software documentation
US10534595B1 (en) * 2017-06-30 2020-01-14 Palantir Technologies Inc. Techniques for configuring and validating a data pipeline deployment
EP3432144A1 (en) * 2017-07-20 2019-01-23 Fujitsu Limited A computer-implemented method and system for automatically recommending a code modification
US10491778B2 (en) * 2017-09-21 2019-11-26 Honeywell International Inc. Applying features of low-resolution data to corresponding high-resolution data
US10572760B1 (en) * 2017-11-13 2020-02-25 Amazon Technologies, Inc. Image text localization
JP7002404B2 (ja) * 2018-05-15 2022-01-20 株式会社日立製作所 データから潜在因子を発見するニューラルネットワーク
WO2020131746A1 (en) * 2018-12-17 2020-06-25 Georgia State University Research Foundation, Inc. Predicting dcis recurrence risk using a machine learning-based high-content image analysis approach
CN110276443A (zh) * 2019-05-29 2019-09-24 平安科技(深圳)有限公司 模型转换一致性验证及分析方法、装置及存储介质
US11082755B2 (en) * 2019-09-18 2021-08-03 Adam Kunsberg Beat based editing
CN112307477A (zh) * 2020-11-10 2021-02-02 深圳市欢太科技有限公司 代码检测方法、装置、存储介质以及终端
CN112579727B (zh) * 2020-12-16 2022-03-22 北京百度网讯科技有限公司 文档内容的提取方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
JP2019219906A (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 情報処理装置、情報交換システム、情報処理方法および情報処理プログラム
JP2020149687A (ja) * 2019-03-15 2020-09-17 株式会社リコー レビューされた1つ以上の文書へのリンクを含む会議レビュー文書の生成
JP2020191080A (ja) * 2019-05-21 2020-11-26 富士通株式会社 増分学習のためのデータ認識方法
US20200380415A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Integration of learning models into a software development system
CN111598006A (zh) * 2020-05-18 2020-08-28 北京百度网讯科技有限公司 用于标注对象的方法和装置

Also Published As

Publication number Publication date
CN113127058A (zh) 2021-07-16
CN113127058B (zh) 2024-01-16
US20220129423A1 (en) 2022-04-28
KR20220024227A (ko) 2022-03-03
EP4047474A1 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
US11436863B2 (en) Method and apparatus for outputting data
TW202030640A (zh) 一種跨模態訊息檢索方法、裝置和儲存介質
JP2022006174A (ja) モデルをトレーニングするための方法、装置、デバイス、媒体、およびプログラム製品
WO2019154411A1 (zh) 词向量更新方法和装置
CN109858045B (zh) 机器翻译方法和装置
CN111815738B (zh) 一种构建地图的方法和装置
US20220414971A1 (en) Method of processing information, method of rendering image, and electronic device
JP2022088304A (ja) ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
US20230042221A1 (en) Modifying digital images utilizing a language guided image editing model
JP7309811B2 (ja) データ注釈方法、装置、電子機器および記憶媒体
JP2023002690A (ja) セマンティックス認識方法、装置、電子機器及び記憶媒体
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
JP2022068146A (ja) データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN112582073B (zh) 医疗信息获取方法、装置、电子设备和介质
CN114078471A (zh) 网络模型处理方法、装置、设备及计算机可读存储介质
CN109710939B (zh) 用于确定主题的方法和装置
CN113223121B (zh) 视频生成方法、装置、电子设备及存储介质
CN113360672B (zh) 用于生成知识图谱的方法、装置、设备、介质和产品
JP7113000B2 (ja) 映像を生成するための方法および装置
CN114445682A (zh) 训练模型的方法、装置、电子设备、存储介质及产品
CN114218431A (zh) 视频搜索方法、装置、电子设备以及存储介质
CN111161737A (zh) 数据处理方法、装置、电子设备和存储介质
CN111259697A (zh) 用于发送信息的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010