JP2022091875A - データセットの半自動ラベル付け - Google Patents

データセットの半自動ラベル付け Download PDF

Info

Publication number
JP2022091875A
JP2022091875A JP2022048334A JP2022048334A JP2022091875A JP 2022091875 A JP2022091875 A JP 2022091875A JP 2022048334 A JP2022048334 A JP 2022048334A JP 2022048334 A JP2022048334 A JP 2022048334A JP 2022091875 A JP2022091875 A JP 2022091875A
Authority
JP
Japan
Prior art keywords
damaged
vehicle
images
repair
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022048334A
Other languages
English (en)
Inventor
アレクサンドレ ダリアック、
Dalyac Alexandre
ラズヴァン ランカ、
Ranca Razvan
ロバート ホーガン、
Hogan Robert
ナサニエル ジョン マカリース－パーク、
John Mcaleese-Park Nathaniel
ケン チャットフィールド、
Chatfield Ken
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tractable Ltd
Original Assignee
Tractable Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tractable Ltd filed Critical Tractable Ltd
Publication of JP2022091875A publication Critical patent/JP2022091875A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】計算モデルを用いて車両損傷の修理を見積もる方法、システム及びプログラムを提供する。【解決手段】方法は、ラベル付けされていないか又は部分的にラベル付けされた目標データセットを、分類又は回帰のための機械学習モデルによってモデリングする。目標データセットは、機械学習モデルによって処理され、そのサブグループを、ラベル付け又はラベル検証のためのユーザに対する提示用に作成し、サブグループのラベル検証又はユーザ再ラベル付け又はユーザラベル付けを受信し、更新された目標データセットを、機械学習モデルによって再処理する。【効果】分類されていないか又は部分的に分類された目標データセットを機械学習モデルを用いてモデリングすることと組み合わせたユーザラベル付け又はラベル検証は、目標データセットのラベル付けされていない構成要素の効率的なラベル付けを提供する。【選択図】図７

Description

本発明は、データセット内のデータの分類（または回帰）に関する。特に、本発明は、１つまたは複数のデータセットへの機械学習技術の応用を促進するために、１つまたは複数のデータセット内のデータにタグを割り当てることに関する。本発明はまた、データ分類（または回帰）中のコンピュータ支援の品質制御の方法、ならびに１つまたは複数のデータセット内のデータの半自動化されたタグ付与の方法に関する。
分類（または回帰）または回帰のための教師あり学習アルゴリズムの応用において、訓練データは、初めに正しくラベル付けされる必要があり、すなわち、従属変数が訓練データの各データ点に正しく割り当てられることを要する。教師あり学習アルゴリズムは、従属変数のための値が知られておりかつ正確であると仮定される回帰または分類技術である。従属変数が学習されている変数であり、この変数は、分類の場合には離散的および回帰の場合には連続的であり、分類におけるタグまたはラベルとしても知られる。訓練データ用の従属変数の値は、知識のある人間が従属変数の地上検証データの値が何であるかに関して自らの意見を表現することによる手動の注釈付けによって、または他の手段によって地上検証データの結果の記録として獲得された地上検証データの値そのものによって獲得されていてもよい。例えば、地質学的応用においては、訓練セットは、３Ｄ地震スキャンのセットであってもよく、その場合、データ点は、スキャン内のボクセルであり、従属変数は、ボクセルによって表される空間内の点における資源賦存量についての指標であり、この値は、掘削または検知によって発見されたものであり得る。法的応用においては、訓練セットは、過去の事件訴訟のセットであってもよく、その場合、データ点は、事件訴訟を表す文書の集合であり、従属変数の地上検証データの値は、被告に対する訴訟の実際の財務的結果である。次いで、完全にラベル付けされたデータが、１つまたは複数の教師あり学習アルゴリズムを訓練するために使用される。
多くの例においては、知識のある人間が個々のデータ点にタグを追加することによって訓練データを生成することが必要である。この訓練データを作成すること（すなわち、データを正しく分類すること）は、特に大量の訓練データが使用されることになる場合、およびデータの事前作成の品質が一貫して高くない場合には、非常に労働集約的でコストが高くかつ不便である。従来のインタラクティブなラベル付けは、計算コストが高く、良好な結果をもたらすことができない。
自動車保険支払い請求格付けおよび修理見積もりのための従来の画像分析において、画像は、標準化された条件下（照明、角度、ズーム、背景など）で制御された環境で撮影される。制御された環境から画像を提供するために、専用の場所に特別な設備が必要とされ、分析される自動車はそれらの専用の場所に移送される。これは、非常にコストが高く不便である。
態様および／または実施態様は、改善された効率性で１つまたは複数のデータセットのラベル付けを可能にし得る、１つまたは複数のデータセット内のデータをラベル付けする方法および／またはシステムを提供することができる。
さらに、態様および／または実施態様は、上記問題のうちの少なくとも一部を緩和することができる、自動車保険支払い請求格付けおよび修理見積もりのための画像解析の改善されたシステムを提供することができる。特に、本システムは、未制御環境にある汎用ハードウェアからの画像を収容することができる。
一態様によると、分類（または回帰）のための機械学習モデルを用いて、ラベル付けされていないかまたは部分的にラベル付けされた目標データセットをモデリングする方法であって、目標データセットを機械学習モデルによって処理することと、ラベル付けまたはラベル検証のためのユーザに対する提示用に目標データセットのサブグループを作成することと、サブグループのラベル検証またはユーザ再ラベル付けまたはユーザラベル付けを受信することと、更新された目標データセットを機械学習モデルによって再処理することと、を含む方法が提供される。
分類されていないまたは部分的に分類された目標データセットを機械学習モデルを用いてモデリングすることと組み合わせたユーザラベル付けまたはラベル検証は、目標データセットのラベル付けされていない構成要素の効率的なラベル付けを可能にし得る。モデリングに機械学習モデルを使用することによって、様々な撮像条件（照明、角度、ズーム、背景、オクルージョンなど）を有する画像が、効果的に処理され得る。機械学習アルゴリズムは、例えば、畳み込みニューラルネットワーク、サポートベクタマシン、ランダムフォレスト、またはニューラルネットワークであってもよい。任意選択的に、機械学習モデルは、高次元画像（例えば、１０，０００ピクセル以上）に対して分類または回帰を実施するのに十分に適しているものである。
任意選択的に、本方法は、目標データセットの目標とされるサブグループを、その目標とされるサブグループのラベル付けおよびラベル検証のためのユーザに対する目標を定めた提示用に、決定することを含んでもよい。これが、ユーザに対して提案されるクエリにユーザが受動的に応答することを可能にし得るため、ユーザの主導権、スキル、および知識への依存性を低減して、モデルおよびデータセット品質を改善することができる。
任意選択的に、該作成することは、複数の代表データインスタンスを決定すること、およびそれらの代表データインスタンスのみのクラスタプロットを作成して、そのクラスタプロットを提示することを含んでもよい。これにより、計算負荷を軽減し、高次元データセットの迅速な表示、したがって可視化のためのクラスタプロットの迅速な作成を可能にし得る。任意選択的に、複数の代表データインスタンスは、特徴空間内で決定されてもよい。任意選択的に、複数の代表データインスタンスは、入力空間内で決定されてもよい。任意選択的に、複数の代表データインスタンスは、サンプリングによって決定されてもよい。任意選択的に、該作成することは、複数の代表データインスタンスの２次元または３次元への次元縮小を含んでもよい。任意選択的に、次元縮小は、ｔ－ＳＮＥ（ｔ－ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｃｈａｓｔｉｃ ｎｅｉｇｈｂｏｕｒ ｅｍｂｅｄｄｉｎｇ）によるものであってよい。
任意選択的に、該作成することは、グリッド内に複数の画像を作成して、そのグリッドを提示することを含んでもよい。グリッドでの提示は、標準的でない画像の特に効率的な特定を可能にし得る。
任意選択的に、該作成することは、１つまたは複数の選択されたデータインスタンスに類似するデータインスタンスをベイジアンセット法により特定して、それらの類似するデータインスタンスを提示することを含んでもよい。ベイジアンセット法は、特に効率的な処理を可能にし得、それにより、処理を実施するのに必要とされる時間を低減することができる。
別の態様によると、畳み込みニューラルネットワークを用いて車両損傷修理を見積もるための計算モデルを生成する方法であって、ラベル付けされていない複数の車両画像を受信することと、該車両画像を畳み込みニューラルネットワークによって処理することと、ラベル付けまたはラベル検証のためのユーザに対する提示用に車両画像のサブグループを作成することと、該サブグループのラベル検証またはユーザ再ラベル付けまたはユーザラベル付けを受信することと、複数の車両画像を畳み込みニューラルネットワークによって再処理することと、を含む方法が提供される。
ラベル付けされていない画像を含む目標データセットを畳み込みニューラルネットワークを用いてモデリングすることと組み合わせたユーザラベル付けまたはラベル検証は、目標データセットのラベル付けされていない画像の効率的な分類（または回帰）を可能にし得る。モデリングに畳み込みニューラルネットワークを使用することによって、様々な撮像条件（照明、角度、ズーム、背景、オクルージョンなど）を有する画像が、効果的に処理され得る。別の機械学習アルゴリズムが、畳み込みニューラルネットワークに取って代わってもよい。
任意選択的に、本方法は、車両画像の目標とされるサブグループを、その目標とされるサブグループのラベル付けおよびラベル検証のためのユーザに対する目標を定めた提示用に、決定することを含んでもよい。これが、ユーザに対して提案されるクエリにユーザが受動的に応答することを可能にし得るため、ユーザの主導権、スキル、および知識への依存性を低減して、モデルおよびデータセット品質を改善することができる。任意選択的に、該作成することは、上記のようなデータを作成するステップのうちの１つまたは複数を含んでもよい。
任意選択的に、本方法は、ラベル付けされていない複数の車両画像とともに複数の非車両画像を受信することと、車両画像とともに非車両画像を畳み込みニューラルネットワークによって処理することと、検証のためのユーザに対する提示用に非車両画像を作成することと、非車両画像の検証を受信することと、非車両画像を削除して、ラベル付けされていない複数の車両画像を生成することと、をさらに含んでもよい。これが、無関係の画像を含むデータセットの改善を可能にし得る。
車両画像のサブグループはすべて、特定の車両部分を示してもよい。これが、車両部分による画像のタグ付けを可能にし得る。画像は、画像と関連付けられた２つ以上の車両部分タグを有してもよい。車両画像のサブグループはすべて、損傷状態にある特定の車両部分を示してもよい。これが、損傷ステータスによる画像のラベル付けを可能にし得る。車両画像のサブグループはすべて、修理が可能である損傷状態にある特定の車両部分を示してもよい。車両画像のサブグループはすべて、交換が適している損傷状態にある特定の車両部分を示してもよい。これが、修理または交換のどちらが最も適切であるかの指標を用いて画像をラベル付けすることを可能にし得る。
別の態様によると、上記のような方法によって生成された、車両損傷修理を見積もるための計算モデルが提供される。これが、車両損傷をモデリングすることができるモデルおよび適切な修理／交換応答を特に良好に生成することを可能にし得る。
計算モデルは、画像から１つまたは複数の損傷部分を特定し、その損傷部分は、修理が可能であるのか、または交換が適しているのかを特定し、車両損傷に対する修理費見積もりを計算することによって、修理費見積もりを計算するように適合されていてもよい。これが、車両損傷に関する保険支払い請求の素早い処理を可能にし得る。
任意選択的に、有用性を高めるため、計算モデルは、修理費見積もりの確実性を計算するように適合されていてもよい。任意選択的に、有用性を高めるため、計算モデルは、廃車の推奨を決定するように適合されていてもよい。任意選択的に、修理費見積もりの質を高めるため、計算モデルは、損傷車両の複数の画像を条件とするその出力を計算して、車両損傷修理を見積もるように適合されていてもよい。任意選択的に、修理費見積もりの質を高めるため、計算モデルは、損傷車両の複数の画像を受信して、車両損傷修理を見積もるように適合されていてもよい。任意選択的に、有用性を高めるため、計算モデルは、内部損傷の見積もりを計算するように適合されていてもよい。任意選択的に、有用性を高めるため、計算モデルは、１つまたは複数のさらなる画像をユーザから要求するように適合されていてもよい。
別の態様によると、上記のような計算モデルを生成するように適合されているソフトウェアが提供される。別の態様によると、上記のような計算モデルを生成するように適合されているプロセッサが提供される。
態様および／または実施態様は、実質的に、本明細書に説明されるような、および／または添付の図面を参照して例証されるような、データをモデリングする方法にまで及び得る。
態様および／または実施態様はまた、本明細書に説明されるような、および／または添付の図面を参照して例証されるような、車両損傷修理を見積もるための計算モデルを生成する方法にまで及び得る。
態様および／または実施態様はまた、実質的に、本明細書に説明されるような、および／または添付の図面を参照して例証されるような計算モデルにまで及び得る。
態様および／または実施態様はまた、実質的に、本明細書に説明されるような、および／または添付の図面を参照して例証されるような、データをモデリングするためのソフトウェアにまで及び得る。
態様および／または実施態様はまた、実質的に、本明細書に説明されるような、および／または添付の図面を参照して例証されるような、データをモデリングするためのシステムにまで及び得る。
態様および／または実施態様はまた、実質的に、本明細書に説明されるような、および／または添付の図面を参照して例証されるような方法および／または装置にまで及び得る。
態様および／または実施態様はまた、本明細書内で説明される方法のうちのいずれかを実行するおよび／または本明細書内で説明される装置特徴のうちのいずれかを具現化するコンピュータプログラムおよびコンピュータプログラム製品、ならびに本明細書内で説明される方法のうちのいずれかを実行するおよび／または本明細書内で説明される装置特徴のうちのいずれかを具現化するプログラムを格納しているコンピュータ可読媒体を提供し得る。
態様および／または実施態様はまた、本明細書内で説明される方法のうちのいずれかを実行するおよび／または本明細書内で説明される装置特徴のうちのいずれかを具現化するコンピュータプログラムを具現化する信号、そのような信号を送信する方法、ならびに本明細書内で説明される方法のうちのいずれかを実行するおよび／または本明細書内で説明される装置特徴のうちのいずれかを具現化するコンピュータプログラムをサポートするオペレーティングシステムを有するコンピュータ製品を提供し得る。
本明細書内で説明されるいかなる装置特徴も、方法特徴として提供されてよく、その逆も然りである。本明細書内で使用される場合、ミーンズプラスファンクション特徴は、好適にプログラムされたプロセッサおよび関連メモリなど、それらの対応する構造体に関して、代替的に表現されてもよい。
一態様における任意の特徴は、任意の適切な組み合わせで、他の態様に適用されてもよい。特に、方法の態様は、装置の態様に適用されてもよく、その逆も然りである。さらには、一態様における任意の特徴、いくつかの特徴、および／またはすべての特徴は、任意の適切な組み合わせで、任意の他の態様における任意の特徴、いくつかの特徴、および／またはすべての特徴に適用され得る。
任意の態様において説明および規定される様々な特徴の特定の組み合わせは独立して、組み込まれ得る、および／または供給され得る、および／または使用され得るということを理解されたい。
さらには、ハードウェアに組み込まれた特徴は、一般的には、ソフトウェアに組み込まれてもよく、その逆も然りである。本明細書内のソフトウェアおよびハードウェア特徴に対するいかなる言及もそれに応じて解釈されるべきである。
本発明のこれらの態様および他の態様は、同様の参照番号を有する以下の図面を参照して説明される以下の実施態様例から明らかになるものとする。
データをラベル付けする方法の概略図である。 図１の方法のステップの概略図である。 データをラベル付けするためのシステムの概略図である。 クラスタプロットを用いたグラフィックユーザインターフェースの図である。 クラスタプロットを用いたグラフィックユーザインターフェースの図である。 画像のグリッドを用いたグラフィックユーザインターフェースの図である。 目標を定めた監視のためのグラフィックユーザインターフェースの図である。 目標を定めた監視のためのグラフィックユーザインターフェースの図である。 車両損傷見積もりのためのシステムの概略図である。
およそ１０年の間、多くの国々の車両ボディ取扱店および損害査定人は、保険業者または事務弁護士に提出される修理見積もりを裏付けるために証拠として損傷車両の写真を撮影してきた。毎年米国内だけでおよそ１９００万件の自動車保険支払い請求、および請求あたりおよそ１０枚の画像があることから、損傷車両に関する大量の画像データが存在する。
機械学習は、既存の車両損傷画像を活用するのに魅力的なツールであり、深層学習（および特に畳み込みニューラルネットワーク）は、高次元感覚データの自動認識および理解に向けて大いに前進してきた。これらの技術を支える基本的な考え方の１つは、アルゴリズムが、最も有用な特徴を抽出することを学習することによってデータを最もよく表すやり方を決定することができるということである。抽出された特徴が十分である（十分に差異化が可能である）場合、任意の基本機械学習アルゴリズムが抽出された特徴に適用されて、最良の結果を獲得することができる。畳み込みニューラルネットワーク（ｃｏｎｖｎｅｔまたはＣＮＮとも称される）は、画像データをカテゴリー分類するのに特によく適しており、教師あり学習によって訓練された畳み込みニューラルネットワークのグラフィックプロセッサユニット（ＧＰＵ）実装形態は、「自然のままの」画像（標準化されていない条件下で採用され、自動車モデルにわたって、例えば、照明、角度、ズーム、背景、オクルージョン、およびデザインの多様性を有し、誤差および無関係の画像を含み、品質および信頼性に関して多様性を有する）に対する高い画像分類（または回帰）性能を実証してきた。
大量の車両損傷画像を活用して畳み込みニューラルネットワークを訓練するためには、データは、できる限り誤差がないものである必要があり、特に画像は、正しくラベル付けされる必要がある。産業データセットは、無関係のデータも含む場合がある、ノイズの多いデータ／欠損データ／一貫性なくまたは部分的にラベル付けされたデータの取り扱いなどの新規の問題を深層学習に引き起こす。
機械学習が良質の分類（または回帰）を実施するためには、訓練のために良好なデータ品質を確保すること、およびそのデータ上で十分に良好なモデルを訓練することが必要である。従来、ユーザは、データを調べて品質に満足がいくまでデータを（再）ラベル付けすることによって、まず訓練用のデータを作成することを要求される。次いで、モデルは、クリーンなデータ上で訓練される。
ユーザがラベルを画像に割り当てることによって訓練データセットをラベル付けすること（およびより一般的にはクリーンにすること）は、商業的応用では禁止されている程に非常に時間がかかりかつコストの高い手順である。
訓練データセットの作成およびモデルの訓練がインターリーブされれば、大幅に改善された効率が達成され得る。これは、このアルゴリズムが、不十分であることが知られているデータセットを用いて学習を開始することから、直感的手法ではない。しかしながら、異種でありかつ誤っている可能性のあるデータセットを特定するという機械学習アルゴリズムの能力を活用すれば、このアルゴリズムは非常に効率的であり得る。モデル訓練の各反復が、後続の再ラベル付け反復にとっての最良の手法を知らせる（その逆も然りである）。この反復プロセスの最終結果が、十分な品質のデータセットおよびこのデータセットに対する十分に差異化が可能な特徴を提供するモデルである。
データは、画像（各画像が個々のデータセットを表している）の形態にあり得るか、またはデータは、テキスト（各ワードが、例えば、個々のデータセットを表している）もしくは音などの任意の高次元データであり得る。
畳み込みニューラルネットワークを訓練するために既存の画像データの使用を可能にするために、これより半自動ラベル付けについて説明する。
半自動ラベル付けは、データセットのラベル付けを半自動化する。モデルは、誤差を含むことが知られているデータ上で訓練される。モデルは、データをモデリングおよび分類（または回帰）することを試みる。選択されたデータ点（個々の画像または画像グループ）の、ラベル付けまたはタグ付けとも称される分類は、ユーザ（権威者または監督者とも称される）によってレビューされ、修正または承認される。ラベルは、反復して精緻化され、次いでモデルが、ラベル付けされたデータに基づいて精緻化される。ユーザは、能動的に、モデル出力をレビューし、レビューおよびラベル付けのために画像を検索することができるか、または、ユーザは、特定の画像のラベル付けに関するモデルからのクエリに受動的に応答することができる。
図１は、半自動ラベル付けの方法の概略図である。図２は、図１の半自動ラベル付けの方法のステップの概略図である。図３は、半自動ラベル付けのためのシステム１００の概略図である。プロセッサ１０４は、データセット１０２が計算モデル１０６を用いてどのようにモデリングされるかに関する情報を入力／出力１０８を介してユーザ１１０に提供する。ユーザ１１０は、計算モデル１０６を用いてデータセット１０２をモデリングするために入力／出力１０８を介してプロセッサ１０４にガイダンスを提供する。
能動的なユーザレビューを伴う半自動ラベル付けの操作シーケンスは以下の通りである。
１．（量およびラベルに関して）可能な限り最も類似するデータ上でモデルを事前訓練する。
２．目標データを事前訓練されたモデルを用いてモデリングする。
３．ユーザによるレビュー用に、モデリングされた目標データを作成する。
ａ．モデルを用いて目標データセットの特徴を抽出する（特徴セットと称される）。
ｂ．その特徴セットに対して次元縮小を実施する。
ｃ．特徴点にラベルを割り当てない／いくつかの特徴点にラベルを割り当てる／すべての特徴点にラベルを割り当てる。
ｄ．ラベル付けされた特徴セットに対して可視化技術を適用する。
４．タグ付けされた特徴セットを閲覧および編集するためにユーザに効率的なインターフェースを提示する。
ａ．ユーザが、ラベル付けされた特徴セットを効率的に閲覧して検証すべき領域を見つける。
ｂ．ユーザが、インターフェース上に表示されたラベルを検証または修正する。
５．十分なデータおよびモデル品質が達成されるまで、検証済み／修正済みのラベル付けを用いてステップ２からサイクルを繰り返す。
６．ラベル付けされたデータセットまたは特徴セットのいくつか／すべてを使用して、十分なデータおよびモデル品質が達成されるまで最新の特徴抽出モデルを微調整する。
上に設計されるような半自動ラベル付け手順の例では、およそ３０，０００枚の画像が、単一ユーザで１時間で、９０％の正確性で１８クラスを有するスキームへとラベル付けされ得る。
クエリに対する受動ユーザ応答の場合（目標を定めた監視とも称される）、上記のシーケンスのステップ３および４は以下の通りである。
３．ユーザによるレビュー用に、モデリングされたフルデータを作成する。
ａ．モデルを用いて目標データセットの特徴を抽出する（特徴セットと称される）。
ｂ．特徴セットに対して次元縮小を実施する。
ｃ．特徴点にラベルを割り当てない／いくつかの特徴点にラベルを割り当てる／すべての特徴点にラベルを割り当てる。
ｄ．ラベル付けされた特徴セットに対して可視化技術を適用する。
ｅ．次の最良ユーザクエリを概算する。
４．ラベル付けされた特徴セットをレビューするためにユーザにクエリを提示する。
ａ．ユーザにクエリを効率的に提示する。
ｂ．ユーザが、インターフェース上に表示されたラベルを検証または修正する。
受動および能動ユーザレビューはまた、互いと並行して両方を提供することによって組み合わされ得る。
「ラベルを一部／すべての特徴点に割り当てる」ステップ３ｃは、特徴空間をクラス領域に区分するなどのクラスタリング技術によって、分類のために実施され得る。ステップ３ｃはまた、特徴空間にわたって離散的ランダム値を規定するなどの離散技術によって、回帰のために実施され得る。
ステップ６（微調整）の部分として、以下の追加ステップが実行されてもよい。
ａ．見えないデータ上でモデルを実行し、分類（または回帰）の確率によって画像をランク付けする（バイナリが理由で可能である）。
ｂ．特に情報の誤りの特定のために、高確率画像および低確率画像をユーザに提示する。
別形では、クラスタプロット内の意味上のクラスタリング（例えば、すべての自動車のバンパの画像が一緒に示されるなど、データは画像コンテンツで区切られて示される）は、より効果のある微調整を可能にするために、確率ランクで（例えば、確率を表す色で）強化される。
以下に挙げるように、上に設計されるシーケンスを実施するにあたって考慮すべきさらなる検討事項がいくつか存在する。
・任意の既存のラベルを最大限に活用してプロセスを初期化すること。最悪の場合、ラベルは無用であり、教師なし初期化が実施される。そうでなければ、教師ありモデルは、利用可能ないかなるラベル上でも訓練され得る。
・モデルが何をしているかをユーザが理解できるように、抽出された特徴の可視化を最適化すること。実際の特徴は、高次元空間（すなわち＞１０００次元）内に存在するため、それらは、できる限り多くの情報を維持しながら２次元または３次元まで低減される必要がある。この可視化をリアルタイムで実施することは、大きな利益をもたらす。
・次の訓練反復に最大の利益をもたらすように、データの一部分を再ラベル付けすること。１つの手法は、モデルが、モデル訓練中に「最も紛らわしい」と思われた画像／画像クラスタのランク付けリストをユーザに与えることである。
・新しいユーザ入力を考慮するためにモデルの再訓練を最適化すること。最も簡単な場合、ユーザが、モデルが再訓練されるべきであると考える程度を特定する。これは、再訓練がどれくらい表現的であるか、およびそれにどれくらいの時間がかかるのかに影響する。モデルに与えられる新しい情報を活用するには十分な表現性が必要とされるが、新しいデータを過剰適合するほどではない。
・各反復に対してモデルの実際の性能を評価する。通常、データの一部分は訓練に使用されないため、モデルの性能は、その部分に対して評価され得る。しかしながら、訓練のために少量の最近再ラベル付けされたデータの一部を使用しないことは、再ラベル付けサイクルの速度を大幅に遅くする場合がある。うまくこの２つの間の均衡を取らなければならない。
上記の半自動ラベル付けを実施するために使用され得るいくつかの技術は、以下の通りである。
・事前訓練された畳み込みニューラルネットワーク
・ＧＰＵにわたって並列処理することによって特徴を抽出する
・次元縮小のための主成分分析（ＰＣＡ）これは、ｔ－ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｃｈａｓｔｉｃ ｎｅｉｇｈｂｏｕｒ ｅｍｂｅｄｄｉｎｇ（ｔＳＮＥ）では特に適しており、ベイジアンセットでは、ＰＣＡはあまり適していない場合がある。ｔＳＮＥが十分に高速である場合は、次元縮小が不必要な場合さえある。
・ｋ平均法クラスタリングアルゴリズムを用いて重心のシード値を設定するための特徴セット調査
・ｋ平均法重心に対するｔ－ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｃｈａｓｔｉｃ ｎｅｉｇｈｂｏｕｒ ｅｍｂｅｄｄｉｎｇ（ｔＳＮＥ）
・クラスタが中心として重心を有する円で表され、画像数が直径によって表され、色として最も多いクラス色を有する、ｔＳＮＥのクラスタプロットを用いたグラフィックユーザインターフェース（ＧＵＩ）
・ラベルを検証／編集するために１００までの画像のＧＵＩグリッド
・畳み込みニューラルネットワークに適用されるベイジアンセット
・モデルのｓｏｆｔｍａｘ微調整
・モデルのＳｉａｍｅｓｅ微調整
・モデルのｔｒｉｐｌｅｔ ｌｏｓｓ微調整
事前訓練された畳み込みニューラルネットワークは、例えば、ＩｍａｇｅＮｅｔ集からの画像上で訓練されてもよい。
図４ａは、意味上のクラスタリングを提供する（例えば、すべての自動車のバンパの画像は、クラスタプロット内の同じエリア内にある）クラスタプロットを用いたグラフィックユーザインターフェースの図である。クラスタプロットは、特徴空間内のデータセットの分布を示す円を示す。このプロットは、ユーザに提示され、その後ユーザは、さらなるレビューのために円のうちの１つまたは複数を選択することができる。ラベル付けされた／ラベル付けされていないというステータスは、例えば、円の色によって、プロット内に示され得る。レビューのために選択された／選択されていないは、例えば、円の色によって、プロット内に示され得る。図４ｂは、円の色がデータと関連付けられたラベルを示すクラスタプロットを用いたグラフィックユーザインターフェースの図である。ユーザが円上にマウスポインタを重ねると、ユーザに画像データが提示されてもよい。円のグループのユーザ選択は、ユーザにクラスタプロット内の目的のグループの周りに境界線を描かせることによって達成され得る。
図５は、画像のグリッドを用いたグラフィックユーザインターフェースの図である。クラスタプロット内で選択される画像は、ユーザレビューのためにグリッド内に示される。グリッドは、例えば、８枚の画像が１列に横に並び、互いの下に６列の画像がある。例示された例では、グリッドは、７×５の画像を示す。人間の視覚野は、特に高い効率性で、グリッド形式にある異種の画像を整理し特定することができる。画像をグリッド形式で表示することによって、大量の画像がユーザに提示されて、短時間でユーザによりレビューされ得る。例えば、１画面あたり４８枚の画像が含まれる場合、２１画面でユーザは１０００枚を超える画像をレビューすることができる。グリッド内の画像は、特定のラベルでラベル付けするために選択または選択解除され得る。画像は、類似性検索など、さらなるレビューのために選択または選択解除され得る。
類似性検索は、目的とする特定の画像または画像グループに類似している画像を見つけるために実行されてもよい。これは、ユーザが、特に興味のある個々の画像（例えば、フロントガラスの画像のクラスタ内の傷の付いたフロントガラスの画像）を見つけること、類似しているさらなる画像を見つけること、およびまとめて画像にラベルを提供することを可能にし得る。
図６ａおよび図６ｂは、目標を定めた監視のためのグラフィックユーザインターフェースの図である。ここでは、クラスタ化されたように見えるいくつかの画像（例示された例では７枚の画像）が、ユーザに提供され、それらの画像用にラベルをユーザ入力するためのフィールドが提供される。図６ａは、ユーザ入力のための空のフィールドを示し、図６ｂは、ユーザによってラベルが入力されている状態のフィールド、ならびに色付きのフレームでマークされた画像を示し、色はその画像に関連付けられたラベルを示す。
これより、特徴セットに対して次元縮小を実施する方法（上のステップ３．ｃ）をより詳細に説明する。例では、特徴セットは、およそ－２～２の範囲の（およびより一般的には、典型的な範囲の）値を有する４０９６次元ベクトル（およびより一般的には、Ｎ次元ベクトル）である。２次元または３次元への次元縮小（人間によって直感的に理解され得るような）は、膨大な計算リソースを必要とし得、また膨大な時間がかかり得る。この計算的に労働集約型のステップを短縮するために、データセットは、特徴空間内でクラスタ化され、各クラスタから単一の代表データインスタンス（重心、例えば、ｋ平均法クラスタ重心とも称される）が、さらなる処理のために選択される。次いで、次元縮小が、代表データに対してのみ実施され、それにより、非常に大きいデータセットの非常に迅速な可視化が可能である程度まで計算負荷を低減する。データセットからのデータ点は、ユーザに対してクラスタプロット内に個々に示されないが、ユーザに示されるクラスタプロット内の円の直径が、特徴空間内の関連する代表データインスタンスに近く、したがって同一または同様のラベル値を有すると推測されるデータ点の数を示す。クラスタプロット内の円を選択することにより、ユーザは、その円によって表される画像のすべてを提示される。これにより、ユーザは、代表画像によって表されるすべての画像をチェックすることが可能になる。円のスケーリングは、表示の明確性のためにユーザによって最適化および／または調節され得る。
これより、類似性検索を実施する方法をより詳細に説明する。画像は、（およそ－２～２などの）値の範囲を有する高次元ベクトル（４０９６次元ベクトルなど）によって特徴空間内に表される。大量のそのようなベクトルに対して類似性検索を実施することは、計算的に労働集約型であり得、また膨大な時間がかかり得る。ベイジアンセットは、特に興味のある画像または画像グループに類似したエンティティを特定する非常に素早くかつ簡単な手段を提供することができる。ベイジアンセット法を適用するためには、データ（ここでは高次元ベクトル）は、ある範囲の値を有するよりもバイナリであることが必要とされる。ベイジアンセット法を適用するために、特徴セットベクトルは、バイナリベクトルへと変換される。すなわち、ゼロに近い値はゼロに変えられ、ゼロから遠く離れた値は１に変えられる。ベイジアンセット法による類似性検索では、これが良好な結果をもたらし得る。畳み込みニューラルネットワーク（またはより一般的には、画像に適しており、スパース表現を用いた機械学習モデル）へのベイジアンセットの適用は、畳み込みニューラルネットワークが典型的には、半自動ラベル付けの状況においてはスパース表現を有するバイナリベクトルにキャストするのに結果として容易であるスパース表現（ベクトル内に多くのゼロ）を有する特徴セットを生成するため、特に有益である。
これより、車両損傷見積もりに適用される半自動ラベル付けをより詳細に説明する。車両損傷の所与の事例では、結果は、必要な修理の予測および損傷車両の自然のままの画像に基づいた対応する修理費の見積もりである。これは、保険業者が、例えば、車両損傷に対する応答をどのように進めるかに関する決定を行うことを可能にし得る。結果は、「車両を廃車にする」、「大きな修理の必要性」、または「軽い修理の必要性」などの格付け推奨を含んでもよい。
図７は、車両損傷見積もりのためのシステム７００の概略図である。ユーザ７１０は、カメラ７１４を使用して損傷車両７１６の画像７１２を撮影し、画像７１２をモバイルデバイス７０８（例えば、タブレットまたはスマートフォン）を介してシステム７００に送信する。プロセッサ７０４は、計算モデル７０６を使用して、画像７１２を評価し、車両損傷見積もりを生成し、その車両損傷見積もりは、モバイルデバイス７０８を介してユーザ７１０に提供される。レポートが、保険業者または車両修理店などの他の関係者に提供されてもよい。画像７１２は、モバイルデバイス７０８によって直接撮影されてもよい。画像７１２は、データセット７０２に追加されてもよく、モデル７０６は、画像７１２で更新されてもよい。
修理見積もりを生成するため、本手順は、最適な処理のために以下のように分けられる。
１．深層学習（好ましくは、畳み込みニューラルネットワーク）を介して損傷部分のセットを認識する。例えば車両所有者から提供された画像には、部分ラベルは提供されていないため、画像データ用のかなり豊富なモデルが必要である。車両所有者が、車両全体が見える画像を提供することが必要とされる場合がある。最も相応しいおよび適した画像が提供されることを確実にするために、ユーザへのリアルタイムの対話型フィードバックが実施されてもよい。例えば、１つまたは複数の「品質保証」分類子から画像を供給し、結果をリアルタイムで戻すことにより、ユーザが正確な修理見積もりに必要な画像すべてを撮影することを確実にする。
２．畳み込みニューラルネットワークを介して各損傷部分について「修理」／「交換」ラベルを予測する。修理／交換の区別は、典型的には非常にノイズが多く、誤ったラベル付けが発生する場合がある。これを解決するため、画像あたりの部分ラベルが特定される。その後、修理／交換ラベルは画像あたりではなく、部分あたりとなるため、より信頼性が高い。相互参照が、対応する部分が存在する個々の画像について修理／交換ラベルを獲得するのに役立ち得る。拡大画像の必要性を除去するために、車両全体が存在する画像の関連のある産物が作成されてもよい。部分について特定の拡大画像を獲得しなければ確実性が低い場合にはそれらを獲得するために、ユーザへのリアルタイムの対話型フィードバックが実施されてもよい。ステップ２は、各部分について「見えない」／「損傷なし」／「修理」／「交換」ラベルを予測することによって前述のステップ１と組み合わされてもよい。
２．５．畳み込みニューラルネットワークおよび予測型アナリティクスにより、関連した内部部分について「損傷なし」／「修理」／「交換」ラベルを予測する。内部損傷を正確に予測することは難しく、人間の専門の評価者でさえ苦労する場合がある。良好な結果を可能にするため、テレマティックスデータが、どの内部の電子部品が故障しているか／動作しているかということを決定するために、および予測型アナリティクス回帰（例えば、加速度計データ）に付加するため、車両から提供されてもよい。
３．例えば、予測により、または平均をとることによって、各労働動作を実施するための労働時間を獲得する。このステップはまた、畳み込みニューラルネットワークを伴ってもよい。労働時間それ自体ではなく損傷の深刻度を予測することが好ましい場合がある。労働時間データは、第三者から得てもよい。平均時間が使用される場合、平均時間の調節は、車両のモデルタイプ、すべての損傷部分のセット、損傷の深刻度などの１つまたは複数の容易に観察可能なパラメータに応じて行われてもよい。
４．各部品を交換するための部品価格＆労働賃金を獲得する。価格および賃金は、ルックアップにより、または平均値をとることによって獲得されてもよい。価格および賃金をルックアップするためには、ＡＰＩ呼び出しが、例えば、保険業者、第三者、または関連修理店のデータベースに対して行われてもよい。平均値は、ルックアップにより獲得されてもよく、平均価格または賃金が使用される場合、その平均価格または賃金の調節は、モデルタイプ、すべての損傷部分のセット、損傷の深刻度、過失／無過失などの１つまたは複数の観察可能または入手可能なパラメータに応じて行われてもよい。
５．価格、賃金、時間を加算および乗算することによって、修理見積もりを計算する。修理見積もりの事後分布を獲得するために、修理見積もりの不確実性もまたモデリングされ得る。例えば、総修理費の９５％信頼区間、または車両が廃車にされる確率が提供されてもよい。修理見積もりに対する信頼が不十分である場合には、その支払い請求は、人間へ委任されてもよい。
この手順によって、修理見積もりは、保険契約者によって、例えばスマートフォンで撮影された画像から、最初の損害発生通知の際に生成され得る。これは、車両への損傷の発生のほぼ直後に支払い請求の処理を可能にし得る。それは、例えば、モバイルアプリにより、以下の迅速な選択も可能にし得る。
・損傷車両が全損である場合は、新しい車両
・大きな修理が必要な場合は、代車
・大きな修理が必要な場合は、都合よい能力および価格の修理店
・大きな修理が必要な場合は、都合よいサプライヤからの早期部品調達のための代替部品
・軽い損傷が発生した場合には（例えば、フロントガラスの傷の修理）、オンサイト修理
最初の損害発生通知よりも後の時点で、例えば警察官または救急隊員などの公的サービスが立ち去った後、または車両ボディ取扱店もしくは他の専門施設において、修理見積もりのために画像が供給され得る。修理見積もりの出力事後分布は、例えば、修理見積もりの９５％信頼区間、または廃車の確率のよりよい見通しをつけるために生成され得る。修理見積もりプロセスは、例えば、モデルによって得られた見積もりが低い信頼性しか有しない場合、または微妙なケースの場合には、見積もりを人間のオペレータに引き渡すことによって、機械／人間によりデュアル生成され得る。保険契約者以外の関係者が、画像を撮影することができる（例えば、損傷車両の同乗者、事故に関与した相手方、警察官、救急車／救急隊員、損害査定人／評価者、保険業者代理人、ブローカ、事務弁護士、修理屋従業員）。修理見積もりのために提供された画像は、カメラまたは他の写真デバイスからのものであってよい。支払い請求の意欲を妨げるために超過値および／または予期される保険料の増額などの他の関連情報が、保険契約者に提供され得る。
上記のように修理見積もりを実施することによって、ここでは、保険業者および保険契約者の両者がいくつかの利益を得ることができる。例えば、保険業者は、以下のことができる。
・支払い請求を管理するための管理費を低減する。
・適切な保険料増額の正確な概算または少なくとも良好な概算を提供することによって、支払い請求率（損害率）を低減する。
・素早く処理すること、および高額なけがの支払い請求の機会を減少させることによって支払い請求額を低減する。
・（特定の国では）保険契約者を管理良好な修理チェーンに直接送ることによって、無過失の支払い請求額を低減する。
・稼働時間を減少させる。
・顧客維持を増大させる。
・潜在顧客に保険業者を切り替える動機を与える。
保険契約者は、優れた顧客サービスを得ることができ、また常連客に対して入札するサプライヤを活用することができる。特定の部品サプライヤは、優先サプライヤステータスから恩恵を得ることができる。車両修理業者およびボディ取扱店は、見積もりを作成するのに時間を費やすことを避けることができる。
上記のステップでは、畳み込みニューラルネットワークが用いられる。多画像クエリ（ｍｕｌｔｉ－ｉｍａｇｅ ｑｕｅｒｉｅｓ）を収容することができるマルチインスタンス学習（ＭＩＬ）畳み込みニューラルネットワークは、単一画像クエリ用の畳み込みニューラルネットワークよりも著しく良好に働く場合がある。複数の画像は、特に、角度、照明、オクルージョン、状況の欠如、不十分な解像度などからの画像ノイズを除去するのを助け得る。分類の場合、これは、クラスが単一画像を条件として出力される、従来の画像分類とは異なる。衝突修理見積もりの状況においては、多くの場合、単一画像内に、修理見積もり構成要素を出力するのに必要なすべての情報を撮影することは不可能であり得る。例において、後部バンパが修理を必要とするという事実は、損傷の拡大画像を撮影することによってのみ認識され得、拡大画像は、写真撮影されているのが後部バンパの一部であることを確認するのに必要とされる状況情報を失う。例における複数の画像内の情報を使用する機械学習モデルを訓練することによって、機械学習モデルは、後部バンパに修理の必要性があることを出力することができる。多画像クエリを収容することができる畳み込みニューラルネットワークアーキテクチャでは、畳み込みニューラルネットワーク内に、画像にわたってプーリングするレイヤが提供される。最大プーリング、平均プーリング、中間プーリング、または学習プーリングが適用され得る。より大きな簡便性のために、単一画像畳み込みニューラルネットワークが用いられてもよい。
これより、損傷部分のセットを認識すること、および「修理」／「交換」ラベルを予測することという、上記のように修理見積もりを生成するステップ１および２を達成することができるモデルを生成する手順をより詳細に説明する。これは、上記のような半自動ラベル付けによりラベル付け問題を解決することによって本質的に達成される。この手順は、認識／診断されるべき車両部分ごとのラベル付けされていない車両画像を含むデータセットに適用される。
Ａ．無関係の画像を削除する。無関係のデータを削除することによって、データはより容易に提示可能になる。
１．事前訓練されたモデル（上により詳細に説明されるような）を用いて目標データセットの特徴を抽出する。
２．データがどのようにモデリングされるか（上記のようなｔＳＮＥのＧＵＩプロット）をユーザに提示する。これにより、無関係のクラスタが意味的に異なることから、ユーザが無関係のクラスタを容易に特定することを可能にする。
３．無関係のクラスタのユーザ選択（または承認）を受信し、データセットから対応する画像を削除する。
４．さらなる無関係の画像がもはや削除されなくなるまで繰り返す。
Ｂ．「部分が見えない」、「部分が損傷を受けていない」「部分が損傷を受けている」の分類子を作る。
１．モデルおよび上のステップＡにおいて生成されるような目標データを用いて目標データセットの特徴を抽出する。
２．データがどのようにモデリングされるか（上記のようなｔＳＮＥのＧＵＩプロット）をユーザに提示する。これにより、ユーザが偏りの大きいクラスタを特定し、適切な場合にはそれらにラベル付けすることを可能にする。
－ 特徴空間の領域が探索されない場合、ユーザがまだ調べていないデータのサブセットがどのようにモデリングされるかをユーザに提示する。ユーザが、そのような情報を探求してもよく、または能動的学習アルゴリズムが、レビューの領域を特定してユーザに提供するために使用され得る。
－ 偏りのないクラスタの場合、類似性検索を用いた閲覧およびラベル付けのために画像をユーザに提供する。
・類似性検索は、共通ラベルを有する画像の迅速な特定をもたらすことができる。
・ユーザは、モデルが現実の車両損傷の可能性を正しく表すことを確実にするため、サブクラスを有するクラス階層（およびおそらくは密度も）の予備知識を有する（例えば、特定のタイプの修理可能な左前フェンダー損傷が現実において発生し得る場合、モデルは、そのようなケースを特定することができる必要がある）。
・特定された特徴が好適にクラス階層のもつれを解きほぐさない場合、高いユーザ監視が必要とされる場合がある。
・ユーザが利用可能な確立されたクラス階層を有しない場合、ユーザは、閲覧およびデータセットからの学習によって、その場限りでサブクラスを構築することができる。
・クラスタごと、ページごとに分布が生成される。突出したケースに達した場合、ユーザは、それらのケースをより長い間思案することができ、また類似性検索によりそれらを探索することができる。
３．ユーザラベル付け（またはラベル検証）を受信し、データセットを更新する。
４．モデルを訓練する。部分分類（または回帰）が満足のいくものでない場合、十分なデータおよびモデル品質が達成されるまで、検証済み／修正済みのラベル付けを用いてステップ２からサイクルを繰り返す。
５．特徴が判別可能でなくなったら（例えば、クラスタの内容のばらつきが小さいことが分かり、ラベル編集がより微妙な視覚パターンの問題になる）、微調整をする。順番にサイクルに取りかかるのではなく、微調整はまた、先行サイクルの間に挟まれ得るか、または先行サイクルと組み合わされ得る。
６．目標データセットの特徴を抽出する。
７．データがどのようにモデリングされるかをユーザに提示する。画像は、分類（または回帰）出力によってランク付けされて提示され得るため、ユーザは、分類（または回帰）出力を介して閲覧して、モデルが正しく識別したサブクラスはどれか、およびどのサブクラスが正しく認識されていないかを理解することができる。ユーザは、類似性検索により、どのサブクラスが正しく認識されていないかに応じた学習の次のステップに焦点を合わせることができる。提案された次の学習ステップは、正しく認識されていないサブクラスの閲覧および特定を自動化することができる能動的学習技術によって、ユーザに提供され得る。
８．ユーザからガイダンスを受信し、それに応じてデータセットを更新する。
９．モデルを訓練する。モデル正確性が満足のいくものでない場合、十分なデータおよびモデル品質が達成されるまで、検証済み／修正済みのラベル付けを用いてステップ６からサイクルを繰り返す。
Ｃ．「修理部分」「交換部分」分類子を作る（目標データセットは、部分的に誤ってラベル付けされた画像を含むことがある）。
１．特定の損傷部分画像を適切なアクションと関連付けるｃｓｖ／ｔｘｔファイルから修理／交換メタデータを抽出する。
２．修理／交換を、「損傷を受けた部分」とラベル付けされた部分に割り当てる。
３．更新された目標データセットを用いてモデルを訓練し、データセットの特徴を抽出する。
４．データがどのようにモデリングされるか（上記のようなｔＳＮＥのＧＵＩプロット）をユーザに提示する。これにより、ユーザが偏りの大きいクラスタを特定し、適切な場合にはそれらにラベル付けすることを可能にする。
－ 偏りのないクラスタの場合、上のステップＢ．４により詳細に説明されるように、類似性検索を用いた閲覧およびラベル付けのために画像をユーザに提供する。
５．ユーザラベル付け（またはラベル検証）を受信し、データセットを更新する。
６．モデルを訓練する。部分分類（または回帰）が満足のいくものでない場合、モデル正確性が満足のいくものになるまで、検証済み／修正済みのラベル付けを用いてステップ４からサイクルを繰り返す。
Ｄ．ステップＢおよびＣからのラベル付けされたデータを組み合わせて、単一の４クラス分類子（「見ることができない部分」、「損傷を受けていない部分」、「修理部分」、「交換部分」）を訓練する。
Ｅ．訓練されたモデルの正確性を測定する。このために、無作為の検定データセットが必要とされる。検定データセットを獲得するのに好ましい技術は、フルデータセットから無作為標本を取り出し、次いでユーザに検定データセットのすべての画像を閲覧させ、すべてのラベルを正しく割り当てさせることである。半自動ラベル付けから何らかの支援が得られる場合があるが、検定データセットの全画像の正しいラベル付けは、ユーザによって検証されなければならない。
これより、内部損傷予測の応用をより詳細に説明する。内部損傷予測は、例えば、回帰モデルなどの予測型アナリティクスとともに実施され得る。損傷車両の画像は、内部部分の直接観察を可能にしない。
Ａ．修理見積もりを予測する：修理費を回帰させる。
１．画像の予測的能力の指標を決定する：回帰させるものを徐々に減少させて修理の総費用を回帰させる。実践では測定コストが高いリグレッサが概算され、除去され得る方法は以下の通りである。
－ ほんの少しの部分のステータスを記録および検討する。総費用の正確な見積もりを生成することが可能であり得る。回帰モデルから省かれ得る部分の数が分析される。
－ 場合によっては、車両の内部部分の画像を記録および検討し（例えばボンネットを開けることによって）、さらには特定の内部部分を見るために特定の部分を取り除く。車両の外観の画像のみを記録および検討すれば十分な場合がある。回帰モデルから省かれ得る内部部分の数が分析される。
－ 労働動作（修理、交換、何もしない）を決定するために、ある部分の損傷の程度を検討する。修理／交換分類子（上記のように半自動的にラベル付けされたデータ上で訓練される）の出力がこれに供給され得る。
－ 部品価格決定を検討する：例えば、正確な当初の設備部分価格、現在／過去の平均価格、サッチャム価格を検討する。
－ 過失／無過失の支払い請求であるかどうかを検討する。
－ 総労働費用を評価する：例えば、正確な労働賃金、平均労働賃金、または過失／無過失の労働賃金を参考にし、また、例えば、各労働動作に対する正確な労働時間、平均労働時間、またはサッチャム労働時間を参考にする。
－ 自動車タイプ、走行可能距離などの他のメタデータを検討する。
－ 予測の感度を評価する（ｘ％分類誤差＝＞ｙ％費用予測誤差）。
－ 一般的に予期される誤差（例えば、６％）が、損傷のタイプ、見積もりを行う会社などのメタデータフィールドによって予測され得るかどうかを検討する。
－ ルックアップから獲得可能な労働のルールベースシーケンスを検討する。
２．画像の予測的能力を評価する。
－ 上からトップの回帰モデルを取り出し、特定の地上検証データの値を畳み込みニューラルネットワーク結果と置き換える：目に見える部分についての「修理」／「交換」ラベルを畳み込みニューラルネットワークモデルからの等価の予測と置き換える。この方法では、分類出力が回帰へと流れる。回帰パラメータは、畳み込みニューラルネットワーク出力に合わせて微調整されてもよい。回帰モデルから省かれ得る部分の数が分析されると、検討される部分の数が減少する。
－ 畳み込みニューラルネットワークを訓練して、画像上に直接回帰させるように回帰を実施する。総費用は、画像およびすべての他の観測量上に回帰される。予測される修理費の誤差が、反映される。
Ｂ．全損を予測する：廃車を回帰させる。上のステップＡについて実施されるステップ（修理費を回帰させる）は、修理費を払って損傷車両を修理する代わりに損傷車両を廃車にするかどうかを示すバイナリインジケータを回帰させるように適合される。
上記のプロセスにおいて、ステップのシーケンスは様々であり得る。損傷部分の画像では、バイナリの修理／交換決定よりも多くの情報が利用可能である。したがって、修理費を画像に回帰させることによって、画像のないモデルと比較して正確性を高めることができる。
修理見積もりの実施は、以下のようなさらなる特徴を含んでもよい。
・画像の不正および他の不正を防止および検出するための特徴
・誰の過失であるかを決定する特徴、および／または
・保険業者による処理のため、相手方の自動車の画像および／または衝突に関与した所有物を撮影および分析するための特徴
本発明は、単に例としてのみ上に説明されており、詳細事項の変更が本発明の範囲内で行われ得るということを理解されたい。
本明細書、ならびに（適切な場合には）請求項および図面に開示される各特徴は、独立して、または任意の適切な組み合わせで提供されてもよい。
請求項内に登場する参照番号は、例証のためのみであり、特許請求の範囲に対して制限を及ぼさないものとする。

Claims (21)

  1. 計算モデルを用いて車両損傷の修理を見積もるプロセッサが行う方法であって、
    前記計算モデルを用いて、損傷した車両の画像を評価し、車両損傷見積もりを生成し、前記車両損傷見積もりを生成するステップは、損傷部分を認識するステップと、前記損傷部分の修理または交換のラベルを予測するステップとを含む方法。
  2. 前記計算モデルは、前記損傷部分の修理または交換のラベルを予測するための畳み込みニューラルネットワークを含む、請求項１に記載の方法。
  3. 前記計算モデルは、前記損傷部分を認識するための畳み込みニューラルネットワークを含む、請求項１または請求項２に記載の方法。
  4. 前記車両損傷見積もりを生成するステップが、修理費用の見積もりを生成するステップを含む、請求項１から３のいずれかに記載の方法。
  5. 前記車両損傷見積もりを生成するステップが、前記損傷部分のセットを認識するステップと、各損傷部分の修理または交換のラベルを予測するステップとを含む、請求項１から４のいずれか１項に記載の方法。
  6. 前記車両損傷見積もりを生成するステップは、総修理費用を予測するステップ、および／または前記損傷した車両を廃車にするかどうかを示すステップを含む、請求項１から５のいずれか１項に記載の方法。
  7. 前記計算モデルは、複数画像クエリに対応することができる、請求項１から６のいずれか１項に記載の方法。
  8. プロセッサを含む車両損傷見積もりのためのシステムであって、
    前記プロセッサは、損傷した車両の画像を評価し、車両損傷見積もりを生成するように適合された計算モデルを含み、前記車両損傷見積もりを生成することは、損傷部分を認識することと、前記損傷部分の修理または交換のラベルを予測することとを含むシステム。
  9. 前記計算モデルは、前記損傷部分の修理または交換のラベルを予測するための畳み込みニューラルネットワークを含む、請求項８に記載のシステム。
  10. 前記計算モデルは、複数画像クエリに対応することができる、請求項８または請求項９に記載のシステム。
  11. 衝突に関与する車両の複数の画像をメモリに記憶することと、
    少なくとも１つのプロセッサを使用することとを含み、
    前記プロセッサは、
    衝突に関与する車両の複数の画像を受信し、
    前記複数の画像のサブセットに基づいて、前記車両の少なくとも１つの損傷部分を識別し、
    計算モデルを使用して生成される第１の分類子に基づいて、前記少なくとも１つの損傷部分が修理されるべきか交換されるべきかを判定する方法。
  12. 前記第１の分類子は、畳み込みニューラルネットワークを使用して生成される、請求項１１に記載の方法。
  13. 前記車両の前記少なくとも１つの損傷部分を識別することが、第２の分類子に基づく、請求項１１または請求項１２に記載の方法。
  14. 前記第２の分類子は、畳み込みニューラルネットワークを使用して生成される、請求項１３に記載の方法。
  15. 前記少なくとも１つの損傷部分は、複数の損傷部分を含み、前記判定する動作は、前記複数の損傷部分のそれぞれについて実行される、請求項１１から１４のいずれかに記載の方法。
  16. 前記少なくとも１つの損傷部分は、前記複数の画像のうちの２つ以上に含まれ、前記第１の分類子は、前記少なくとも１つの損傷部分が、前記複数の画像のうちの２つ以上において修理されるべきか交換されるべきかを判定するために使用される、請求項１１から１５のいずれか１項に記載の方法。
  17. 請求項１から７または請求項１１から１６のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
  18. 衝突に関与する車両の複数の画像を記憶するように構成されたメモリと、
    プロセッサとを含み、前記プロセッサは、
    前記複数の画像のサブセットに基づいて、前記車両の少なくとも１つの損傷部分を識別することと、
    計算モデルを使用して生成される第１の分類子に基づいて、前記少なくとも１つの損傷部分が、修理されるべきか交換されるべきかを判定することとを含む動作を実行するように構成されたシステム。
  19. 前記車両の前記少なくとも１つの損傷部分を識別することが、第２の分類子に基づく、請求項１８に記載のシステム。
  20. 前記少なくとも１つの損傷部分は、複数の損傷部分を含み、前記判定する動作は、前記複数の損傷部品のそれぞれについて実行され、前記動作は、
    前記複数の損傷部品のそれぞれを修理または交換するための費用を決定することと、
    前記複数の損傷部品のそれぞれを修理または交換するための費用を組み合わせて前記車両の総費用を決定することと、
    前記総費用に基づいて、前記車両を総損失とみなすべきかどうかを判定することとを含む、請求項１８または請求項１９に記載のシステム。
  21. 前記少なくとも１つの損傷部分は、前記複数の画像のうちの２つ以上に含まれ、前記第１の分類子は、前記少なくとも１つの損傷部分が、前記複数の画像のうちの２つ以上において修理されるべきか交換されるべきかを判定するために使用される、請求項１８から２０のいずれか１項に記載のシステム。
JP2022048334A 2015-10-02 2022-03-24 データセットの半自動ラベル付け Pending JP2022091875A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GBGB1517462.6A GB201517462D0 (en) 2015-10-02 2015-10-02 Semi-automatic labelling of datasets
GB1517462.6 2015-10-02
JP2018536348A JP7048499B2 (ja) 2015-10-02 2016-10-03 データセットの半自動ラベル付け
PCT/GB2016/053071 WO2017055878A1 (en) 2015-10-02 2016-10-03 Semi-automatic labelling of datasets

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018536348A Division JP7048499B2 (ja) 2015-10-02 2016-10-03 データセットの半自動ラベル付け

Publications (1)

Publication Number Publication Date
JP2022091875A true JP2022091875A (ja) 2022-06-21

Family

ID=54606017

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018536348A Active JP7048499B2 (ja) 2015-10-02 2016-10-03 データセットの半自動ラベル付け
JP2022048334A Pending JP2022091875A (ja) 2015-10-02 2022-03-24 データセットの半自動ラベル付け

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018536348A Active JP7048499B2 (ja) 2015-10-02 2016-10-03 データセットの半自動ラベル付け

Country Status (8)

Country Link
US (1) US20180300576A1 (ja)
EP (1) EP3357002A1 (ja)
JP (2) JP7048499B2 (ja)
KR (1) KR20180118596A (ja)
CN (1) CN108885700A (ja)
AU (2) AU2016332947B2 (ja)
GB (1) GB201517462D0 (ja)
WO (1) WO2017055878A1 (ja)

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565225B2 (en) 2016-03-04 2020-02-18 International Business Machines Corporation Exploration and navigation of a content collection
US11961341B2 (en) 2016-04-19 2024-04-16 Mitchell International, Inc. Systems and methods for determining likelihood of incident relatedness for diagnostic trouble codes
US10152836B2 (en) 2016-04-19 2018-12-11 Mitchell International, Inc. Systems and methods for use of diagnostic scan tool in automotive collision repair
US10497108B1 (en) * 2016-12-23 2019-12-03 State Farm Mutual Automobile Insurance Company Systems and methods for machine-assisted vehicle inspection
US10970605B2 (en) * 2017-01-03 2021-04-06 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US10657707B1 (en) 2017-01-09 2020-05-19 State Farm Mutual Automobile Insurance Company Photo deformation techniques for vehicle repair analysis
US10510142B1 (en) 2017-01-13 2019-12-17 United Services Automobile Association (Usaa) Estimation using image analysis
EP3385884A1 (en) * 2017-04-04 2018-10-10 Siemens Aktiengesellschaft Method for recognising an oject of a mobile unit
CN107403424B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107194323B (zh) * 2017-04-28 2020-07-03 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN107180413B (zh) 2017-05-05 2019-03-15 平安科技（深圳）有限公司 车损图片角度纠正方法、电子装置及可读存储介质
CN106971556B (zh) * 2017-05-16 2019-08-02 中山大学 基于双网络结构的卡口车辆重识别方法
US11468286B2 (en) * 2017-05-30 2022-10-11 Leica Microsystems Cms Gmbh Prediction guided sequential data learning method
US11256963B2 (en) * 2017-05-31 2022-02-22 Eizo Corporation Surgical instrument detection system and computer program
US11250515B1 (en) * 2017-06-09 2022-02-15 Liberty Mutual Insurance Company Self-service claim automation using artificial intelligence
US10762385B1 (en) * 2017-06-29 2020-09-01 State Farm Mutual Automobile Insurance Company Deep learning image processing method for determining vehicle damage
CN107610091A (zh) * 2017-07-31 2018-01-19 阿里巴巴集团控股有限公司 车险图像处理方法、装置、服务器及系统
US11120480B2 (en) * 2017-09-14 2021-09-14 Amadeus S.A.S. Systems and methods for real-time online traveler segmentation using machine learning
US20210256616A1 (en) 2017-09-27 2021-08-19 State Farm Mutual Automobile Insurance Company Automobile Monitoring Systems and Methods for Risk Determination
US11636288B2 (en) * 2017-11-06 2023-04-25 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
EP3662418B1 (de) * 2017-11-08 2021-08-25 Siemens Aktiengesellschaft Verfahren und vorrichtung für maschinelles lernen in einer recheneinheit
CN108021931A (zh) 2017-11-20 2018-05-11 阿里巴巴集团控股有限公司 一种数据样本标签处理方法及装置
CN108268619B (zh) 2018-01-08 2020-06-30 阿里巴巴集团控股有限公司 内容推荐方法及装置
CN108446817B (zh) 2018-02-01 2020-10-02 阿里巴巴集团控股有限公司 确定业务对应的决策策略的方法、装置和电子设备
US10984503B1 (en) 2018-03-02 2021-04-20 Autodata Solutions, Inc. Method and system for vehicle image repositioning using machine learning
US11270168B1 (en) * 2018-03-02 2022-03-08 Autodata Solutions, Inc. Method and system for vehicle image classification
WO2019171120A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method for controlling driving vehicle and method and device for inferring mislabeled data
WO2019203924A1 (en) * 2018-04-16 2019-10-24 Exxonmobil Research And Engineering Company Automation of visual machine part ratings
US10754324B2 (en) * 2018-05-09 2020-08-25 Sikorsky Aircraft Corporation Composite repair design system
JP7175101B2 (ja) * 2018-05-10 2022-11-18 日本放送協会 音声特性処理装置、音声認識装置およびプログラム
US11669724B2 (en) * 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
WO2019232641A1 (en) * 2018-06-07 2019-12-12 Element Ai Inc. Automated labeling of data with user validation
CN108764372B (zh) * 2018-06-08 2019-07-16 Oppo广东移动通信有限公司 数据集的构建方法和装置、移动终端、可读存储介质
DE102018114231A1 (de) * 2018-06-14 2019-12-19 Connaught Electronics Ltd. Verfahren und System zum Erfassen von Objekten unter Verwendung mindestens eines Bildes eines Bereichs von Interesse (ROI)
US11120574B1 (en) 2018-06-15 2021-09-14 State Farm Mutual Automobile Insurance Company Methods and systems for obtaining image data of a vehicle for automatic damage assessment
US10832065B1 (en) 2018-06-15 2020-11-10 State Farm Mutual Automobile Insurance Company Methods and systems for automatically predicting the repair costs of a damaged vehicle from images
US11238506B1 (en) 2018-06-15 2022-02-01 State Farm Mutual Automobile Insurance Company Methods and systems for automatic processing of images of a damaged vehicle and estimating a repair cost
CN109002843A (zh) * 2018-06-28 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
KR102631031B1 (ko) * 2018-07-27 2024-01-29 삼성전자주식회사 반도체 장치의 불량 검출 방법
CN110569856B (zh) 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN109272023B (zh) * 2018-08-27 2021-04-27 中国科学院计算技术研究所 一种物联网迁移学习方法和系统
CN110569696A (zh) 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN110570316A (zh) 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置
CN110569864A (zh) 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
CN110569699B (zh) * 2018-09-07 2020-12-29 创新先进技术有限公司 对图片进行目标采样的方法及装置
US11816641B2 (en) * 2018-09-21 2023-11-14 Ttx Company Systems and methods for task distribution and tracking
BR112021006438A2 (pt) * 2018-10-03 2021-07-06 Solera Holdings Inc aparelho e método para inteligência visual combinada
JPWO2020071559A1 (ja) * 2018-10-05 2021-10-07 Ａｒｉｔｈｍｅｒ株式会社 車両状態判定装置、その判定プログラムおよびその判定方法
JP7022674B2 (ja) * 2018-10-12 2022-02-18 一般財団法人日本自動車研究所 衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システム
US11475248B2 (en) 2018-10-30 2022-10-18 Toyota Research Institute, Inc. Auto-labeling of driving logs using analysis-by-synthesis and unsupervised domain adaptation
US11100364B2 (en) * 2018-11-19 2021-08-24 Cisco Technology, Inc. Active learning for interactive labeling of new device types based on limited feedback
KR20200068043A (ko) * 2018-11-26 2020-06-15 전자부품연구원 영상 기계학습을 위한 객체 gt 정보 생성 방법 및 시스템
US11748393B2 (en) * 2018-11-28 2023-09-05 International Business Machines Corporation Creating compact example sets for intent classification
CN111339396B (zh) * 2018-12-18 2024-04-16 富士通株式会社 提取网页内容的方法、装置和计算机存储介质
CN109711319B (zh) * 2018-12-24 2023-04-07 安徽高哲信息技术有限公司 一种粮食不完善粒图像识别样本库建立的方法及系统
KR102223687B1 (ko) * 2018-12-28 2021-03-04 사단법인 한국인지과학산업협회 기계 학습 데이터 선택 방법 및 장치
KR102096386B1 (ko) * 2018-12-31 2020-04-03 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
KR102097120B1 (ko) 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
US11481578B2 (en) * 2019-02-22 2022-10-25 Neuropace, Inc. Systems and methods for labeling large datasets of physiological records based on unsupervised machine learning
WO2020183979A1 (ja) * 2019-03-11 2020-09-17 Ｎｅｃソリューションイノベータ株式会社 学習装置、学習方法及び非一時的なコンピュータ可読媒体
CN109902765A (zh) * 2019-03-22 2019-06-18 北京滴普科技有限公司 一种支持人工智能的智能云标记方法
US11475187B2 (en) * 2019-03-22 2022-10-18 Optimal Plus Ltd. Augmented reliability models for design and manufacturing
US11100917B2 (en) * 2019-03-27 2021-08-24 Adobe Inc. Generating ground truth annotations corresponding to digital image editing dialogues for training state tracking models
JP7390628B2 (ja) * 2019-03-28 2023-12-04 パナソニックＩｐマネジメント株式会社 識別情報付与装置、識別情報付与方法、及びプログラム
DE102019108722A1 (de) * 2019-04-03 2020-10-08 Bayerische Motoren Werke Aktiengesellschaft Videoverarbeitung für maschinelles Lernen
CN110135263A (zh) * 2019-04-16 2019-08-16 深圳壹账通智能科技有限公司 人像属性模型构建方法、装置、计算机设备和存储介质
DE102019112289B3 (de) * 2019-05-10 2020-06-18 Controlexpert Gmbh Verfahren zur Schadenserfassung bei einem Kraftfahrzeug
US11531875B2 (en) * 2019-05-14 2022-12-20 Nasdaq, Inc. Systems and methods for generating datasets for model retraining
CN113743535B (zh) * 2019-05-21 2024-05-24 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
US11170264B2 (en) * 2019-05-31 2021-11-09 Raytheon Company Labeling using interactive assisted segmentation
WO2020247810A1 (en) * 2019-06-06 2020-12-10 Home Depot International, Inc. Optimizing training data for image classification
US10997466B2 (en) * 2019-06-21 2021-05-04 Straxciro Pty. Ltd. Method and system for image segmentation and identification
US11100368B2 (en) 2019-06-25 2021-08-24 GumGum, Inc. Accelerated training of an image classifier
CN110321952B (zh) * 2019-07-02 2024-02-09 腾讯医疗健康(深圳)有限公司 一种图像分类模型的训练方法及相关设备
GB201909578D0 (en) * 2019-07-03 2019-08-14 Ocado Innovation Ltd A damage detection apparatus and method
US11644595B2 (en) * 2019-07-16 2023-05-09 Schlumberger Technology Corporation Geologic formation operations framework
US11281728B2 (en) * 2019-08-06 2022-03-22 International Business Machines Corporation Data generalization for predictive models
US11829871B2 (en) * 2019-08-20 2023-11-28 Lg Electronics Inc. Validating performance of a neural network trained using labeled training data
US20210073669A1 (en) * 2019-09-06 2021-03-11 American Express Travel Related Services Company Generating training data for machine-learning models
US11410287B2 (en) * 2019-09-09 2022-08-09 Genpact Luxembourg S.à r.l. II System and method for artificial intelligence based determination of damage to physical structures
US11861514B2 (en) * 2019-09-18 2024-01-02 Luminex Corporation Using machine learning algorithms to prepare training datasets
CN114467146A (zh) * 2019-09-26 2022-05-10 株式会社润医 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置
JP6890764B2 (ja) * 2019-09-27 2021-06-18 楽天グループ株式会社 教師データ生成システム、教師データ生成方法、及びプログラム
US11182646B2 (en) 2019-09-27 2021-11-23 Landing AI User-generated visual guide for the classification of images
CA3094782A1 (en) 2019-09-30 2021-03-30 Mitchell International, Inc. Automated vehicle repair estimation by preferential ensembling of multiple artificial intelligence functions
US11640587B2 (en) 2019-09-30 2023-05-02 Mitchell International, Inc. Vehicle repair workflow automation with OEM repair procedure verification
US11526899B2 (en) 2019-10-11 2022-12-13 Kinaxis Inc. Systems and methods for dynamic demand sensing
US20210110298A1 (en) 2019-10-15 2021-04-15 Kinaxis Inc. Interactive machine learning
US11886514B2 (en) 2019-10-11 2024-01-30 Kinaxis Inc. Machine learning segmentation methods and systems
CA3157991A1 (en) * 2019-10-14 2021-04-22 Schlumberger Canada Limited Feature detection in seismic data
KR20210048896A (ko) * 2019-10-24 2021-05-04 엘지전자 주식회사 전자 장치의 용도에 부적합한 물품의 검출
DE102019129968A1 (de) * 2019-11-06 2021-05-06 Controlexpert Gmbh Verfahren zur einfachen Annotation komplexer Schäden auf Bildmaterial
US11295242B2 (en) 2019-11-13 2022-04-05 International Business Machines Corporation Automated data and label creation for supervised machine learning regression testing
WO2021093946A1 (en) 2019-11-13 2021-05-20 Car.Software Estonia As A computer assisted method for determining training images for an image recognition algorithm from a video sequence
US11222238B2 (en) * 2019-11-14 2022-01-11 Nec Corporation Object detection with training from multiple datasets
US11710068B2 (en) 2019-11-24 2023-07-25 International Business Machines Corporation Labeling a dataset
US11790411B1 (en) 2019-11-29 2023-10-17 Wells Fargo Bank, N.A. Complaint classification in customer communications using machine learning models
KR102235588B1 (ko) * 2019-12-09 2021-04-02 한국로봇융합연구원 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
GB202017464D0 (en) * 2020-10-30 2020-12-16 Tractable Ltd Remote vehicle damage assessment
AU2021204872A1 (en) 2020-01-03 2022-08-04 Tractable Ltd Method of determining damage to parts of a vehicle
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
US11537886B2 (en) 2020-01-31 2022-12-27 Servicenow Canada Inc. Method and server for optimizing hyperparameter tuples for training production-grade artificial intelligence (AI)
US11727285B2 (en) 2020-01-31 2023-08-15 Servicenow Canada Inc. Method and server for managing a dataset in the context of artificial intelligence
US11631165B2 (en) * 2020-01-31 2023-04-18 Sachcontrol Gmbh Repair estimation based on images
US11158398B2 (en) 2020-02-05 2021-10-26 Origin Labs, Inc. Systems configured for area-based histopathological learning and prediction and methods thereof
US20210241040A1 (en) * 2020-02-05 2021-08-05 Origin Labs, Inc. Systems and Methods for Ground Truth Dataset Curation
US10846322B1 (en) 2020-02-10 2020-11-24 Capital One Services, Llc Automatic annotation for vehicle damage
CN111368977B (zh) * 2020-02-28 2023-05-02 交叉信息核心技术研究院(西安)有限公司 一种提高卷积神经网络精确性和鲁棒性的增强数据增强方法
US11501165B2 (en) 2020-03-04 2022-11-15 International Business Machines Corporation Contrastive neural network training in an active learning environment
CN111369373B (zh) * 2020-03-06 2023-05-05 德联易控科技(北京)有限公司 车辆内部损坏确定方法及装置
US11636338B2 (en) 2020-03-20 2023-04-25 International Business Machines Corporation Data augmentation by dynamic word replacement
US11423333B2 (en) 2020-03-25 2022-08-23 International Business Machines Corporation Mechanisms for continuous improvement of automated machine learning
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
US11501551B2 (en) * 2020-06-08 2022-11-15 Optum Services (Ireland) Limited Document processing optimization
US11663486B2 (en) 2020-06-23 2023-05-30 International Business Machines Corporation Intelligent learning system with noisy label data
US11669590B2 (en) 2020-07-15 2023-06-06 Mitchell International, Inc. Managing predictions for vehicle repair estimates
US11487047B2 (en) * 2020-07-15 2022-11-01 International Business Machines Corporation Forecasting environmental occlusion events
US11544256B2 (en) 2020-07-30 2023-01-03 Mitchell International, Inc. Systems and methods for automating mapping of repair procedures to repair information
CN114092632A (zh) 2020-08-06 2022-02-25 财团法人工业技术研究院 标注方法、应用其的装置、系统、方法及计算机程序产品
US11488117B2 (en) 2020-08-27 2022-11-01 Mitchell International, Inc. Systems and methods for managing associations between damaged parts and non-reusable parts in a collision repair estimate
US11727089B2 (en) 2020-09-08 2023-08-15 Nasdaq, Inc. Modular machine learning systems and methods
US20220147896A1 (en) * 2020-11-06 2022-05-12 International Business Machines Corporation Strategic planning using deep learning
CN112487973B (zh) * 2020-11-30 2023-09-12 阿波罗智联(北京)科技有限公司 用户图像识别模型的更新方法和装置
US11645449B1 (en) 2020-12-04 2023-05-09 Wells Fargo Bank, N.A. Computing system for data annotation
WO2022158026A1 (ja) * 2021-01-19 2022-07-28 Ｓｏｉｎｎ株式会社 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体
US11971953B2 (en) 2021-02-02 2024-04-30 Inait Sa Machine annotation of photographic images
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
JP2024506691A (ja) 2021-02-18 2024-02-14 アイエヌエイアイティ エスエイ ２ｄ画像において視認可能な使用形跡を使用した３ｄモデルの注釈付け
US20220351503A1 (en) * 2021-04-30 2022-11-03 Micron Technology, Inc. Interactive Tools to Identify and Label Objects in Video Frames
CN113706448B (zh) * 2021-05-11 2022-07-12 腾讯医疗健康(深圳)有限公司 确定图像的方法、装置、设备及存储介质
US20220383420A1 (en) * 2021-05-27 2022-12-01 GM Global Technology Operations LLC System for determining vehicle damage and drivability and for connecting to remote services
JP2022182628A (ja) * 2021-05-28 2022-12-08 株式会社ブリヂストン 情報処理装置、情報処理方法、情報処理プログラム、及び学習モデル生成装置
KR102405168B1 (ko) * 2021-06-17 2022-06-07 국방과학연구소 데이터 셋 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102340998B1 (ko) * 2021-07-06 2021-12-20 (주) 웨다 오토 레이블링 방법 및 시스템
US11809375B2 (en) 2021-07-06 2023-11-07 International Business Machines Corporation Multi-dimensional data labeling
CN117730315A (zh) * 2021-07-30 2024-03-19 富士胶片株式会社 数据创建装置、数据创建方法、程序及记录介质
US20230100179A1 (en) * 2021-09-28 2023-03-30 Varian Medical Systems, Inc. Automated, collaborative process for ai model production
US12002192B2 (en) 2021-11-16 2024-06-04 Solera Holdings, Llc Transfer of damage markers from images to 3D vehicle models for damage assessment
KR102394024B1 (ko) * 2021-11-19 2022-05-06 서울대학교산학협력단 자율 주행 차량에서 객체 검출을 위한 준지도 학습 방법 및 이러한 방법을 수행하는 장치
US20240112043A1 (en) * 2022-09-28 2024-04-04 Bentley Systems, Incorporated Techniques for labeling elements of an infrastructure model with classes
CN115880565B (zh) * 2022-12-06 2023-09-05 江苏凤火数字科技有限公司 一种基于神经网络的报废车辆识别方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050135667A1 (en) * 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US20120269436A1 (en) * 2011-04-20 2012-10-25 Xerox Corporation Learning structured prediction models for interactive image labeling
CN103295027A (zh) * 2013-05-17 2013-09-11 北京康拓红外技术股份有限公司 一种基于支持向量机的铁路货车挡键丢失故障识别方法
CN104268783A (zh) * 2014-05-30 2015-01-07 翱特信息系统（中国）有限公司 车辆定损估价的方法、装置和终端设备
US20150019463A1 (en) * 2013-07-12 2015-01-15 Microsoft Corporation Active featuring in computer-human interactive learning
CN104408477A (zh) * 2014-12-18 2015-03-11 成都铁安科技有限责任公司 一种关键部位的故障检测方法及装置
WO2015049732A1 (ja) * 2013-10-02 2015-04-09 株式会社日立製作所 画像検索方法、画像検索システム、および情報記録媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1204060A4 (en) * 2000-02-15 2003-08-20 E A C Co Ltd SYSTEM FOR RECOGNIZING A DAMAGED PART OF A CAR INVOLVED IN AN ACCIDENT AND COMPUTER-READABLE MEDIUM ON WHICH A PROGRAM IS RECORDED
US7809587B2 (en) * 2004-05-07 2010-10-05 International Business Machines Corporation Rapid business support of insured property using image analysis
IT1337796B1 (it) * 2004-05-11 2007-02-20 Fausto Siri Procedimento per il riconoscimento, l'analisi e la valutazione delle deformazioni in particolare in automezzi
US8239220B2 (en) * 2006-06-08 2012-08-07 Injury Sciences Llc Method and apparatus for obtaining photogrammetric data to estimate impact severity
US7792353B2 (en) * 2006-10-31 2010-09-07 Hewlett-Packard Development Company, L.P. Retraining a machine-learning classifier using re-labeled training samples
US7823841B2 (en) * 2007-06-01 2010-11-02 General Electric Company System and method for broken rail and train detection
US8626682B2 (en) * 2011-02-22 2014-01-07 Thomson Reuters Global Resources Automatic data cleaning for machine learning classifiers
WO2012115819A1 (en) * 2011-02-24 2012-08-30 3M Innovative Properties Company System for detection of non-uniformities in web-based materials
JP5889019B2 (ja) 2012-02-06 2016-03-22 キヤノン株式会社 ラベル付加装置、ラベル付加方法及びプログラム
US8510196B1 (en) * 2012-08-16 2013-08-13 Allstate Insurance Company Feedback loop in mobile damage assessment and claims processing
JP5982726B2 (ja) 2012-12-28 2016-08-31 株式会社日立製作所 ボリュームデータ解析システム及びその方法
CN103310223A (zh) * 2013-03-13 2013-09-18 四川天翼网络服务有限公司 一种基于图像识别的车辆定损系统及方法
CN103258433B (zh) * 2013-04-22 2015-03-25 中国石油大学(华东) 一种交通视频监控中智能车牌清晰显示方法
CN103390171A (zh) * 2013-07-24 2013-11-13 南京大学 一种安全的半监督学习方法
CN104517117A (zh) * 2013-10-06 2015-04-15 青岛联合创新技术服务平台有限公司 智能汽车定损装置
CN103839078B (zh) * 2014-02-26 2017-10-27 西安电子科技大学 一种基于主动学习的高光谱图像分类方法
US10043112B2 (en) 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
CN103955462B (zh) * 2014-03-21 2017-03-15 南京邮电大学 一种基于多视图和半监督学习机制的图像标注方法
CN104166706B (zh) * 2014-08-08 2017-11-03 苏州大学 基于代价敏感主动学习的多标签分类器构建方法
CN104156438A (zh) * 2014-08-12 2014-11-19 德州学院 一种基于置信度和聚类的未标记样本选择的方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104598813B (zh) * 2014-12-09 2017-05-17 西安电子科技大学 一种基于集成学习和半监督svm的计算机入侵检测方法
CN104484682A (zh) * 2014-12-31 2015-04-01 中国科学院遥感与数字地球研究所 一种基于主动深度学习的遥感图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050135667A1 (en) * 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US20120269436A1 (en) * 2011-04-20 2012-10-25 Xerox Corporation Learning structured prediction models for interactive image labeling
CN103295027A (zh) * 2013-05-17 2013-09-11 北京康拓红外技术股份有限公司 一种基于支持向量机的铁路货车挡键丢失故障识别方法
US20150019463A1 (en) * 2013-07-12 2015-01-15 Microsoft Corporation Active featuring in computer-human interactive learning
WO2015049732A1 (ja) * 2013-10-02 2015-04-09 株式会社日立製作所 画像検索方法、画像検索システム、および情報記録媒体
CN104268783A (zh) * 2014-05-30 2015-01-07 翱特信息系统（中国）有限公司 车辆定损估价的方法、装置和终端设备
CN104408477A (zh) * 2014-12-18 2015-03-11 成都铁安科技有限责任公司 一种关键部位的故障检测方法及装置

Also Published As

Publication number Publication date
WO2017055878A1 (en) 2017-04-06
AU2022202268A1 (en) 2022-04-21
GB201517462D0 (en) 2015-11-18
CN108885700A (zh) 2018-11-23
AU2016332947B2 (en) 2022-01-06
AU2016332947A1 (en) 2018-05-17
JP7048499B2 (ja) 2022-04-05
EP3357002A1 (en) 2018-08-08
JP2018537798A (ja) 2018-12-20
KR20180118596A (ko) 2018-10-31
US20180300576A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP7048499B2 (ja) データセットの半自動ラベル付け
US20240087102A1 (en) Automatic Image Based Object Damage Assessment
US10373262B1 (en) Image processing system for vehicle damage
Karaaslan et al. Artificial intelligence assisted infrastructure assessment using mixed reality systems
CN103294592B (zh) 利用用户工具交互来自动分析其服务交付中的缺陷的方法与系统
US10380696B1 (en) Image processing system for vehicle damage
TW202027007A (zh) 電腦執行的車輛定損方法及裝置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
Shi et al. A detection and classification approach for underwater dam cracks
CN112070231A (zh) 用于机器学习性能测试和改进的数据分片
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
Ousmane et al. Automatic recognition system of emotions expressed through the face using machine learning: Application to police interrogation simulation
US20210397905A1 (en) Classification system
Sameki et al. ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently.
KR20200124887A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN118176515A (zh) 车辆损坏情况评估系统和方便车辆维修或维护服务的平台
CN113408546B (zh) 基于相互全局上下文注意力机制的单样本目标检测方法
Gangopadhyay et al. Benchmarking framework for anomaly localization: Towards real-world deployment of automated visual inspection
US20220148050A1 (en) Systems and methods for using machine learning for vehicle damage detection and repair cost estimation
Sattarzadeh Visual post-hoc Explanation of Convolutional Neural Networks via Attribution-Based Perturbation
Sudhakaran Facial Emotion Detection using Deep Learning for Psychometric Assessment in a Cloud Environment
Raap Vehicle Damage Detection using Semi-Supervised Object Detection
CN117763350A (zh) 一种标注数据清洗方法及装置
Clark et al. Deriving a Quantitative Relationship Between Resolution and Human Classification Error

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240603