JP2022537857A - ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法 - Google Patents

ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法 Download PDF

Info

Publication number
JP2022537857A
JP2022537857A JP2021536348A JP2021536348A JP2022537857A JP 2022537857 A JP2022537857 A JP 2022537857A JP 2021536348 A JP2021536348 A JP 2021536348A JP 2021536348 A JP2021536348 A JP 2021536348A JP 2022537857 A JP2022537857 A JP 2022537857A
Authority
JP
Japan
Prior art keywords
damage
degree
image
automobile
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021536348A
Other languages
English (en)
Other versions
JP7277997B2 (ja
Inventor
ユン キム，テ
ソル オ，ジン
ソン ベ，ビョン
Original Assignee
アジャイルソーダ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アジャイルソーダ インコーポレイテッド filed Critical アジャイルソーダ インコーポレイテッド
Publication of JP2022537857A publication Critical patent/JP2022537857A/ja
Application granted granted Critical
Publication of JP7277997B2 publication Critical patent/JP7277997B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明は、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関する。【選択図】図１

Description

本出願は、特許文献１、特許文献２、および特許文献３に基づく優先権の利益を主張し、該韓国特許出願の文献に開示された全ての内容は、本明細書の一部として含まれる。
本発明は、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関し、より具体的には、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、その抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関する。
一般に、交通事故などの様々な要因により自動車が破損した場合には、破損車両を整備工場に入庫させた後、整備専門家の判断に応じて自動車の破損程度を決めることになる。この時、整備専門家別に破損程度を判断する基準が定型化しておらず主観的な判断が介入するため、類似の破損程度にもかかわらず修理費の見積もりが大きく異なる場合が発生している。
したがって、整備専門家たちの主観的な破損程度の判断基準ではなく、定型化し一貫性のある判断基準を通じて信頼できる修理費の見積もりを策定できる技術が必要な実情がある。
韓国特許第１０－２０１８－０１７４０９９号公報 韓国特許第１０－２０１８－０１７４１１０号公報 韓国特許第１０－２０１９－００７９９１４号公報
本発明は、上述した問題を解決するために導き出されたものであり、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、その抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法を提供しようとする。
本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システムは、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するモデル生成部、前記モデル生成部を介して生成されたモデルに基づいて、ユーザ端末から取得される自動車撮影イメージを補正処理するイメージ前処理部、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化する部品把握部、前記自動車撮影イメージの中から破損が発生した部品に対するイメージを抽出する破損部位イメージ抽出部、および抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて、該破損部位の破損程度を既に設定された状態に応じて判別する破損程度判別部を含むことを特徴とする。
一実施形態において、前記イメージ前処理部は、前記自動車撮影イメージの回転および反転処理を通じてイメージを拡張（ａｕｇｍｅｎｔａｔｉｏｎ）する補正処理、または前記自動車撮影イメージ上の光反射を除去する補正処理を行うことを特徴とする。
一実施形態において、前記部品把握部は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、前記自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化することを特徴とする。
一実施形態において、前記破損程度判別部は、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、前記破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別することを特徴とする。
一実施形態において、前記部品把握部は、前記Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて前記バンパー、ドア、フェンダー、トランクおよびフードに関する領域をマスキングし、互いに隣接した領域の境界をカバーするように各領域の外郭ラインより広い領域をマスキングすることを特徴とする。
一実施形態において、本発明は、前記ユーザ端末から自動車撮影イメージを取得する取得部をさらに含むことを特徴とする。
一実施形態において、本発明は、前記破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それを前記ユーザ端末に提供する予想修理見積もり提供部をさらに含むことを特徴とする。
本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定方法は、モデル生成部を介して、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するステップ、イメージ前処理部を介して、前記モデル生成部を介して生成されたモデルに基づいてユーザ端末から取得される自動車撮影イメージを補正処理するステップ、部品把握部を介して、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化するステップ、破損部位イメージ抽出部を介して、前記自動車撮影イメージの中から破損が発生した自動車部品に対するイメージを抽出するステップ、および破損程度判別部を介して、抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて該破損部位の破損程度を既に設定された状態に応じて判別するステップを含むことを特徴とする。
一実施形態において、本発明は、取得部を介して、前記ユーザ端末から前記自動車撮影イメージを取得するステップをさらに含むことを特徴とする。
一実施形態において、本発明は、予想修理見積もり提供部を介して、前記破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出し、それを前記ユーザ端末に提供するステップを含むことを特徴とする。
本発明の一側面によれば、車両所有者が直接自身が撮影した事故イメージに基づいて、一貫性があって信頼できる車両修理見積もりを迅速に取得できるという利点を有する。
また、本発明の一側面によれば、数万枚以上の事故イメージに基づいて学習されたディープラーニングモデルに基づいて破損程度の判別結果を迅速に導出できるという利点を有する。
なお、本発明の一側面によれば、交通事故などの様々な要因により自動車が破損した場合、破損車両を整備工場に入庫させた後、整備専門家の判断に応じて自動車の破損程度を決める過程を行わなくてもよい。そのため、整備専門家別に破損程度を判断する基準が定型化しておらず主観的な判断が介入するため、類似の破損程度にもかかわらず修理費の見積もりが大きく異なる問題を効果的に防止できるという利点を有する。
本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００の構成を概略的に示す図である。 図１に示されたモデル生成部１１０の構成を示す図である。 図１に示された部品把握部１３０を介して自動車撮影イメージを自動車部品別に把握および細分化する状態を示す図である。 図１に示された破損部位イメージ抽出部１４０を介して破損が発生した自動車部品に対するイメージを抽出する状態を示す図である。 本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００の構成を概略的に示す図である。 図１に示されたディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００を介して自動車部位別の破損程度を自動で判定するための方法を一連の順に示す図である。 図５に示されたディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００を介して自動車部位別の破損程度を自動で判定するための他の方法を一連の順に示す図である。
以下、本発明の理解を助けるために好ましい実施形態を提示する。但し、下記の実施形態は本発明をより容易に理解するために提供されるものに過ぎず、下記の実施形態によって本発明の内容が限定されるものではない。
図１は、本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００の構成を概略的に示す図であり、図２は、図１に示されたモデル生成部１１０の構成を示す図である。
図１および図２を参照すれば、本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００は、大きく、モデル生成部１１０、イメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０を含んで構成されることができる。
モデル生成部１１０は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する役割をする。
より具体的に、モデル生成部１１０は、大きく、第１モデル生成部１１０ａ、第２モデル生成部１１０ｂ、第３モデル生成部１１０ｃおよび第４モデル生成部１１０ｄを含んで構成されることができる。
第１モデル生成部１１０ａは、複数の第１自動車撮影イメージの中から一部の自動車撮影イメージを選択したデータを学習して第１モデルを生成する役割をする。
より具体的に、第１モデル生成部１１０ａは、自動車事故時、事故車両の事故修理前状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージと、事故修理後状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージを互いに比較した結果値に基づいて、複数の第１自動車撮影イメージ（例えば、自動車事故時、事故車両を撮影した３０枚～４０枚の自動車撮影イメージ）の中から、既に事故修理が完了した後の状態を撮影したと判断されるイメージまたは非常に遠くから撮影されたことにより焦点が合わず輪郭線が鮮明ではない自動車撮影イメージを除去することで、約１０％程度（例えば、３枚～４枚）の自動車撮影イメージを選択する過程を繰り返し学習することによって第１モデルを生成するようになる。これは、今後のユーザ端末（例えば、事故車両の車両所有者端末）を介して撮影された複数の撮影イメージの中から破損類型および破損程度を判断するのに適したイメージを選択するのに適用されることができる。
第２モデル生成部１１０ｂは、複数の第２自動車撮影イメージを用いて、各部品別に把握および細分化したデータを学習して第２モデルを生成することができる。
より具体的に、第２モデル生成部１１０ｂは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、複数の第２自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化したデータを学習することができる。
例えば、自動車の正面部、側面部、後面部などを各部位別にランダムに撮影した複数（例えば、数万枚）の自動車撮影イメージの各々を、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じてバンパー、ドア、フェンダー、トランク、フードなどの各部品別に互いに異なる色でマスキングした後、マスキングされた領域に基づいてバンパー、ドア、フェンダー、トランク、フードなどの各部品別の位置および種類を学習するようになる。
この時、マスキング領域は、バンパー、ドア、フェンダー、トランク、フードなどの各部品別の大きさに正確に一致するのではなく、各部品別の大きさより広い面積（例えば、各部品の大きさに比べて１１０％）をマスキングするようになる。よって、隣接した部品と部品が互いに接するかまたは連結される部分の境界をカバーするようにマスキングすることにより、互いに隣接するかまたは連結される境界部分の破損に対しても共に認識するようにする。
また、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じて把握される部品は、各部品の種類別に少なくとも数万枚以上のサンプルイメージを通じて既に学習された部品データに基づいてマスキングがなされるという点で、学習された部品以外の他の部品に関しては検出されない。
一方、Ｍａｓｋ Ｒ－ＣＮＮフレームワークはフェイスブック社の人工知能研究所で開発されたフレームワークであり、それを用いて各部品別に互いに異なる色をマスキングして部品別の種類を把握することができる。
第３モデル生成部１１０ｃは、自動車事故時、事故車両を撮影した複数の自動車撮影イメージに対してさらに高い信頼度を有した損傷類型の判断結果を取得することができるように、ユーザにより判断された破損部位撮影イメージの破損類型別の破損程度ラベリングデータを基準値と比較して検査およびリラベリングする第３モデルを生成する役割をする。
ここで、リラベリングとは、ユーザにより判断された破損程度ラベリングデータが完璧ではなく人為的ミスを含み得ると仮定して進行する過程を意味し、第３モデルは、このような破損程度ラベリングデータを検査する役割をする。
先ず、第３モデル生成部１１０ｃは、特定の破損部位撮影イメージに対して破損部位の分類時に該当イメージに該当すると推定される破損部位の確率を結果データとして出力する第３モデルを生成する。
この時、第３モデル生成部１１０ｃは、該当の第３モデルの正確度を高めるために、第３モデルに特定の破損部位撮影イメージを入力することで出力される結果データの破損部位の確率値が任意の確率値に定めた基準確率値より高いか低いかを判断するようになる。この時、確率値はパーセント（％）または一定の整数値などの数値として出力される。
仮に特定の破損部位撮影イメージの破損部位の確率値が基準確率値より高い場合には、先の生成された第３モデルの正確度が高いと判断する。この場合、該破損部位撮影イメージに対してユーザが付与した破損程度ラベリングデータを維持するようになる。
その逆に、特定の破損部位撮影イメージの破損部位の確率値が基準確率値より低い場合には、先の生成された第３モデルの正確度が低いと判断する。この場合、該破損部位撮影イメージに対してユーザが付与した破損程度ラベリングデータを新しい破損程度ラベリングデータに修正するようになる。
このような方式で全ての破損部位撮影イメージに対してリラベリング過程を行うことにより、破損部位撮影イメージの破損程度判断率が向上することができ、リラベリング過程が繰り返し行われる度に、第３モデルの性能が引続き向上する。最終的に向上した性能を示す第３モデルは、後述する第４モデルの学習に適用されることができる。
また、一実施形態において、第３モデル生成部１１０ｃを介したリラベリング過程において、後述する第４モデル生成部１１０ｄは、第３モデル生成部１１０ｃを介して生成されるソフトマックス（ｓｏｆｔｍａｘ）値を利用できるようになる。
第４モデル生成部１１０ｄは、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習して第４モデルを生成する役割をする。
より具体的に、第４モデル生成部１１０ｄは、複数（例えば、数万枚）の破損部位撮影イメージ（例えば、スクラッチが発生したドア、板金作業が必要なフェンダー、交替作業が必要なバンパーなど）に基づいて、破損類型別の破損程度を繰り返し学習して第４モデルを生成するようになる。この時、第４モデル生成部１１０ｄは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
この時、Ｉｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造はグーグル社の人工知能研究所で開発されたものであり、それを用いて破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを学習できるようになる。
次に、イメージ前処理部１２０は、上述したモデル生成部１１０を介して生成されたモデルに基づいて、ユーザ端末（例えば、事故車両の車両所有者の携帯電話など）に搭載されたカメラ撮影機能を通じて撮影された自動車撮影イメージを多様に補正処理することにより、後述する破損程度判別部１５０を介した破損程度の判断の正確率あるいは認識率を高める役割をする。
イメージ前処理部１２０は、ユーザ端末を介して撮影された自動車撮影イメージを回転または反転処理することにより、イメージを後述する部品把握部１３０において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）またはリサイジングしてイメージ大きさを規格化するようになる。また、部品表面の光反射を除去する補正処理を通じて、光反射による自動車撮影イメージの認識エラーを除去して正確度を向上させる役割をする。
部品把握部１３０は、イメージ前処理部１２０を介して補正処理された自動車撮影イメージ上の各部品を各々把握するために、各部品別に互いに異なる色のマスキングを行った後、上述したモデル生成部１１０を介して生成されたモデルに基づいて、自動車部品別に把握および細分化する。それに関しては、図３を通じてさらに具体的に説明することにする。
図３は、図１に示された部品把握部１３０を介して自動車撮影イメージを自動車部品別に把握および細分化する状態を示す図である。
図３を参照すれば、部品把握部１３０は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
この時、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じてバンパー、ドア、フェンダー、トランク、フードなどの各部品別に互いに異なる色がマスキングされ、この時、マスキング領域は、バンパー、ドア、フェンダー、トランク、フードなどの各部品別の大きさに正確に一致するのではなく、各部品別の大きさより広い面積（例えば、１１０％）をマスキングするようになる。よって、部品と部品が互いに接するかまたは連結される部分の境界をカバーするようにマスキングすることにより、互いに隣接するかまたは連結される境界部分の破損に対しても認識するようにする。
この時、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じて把握される部品は、各部品の種類別に少なくとも数万枚以上のサンプルイメージを通じて既に学習された部品に基づいてマスキングがなされるという点で、学習された部品以外に他の部品に関しては検出されない。
一方、Ｍａｓｋ Ｒ－ＣＮＮフレームワークは、フェイスブック社の人工知能研究所で開発されたフレームワークであり、それを用いて各部品別に互いに異なる色をマスキングして部品別の種類を把握することができる。
再び図１に戻り、破損部位イメージ抽出部１４０は、部品把握部１３０を介して自動車部品別の種類および位置が把握された自動車撮影イメージ上で、破損が発生した自動車部品に対するイメージを抽出する役割をする。それに関しては、図４を通じてさらに具体的に説明することにする。
図４は、図１に示された破損部位イメージ抽出部１４０を介して破損が発生した自動車部品に対するイメージを抽出する状態を示す図である。
図４を参照すれば、破損部位イメージ抽出部１４０は、部品検出部１２０においてマスキングにより取得された自動車部品に関するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理（または、部品が目立つようにする他の色で処理）することにより、正確な破損部位イメージを抽出するようになる。それにより、後述する破損程度判別部１５０での破損程度の判断時に判断正確度が上昇する。
再び図１に戻り、破損程度判別部１５０は、上述したモデル生成部１１０を介して生成されたモデルに基づいて、破損部位イメージ抽出部１４０を介して抽出された破損部位イメージの破損程度（破損深度）がどの程度であるかを判断し、これは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
例えば、破損程度判別部１５０は、ディープラーニングに基づいたＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造（インセプションＶ４畳み込みニューラルネットワーク構造）を通じて、数万枚以上のサンプル破損イメージに基づいて学習された模型と破損部位イメージを互いに比較することにより、破損部位イメージの状態がどの状態に該当するかを自動で判別するようになる。
この時、例えば、スクラッチ状態は、修理にかかる時間が３０分以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、小損傷の板金作業必要状態は、修理にかかる時間が約１．３時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、中損傷の板金作業必要状態は、修理にかかる時間が約１．７時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、大損傷の板金作業必要状態は、修理にかかる時間が約２．３時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別される。
この時、Ｉｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造はグーグル社の人工知能研究所で開発されたものであり、それを用いて破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別できるようになる。
また、イメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０は、テンサーフロー（ＴｅｎｓｏｒＦｌｏｗ）が提供するモデルサーバ（Ｍｏｄｅｌ ｓｅｒｖｅｒ）を用いて、複数のサンプルイメージを通じて学習されるモデルの学習環境と部品を把握し、破損部位イメージを抽出し、破損程度を判別するモデルの実行環境を独立に実現することにより、学習モデルの学習結果がリアルタイムで実行環境に反映されるようにする。この時、複数のＧＰＵを介して学習モデルの学習速度と実行モデルの実行速度を画期的に向上させることができる。
一実施形態において、イメージ前処理部１２０を介して取得された自動車撮影イメージは、複数の自動車撮影イメージの中から一部の自動車撮影イメージを選択したデータを学習して得られるモデルに基づいて区分されることができる。
例えば、この時のモデルは、自動車事故時、事故車両の事故修理前状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージと、事故修理後状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージを互いに比較した結果値に基づいて、複数の第１自動車撮影イメージ（例えば、自動車事故時、事故車両を撮影した３０枚～４０枚の自動車撮影イメージ）の中から、事故修理後状態を撮影したと判断されるイメージまたは非常に遠くから撮影されたことにより焦点が合わない自動車撮影イメージを除去することで、約１０％程度（例えば、３枚～４枚）の自動車撮影イメージを選択したデータを繰り返し学習することによって第１モデルを生成するようになる。このようなモデルは、ユーザ端末（例えば、事故車両の車両所有者端末）を介して撮影された複数の撮影イメージの中から破損類型および破損程度を判断するのに適したイメージを選択するのに適用されることができる。
一方、一実施形態において、本発明は、ユーザ端末から自動車撮影イメージに対して即刻的な予想修理見積もりの要請を受けることにより、該予想修理見積もりの要請に相応する予想修理見積もりの結果をユーザ端末に再び伝送することができ、それについて説明すれば以下のとおりである。
図５は、本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００の構成を概略的に示す図である。
図５を参照すれば、図５は、図１と比較した時、ユーザ端末から自動車撮影イメージを取得する取得部２２０と、破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それをユーザ端末に再び提供する予想修理見積もり提供部２７０と、を含むことを特徴とする。
より具体的に、取得部２２０は、ユーザ端末から自動車撮影イメージを取得することは勿論、該自動車撮影イメージを通じた修理予想見積もりの要請を受ける役割をする。
イメージ前処理部２３０、部品把握部２４０、破損部位イメージ抽出部２５０および破損程度判別部２６０は、図１により説明したイメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０に相当するため、詳細な説明は省略する。
予想修理見積もり提供部２７０は、破損情報判別部２６０を介して判別された破損部の破損程度を数値的に算出した後、それに基づいて予想修理見積もりを算出し、それを再びユーザ端末に提供する。
次に、図６および図７を参照して、本発明を通じて自動車部位別の破損程度を自動で判定するための方法について一連の順に説明する。
図６は、図１に示されたディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００を介して自動車部位別の破損程度を自動で判定するための方法を一連の順に示す図である。
図６を参照すれば、先ず、モデル生成部は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する（Ｓ６０１）。
次に、イメージ前処理部は、ユーザ端末から取得される自動車撮影イメージを補正処理する（Ｓ６０２）。このステップでは、自動車撮影イメージを回転および反転処理することにより、イメージを部品把握部において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）してイメージ大きさを規格化し、光反射を除去する補正処理を通じて、自動車撮影イメージの認識エラーを除去して正確度を向上させるようになる。
次に、部品把握部は、補正処理された自動車撮影イメージを自動車部品別に把握および細分化する（Ｓ６０３）。このステップでは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
次に、破損部位イメージ抽出部は、自動車撮影イメージの中から破損が発生した自動車部品に対するイメージのみを抽出する（Ｓ６０４）。このステップでは、部品検出部においてマスキングにより取得された自動車部品に対するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理することにより、正確な破損部位イメージを抽出するようになる。
次に、破損程度判別部は、抽出された破損部位イメージに基づいて該破損部位の破損程度を６つの状態に分けて判別する（Ｓ６０５）。このステップでは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
図７は、図５に示されたディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００を介して自動車部位別の破損程度を自動で判定するための他の方法を一連の順に示す図である。
図７を参照すれば、先ず、モデル生成部は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する（Ｓ７０１）。
次に、取得部は、ユーザ端末から自動車撮影イメージを取得することは勿論、該自動車撮影イメージを通じた修理予想見積もりの要請を受ける（Ｓ７０２）。
次に、イメージ前処理部は、ユーザ端末から取得される自動車撮影イメージを補正処理する（Ｓ７０３）。このステップでは、自動車撮影イメージを回転および反転処理することにより、イメージを部品把握部において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）してイメージ大きさを規格化し、光反射を除去する補正処理を通じて、自動車撮影イメージの認識エラーを除去して正確度を向上させるようになる。
次に、部品把握部は、補正処理された自動車撮影イメージを自動車部品別に把握および細分化する（Ｓ７０４）。このステップでは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
次に、破損部位イメージ抽出部は、自動車撮影イメージの中から破損が発生した自動車部品に対するイメージのみを抽出する（Ｓ７０５）。このステップでは、部品検出部においてマスキングにより取得された自動車部品に対するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理することにより、正確な破損部位イメージを抽出するようになる。
次に、破損程度判別部は、抽出された破損部位イメージに基づいて該破損部位の破損程度を６つの状態に分けて判別する（Ｓ７０６）。このステップでは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
次に、予想修理見積もり提供部は、破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出した後、それをユーザ端末に提供する（Ｓ７０７）。
上記では本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練した当業者であれば、下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることを理解することができるであろう。

Claims (8)

  1. 事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較し、各部品別に互いに異なる色でマスキングした後、マスキングした領域に基づいてバンパー、ドア、フェンダー、トランク、フードに関する自動車部品を細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するモデル生成部、
    前記モデル生成部を介して生成されたモデルに基づいて、ユーザ端末から取得される自動車撮影イメージを補正処理するイメージ前処理部、
    補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化する部品把握部、
    前記自動車撮影イメージの中から破損が発生した自動車部品に対するイメージを抽出する破損部位イメージ抽出部、および
    抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて、該破損部位の破損程度を既に設定された状態に応じて判別する破損程度判別部
    を含むことを特徴とする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  2. 前記イメージ前処理部は、
    前記自動車撮影イメージの回転および反転処理を通じてイメージを拡張（ａｕｇｍｅｎｔａｔｉｏｎ）する補正処理、または前記自動車撮影イメージ上の光反射を除去する補正処理を行うことを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  3. 前記部品把握部は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、前記自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化することを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  4. 前記破損程度判別部は、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、前記破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別することを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  5. 前記部品把握部は、
    前記Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて前記バンパー、ドア、フェンダー、トランクおよびフードに関する領域をマスキングし、互いに隣接した領域の境界をカバーするように各領域の外郭ラインより広い領域をマスキングすることを特徴とする、請求項３に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  6. 前記破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それを前記ユーザ端末に提供する予想修理見積もり提供部をさらに含むことを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
  7. モデル生成部を介して、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較し、各部品別に互いに異なる色でマスキングした後、マスキングした領域に基づいてバンパー、ドア、フェンダー、トランク、フードに関する自動車部品を細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するステップ、
    イメージ前処理部を介して、前記モデル生成部を介して生成されたモデルに基づいてユーザ端末から取得される自動車撮影イメージを補正処理するステップ、
    部品把握部を介して、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化するステップ、
    破損部位イメージ抽出部を介して、前記自動車撮影イメージの中から破損が発生した自動車部品に関するイメージを抽出するステップ、および
    破損程度判別部を介して、抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて該破損部位の破損程度を既に設定された状態に応じて判別するステップ
    を含むことを特徴とする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定方法。
  8. 予想修理見積もり提供部を介して、前記破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出し、それを前記ユーザ端末に提供するステップを含むことを特徴とする、請求項７に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定方法。
JP2021536348A 2018-12-31 2019-12-30 ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法 Active JP7277997B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180174110 2018-12-31
KR20180174099 2018-12-31
KR1020190079914A KR102097120B1 (ko) 2018-12-31 2019-07-03 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
KR10-2019-0079914 2019-07-03
PCT/KR2019/018708 WO2021002549A1 (ko) 2018-12-31 2019-12-30 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2022537857A true JP2022537857A (ja) 2022-08-31
JP7277997B2 JP7277997B2 (ja) 2023-05-19

Family

ID=70275809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536348A Active JP7277997B2 (ja) 2018-12-31 2019-12-30 ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法

Country Status (4)

Country Link
US (1) US11887064B2 (ja)
JP (1) JP7277997B2 (ja)
KR (1) KR102097120B1 (ja)
WO (1) WO2021002549A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP4085399A1 (en) 2020-01-03 2022-11-09 Tractable Ltd Method of determining repair operations for a damaged vehicle
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템
CN111768415A (zh) * 2020-06-15 2020-10-13 哈尔滨工程大学 一种无量化池化的图像实例分割方法
KR102383051B1 (ko) * 2020-07-14 2022-04-06 주식회사 엠제이비전테크 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
US20230377332A1 (en) * 2020-08-03 2023-11-23 Pixord Corporation Control system of traffic lights and method thereof
KR102382583B1 (ko) * 2020-09-03 2022-04-04 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
CN112347952B (zh) * 2020-11-11 2021-05-11 哈尔滨市科佳通用机电股份有限公司 铁路货车钩尾框托板脱落识别方法
KR102592502B1 (ko) * 2021-06-03 2023-10-20 동의대학교 산학협력단 딥러닝 기반의 결함값 분포에 기초한 부품의 품질 관리 시스템 및 방법
CN113538293B (zh) * 2021-08-20 2022-09-13 爱保科技有限公司 一种车损伤图像的增强方法和装置
KR102671783B1 (ko) * 2021-10-07 2024-06-04 토비스 주식회사 이륜차 표준 보험 견적 청구 및 손해사정 서비스를 지원하는 시스템 및 방법
CN118176515A (zh) * 2021-11-09 2024-06-11 阿尔法人工智能科技有限公司 车辆损坏情况评估系统和方便车辆维修或维护服务的平台
KR102479672B1 (ko) 2021-11-30 2022-12-21 주식회사 오토피디아 차량의 파손 영역을 검출하기 위한 방법
KR102525670B1 (ko) * 2022-01-19 2023-04-25 주식회사 어메스 자동차 사고견적 및 손해사정 솔루션 서비스 제공 방법 및 장치
CN114358663B (zh) * 2022-03-17 2022-05-13 西华大学 基于人工智能的电动汽车火灾事故后综合判断方法
KR102531372B1 (ko) 2022-05-24 2023-05-10 송현우 차량 수리 정보 제공 시스템
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018191421A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle damage determining method, apparatus, and electronic device
WO2018191437A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle loss assessment method, apparatus, and system, and electronic device
WO2018196837A1 (zh) * 2017-04-28 2018-11-01 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002326569A (ja) * 2001-05-02 2002-11-12 Eac:Kk 事故車の損傷部認識システム及び認識方法
KR20150070548A (ko) 2013-12-17 2015-06-25 김기남 교통사고로 인한 차량 부품의 변형 측정시스템 및 사고차량 부품의 손상 원인 판단 방법
KR20160134401A (ko) * 2015-05-15 2016-11-23 (주)플래닛텍 자동차의 수리견적 자동산출시스템 및 그 방법
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
US10521865B1 (en) * 2015-12-11 2019-12-31 State Farm Mutual Automobile Insurance Company Structural characteristic extraction and insurance quote generation using 3D images
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
US20230230172A1 (en) * 2020-05-28 2023-07-20 Jonathan PYLE Vehicle Repair Estimation System and Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018191421A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle damage determining method, apparatus, and electronic device
WO2018191437A1 (en) * 2017-04-11 2018-10-18 Alibaba Group Holding Limited Image-based vehicle loss assessment method, apparatus, and system, and electronic device
WO2018196837A1 (zh) * 2017-04-28 2018-11-01 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备

Also Published As

Publication number Publication date
JP7277997B2 (ja) 2023-05-19
US20210327042A1 (en) 2021-10-21
WO2021002549A1 (ko) 2021-01-07
KR102097120B1 (ko) 2020-04-09
US11887064B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
JP7277997B2 (ja) ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法
JP7300765B2 (ja) ディープラーニングに基づいた自動車部位別の破損程度の自動判定のためのモデル学習方法およびシステム
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
US11443288B2 (en) Automatic assessment of damage and repair costs in vehicles
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
JP7224603B2 (ja) 車両画像の比較方法とそのシステム
EP1675066A1 (en) Face image candidate area search method, face image candidate area search system, and face image candidate area search program
CN111311540A (zh) 车辆定损方法、装置、计算机设备和存储介质
EP4006834A1 (en) Damage detection using machine learning
KR102105954B1 (ko) 사고위험 감지시스템 및 감지방법
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
Waqas et al. Vehicle damage classification and fraudulent image detection including moiré effect using deep learning
US20200104940A1 (en) Artificial intelligence enabled assessment of damage to automobiles
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
Santos et al. Dyfusion: dynamic IR/RGB fusion for maritime vessel recognition
US20220036132A1 (en) Semantic image segmentation for cognitive analysis of physical structures
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN113570549A (zh) 反光表面的缺陷检测方法及装置
CN110570317B (zh) 用于车辆核损的方法及装置
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN112507327B (zh) 一种基于机器学习的晴雨检测与处理方法
WO2022064486A1 (en) Vehicle image analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230427

R150 Certificate of patent or registration of utility model

Ref document number: 7277997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150