KR102418446B1 - 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스 - Google Patents

픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스 Download PDF

Info

Publication number
KR102418446B1
KR102418446B1 KR1020197033067A KR20197033067A KR102418446B1 KR 102418446 B1 KR102418446 B1 KR 102418446B1 KR 1020197033067 A KR1020197033067 A KR 1020197033067A KR 20197033067 A KR20197033067 A KR 20197033067A KR 102418446 B1 KR102418446 B1 KR 102418446B1
Authority
KR
South Korea
Prior art keywords
damaged
picture
damage
component
vehicle
Prior art date
Application number
KR1020197033067A
Other languages
English (en)
Other versions
KR20190139938A (ko
Inventor
하이타오 장
주안 수
진롱 호우
지안 왕
신 구오
단니 쳉
유에 후
보쿤 우
얀칭 첸
Original Assignee
어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. filed Critical 어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Priority claimed from PCT/US2018/027192 external-priority patent/WO2018191435A1/en
Publication of KR20190139938A publication Critical patent/KR20190139938A/ko
Application granted granted Critical
Publication of KR102418446B1 publication Critical patent/KR102418446B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06K9/6218—
    • G06K9/6256—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

본 출원의 실시형태는 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스를 개시한다. 그 방법은: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 대응하는 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분, 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것을 포함한다. 본 출원의 실시형태에 따르면, 차량 구성품의 복수의 손상된 부분 및 정도와 같은 특정한 정보가 빠르고, 정확하며, 신뢰성 있게 검출될 수 있다. 손해 평가의 결과는 더욱 정확하고 신뢰 가능할 수 있다. 정비 계획에 대한 정보는, 유저 경험을 크게 향상시키기 위해, 빠르고 효율적인 차량 손해 평가 처리를 위해 유저에게 제공될 수 있다.

Description

픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
본 출원은, 컴퓨터 이미지 데이터 처리 기술의 분야에 관한 것으로, 특히, 픽쳐 기반의 차량 손해(vehicle loss) 평가 방법 및 장치, 및 전자 디바이스에 관한 것이다.
교통사고가 발생하면, 종종 보험회사의 손해 사정사(claims adjuster)가 사고 현장으로 가서 처리를 하고 사진 촬영을 통해 청구 근거(claims basis)를 획득하는 것을 기다릴 필요가 있다. 최근 몇 년 동안 자동차 소유권이 증가함에 따라, 연간 교통 사고의 수가 높은 레벨을 유지하고 있다. 하지만, 차량 손해 평가 청구 서비스 처리는 종종 전문적인 보험회사 직원에 의한 인간의 현장 처리에 의존하게 되는데, 이것은 고비용, 긴 대기 기간, 및 낮은 처리 효율성을 특징으로 한다.
현재, 교통 사고 장면 픽쳐가 자동적으로 분석되어 미리 결정된 자동차 손상 부분의 미리 결정된 분류를 획득하는 몇몇 처리 방법이 있다. 예를 들면, 발명의 명칭이 "ANALYSIS METHOD AND SYSTEM FOR VEHICLE INSURANCE CLAIMS SETTLEMENT PHOTOS"인 출원 번호 "CN105678622A"를 갖는 발명이, 이동 단말에 의해 업로드되는 보험급 지급 사진(claims settlement photo)을 분석하여 손상된 부분 분류를 식별하고, 분석 결과에 기초하여 통지 정보를 생성하는 종래의 컨벌루션 신경망(convolutional neural network; CNN)을 사용하는 알고리즘을 개시한다. 그러나, 전술한 방법은, 차량의 전방, 측면 또는 후방과 같은 차량 손상 부분의 분류를 결정하는 것에 불과하다. 어떠한 특정한 손상 타입도 식별되지 않는다. 식별된 손상된 부분의 통지 정보는, 수동의 손해 평가와 수동으로 비교하기 위해 보험 회사의 직원에 의해 주로 사용되며, 손해 평가 계산에서 보험 회사의 직원을 돕기 위한 참조 정보로서 사용된다. 또한, 그 알고리즘은 CNN의 일반 객체 식별 알고리즘만을 사용한다. 최종 차량 손해 평가의 결과는 여전히 수동 검증에 의존한다. 인력 및 시간 비용은 상대적으로 크며, 상이한 보험 회사는 차량 손해 평가에 대해 상이한 표준을 갖는다. 또한, 인간의 주관적인 요인에 의해 영향을 받아, 차량 손해 평가의 결과는 크게 변하고 신뢰성이 상대적으로 낮다.
본 출원은, 차량 구성품(vehicle component)의 손상된 부분 및 정도에 대한 특정한 정보를 신속하고, 정확하게, 그리고 신뢰성 있게 식별하기 위한, 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스를 제공하는 것이다. 손해 평가의 결과는 더욱 정확하고 신뢰 가능할 수 있다. 빠르고 효율적인 차량 손해 평가 처리를 위해 정비 계획(maintenance plan)에 대한 정보가 유저에게 제공될 수 있고, 따라서, 유저 경험을 크게 향상시킬 수 있다.
본 출원에서 제공되는 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스는 다음과 같이 구현된다:
픽쳐 기반의 차량 손해 평가 방법이 제공되며, 그 방법은 다음의 것을 포함한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 구축된 구성품 식별 모델(constructed component identification model)을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 구축된 손상 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것.
픽쳐 기반의 차량 손해 평가 장치가 제공되며, 그 장치는 다음의 것을 포함한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하도록 구성되는 픽쳐 획득 모듈; 구성품 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하도록, 처리될 픽쳐에서 차량 구성품을 식별하도록, 그리고 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하도록 구성되는 제1 식별 모듈; 구축된 손상 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하도록, 그리고 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하도록 구성되는 제2 식별 모듈; 제1 식별 모듈의 처리 결과 및 제2 식별 모듈의 처리 결과에 기초하여 처리될 픽쳐에서 손상된 구성품을 결정하도록, 그리고 손상된 구성품의 손상된 부분 및 손상 타입을 결정하도록 구성되는 손상 계산 모듈; 및 손상된 구성품, 손상된 부분, 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하도록 구성되는 손해 평가 처리 모듈.
프로세서, 및 프로세서 실행 가능 명령어를 저장하도록 구성되는 메모리를 포함하는 픽쳐 기반의 차량 손해 평가 장치가 제공되는데, 명령어의 실행시, 프로세서는 다음의 것을 구현한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것.
컴퓨터 판독 가능 저장 매체가 제공되는데, 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령어를 저장하며, 명령어가 실행될 때, 다음의 단계가 구현된다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 단계; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 단계; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 단계; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 단계; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 단계.
프로세서, 및 프로세서 실행 가능 명령어를 저장하도록 구성되는 메모리를 포함하는 전자 디바이스가 제공되는데, 명령어의 실행시, 프로세서는 다음의 것을 구현한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것.
본 출원에서 제공되는 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스에 따르면, 처리될 픽쳐에 포함되는 손상된 구성품이 식별될 수 있고, 그 다음, 손상된 구성품의 손상된 부분 및 각각의 손상된 부분에 대응하는 손상 타입이 구축된 손상 식별 모델에 기초하여 식별될 수 있다. 따라서, 차량 구성품의 차량 손해 평가 정보가 정확하고, 포괄적이며, 신뢰성 있게 획득될 수 있다. 또한, 본 출원의 실시형태에서의 손상된 구성품, 손상된 구성품의 손상된 부분, 손상 타입, 및 정비 전략(maintenance strategy)을 포함하는 정보에 기초하여 차량에 대한 정비 계획이 생성되어, 보험 청구 오퍼레이터(insurance claim operator) 및 차량 소유자 유저에게 실제 참조 값을 갖는 더욱 정확하고 신뢰 가능한 손해 평가 정보를 제공한다. 본 출원의 실시형태에서, 하나 이상의 픽쳐에서의 하나 이상의 손상된 구성품, 손상된 구성품에서의 하나 이상의 손상된 부분, 및 하나 이상의 손상 정도가 식별되어, 더욱 포괄적이고 정확한 손해 평가 정보를 신속하게 획득할 수 있다. 그 다음, 빠르고, 포괄적이며, 정확하고 신뢰 가능한 차량 손해 평가 처리에 대한 보험 회사 또는 차량 소유자 유저의 요건을 충족하는 정비 계획이 자동적으로 생성되어, 차량 손해 평가 처리의 결과의 정확성 및 신뢰성을 향상시키고, 유저 경험을 향상시킬 수 있다.
본 출원의 실시형태에서의 기술적 해법을 더욱 명확하게 설명하기 위해, 이하에서는, 실시형태를 설명하는 데 필요한 첨부의 도면을 간단히 소개한다. 다음의 설명에서의 첨부의 도면은 본 출원의 몇몇 실시형태를 도시하는 것에 불과하며, 기술 분야에서 통상의 기술을 가진 자는 창조적인 노력 없이도 이들 첨부의 도면으로부터 다른 도면을 여전히 유도할 수도 있다.
도 1은 본 출원의 실시형태에 따른 픽쳐 기반의 차량 손해 평가 방법을 예시하는 개략적인 방법 플로우차트이다.
도 2는 본 출원의 실시형태에 따른 손상 식별 모델의 네트워크 아키텍처를 예시하는 개략적인 구조도이다.
도 3은 본 출원의 실시형태에 따른 구성품 식별 모델의 네트워크 아키텍처를 예시하는 개략도이다.
도 4는 본 출원의 다른 실시형태에 따른 픽쳐 기반의 차량 손해 평가 방법을 예시하는 개략적인 방법 플로우차트이다.
도 5는 본 출원의 실시형태에 따른 손상된 구성품, 손상된 구성품의 손상된 부분, 및 손상 타입을 결정하는 구현 프로세스를 예시하는 개략도이다.
도 6은 본 출원의 실시형태에 따른 픽쳐 기반의 차량 손해 평가 장치의 모델 구조를 예시하는 개략도이다.
도 7은, 본 출원의 실시형태에 따른 전자 디바이스를 예시하는 개략적인 구조도이다.
도 8은 본 출원의 실시형태에 따른 차량 손해 평가의 처리 시나리오를 예시하는 개략도이다.
도 9는 본 개시의 구현예에 따른 차량 손해 평가를 위한 컴퓨터 구현 방법의 예를 예시하는 플로우차트이다.
기술 분야의 숙련된 자가 본 출원의 기술적 해법을 보다 잘 이해하게 만들기 위해, 본 출원의 실시형태의 기술적 해법은 본 출원의 실시형태의 첨부의 도면을 참조하여 이하에서 명확하고 완전하게 설명될 것이다. 설명되는 실시형태는 본 출원의 모든 실시형태가 아니라 단지 일부이다. 창의적인 노력 없이 본 출원의 실시형태에 기초하여 기술 분야에서 통상의 기술을 가진 자에 의해 획득되는 다른 모든 실시형태는 본 출원의 보호 범위 내에 속할 것이다.
도 1은 본 출원의 실시형태에 따른 픽쳐 기반의 차량 손해 평가 방법을 예시하는 개략적인 방법 플로우차트이다. 본 출원은 다음의 실시형태 또는 첨부의 도면에서 나타내어지는 장치의 구조 또는 방법에서의 동작 단계를 제공한다. 그러나, 종래에는 또는 창조적 노력 없이, 방법은, 부분적인 조합 이후, 더 많은 동작 단계, 또는 더 적은 동작 단계를 포함할 수 있거나, 또는 장치는, 부분적인 조합 이후, 더 많은 모듈 유닛, 또는 더 적은 모듈 유닛을 포함할 수 있다. 필요한 인과 관계를 논리적으로 갖지 않는 단계 또는 구조의 경우, 이들 단계의 실행의 순서, 또는 디바이스의 모듈 구조는 본 출원의 실시형태 또는 첨부의 도면에서 나타내어지는 실행 순서 또는 모듈 구조로 제한되지 않는다. 방법 또는 모듈 구조가 실제 장치, 서버 또는 단말 제품에 적용되는 경우, 방법 또는 모듈 구조는 실시형태 또는 첨부의 도면에서 나타내어지는 방법 또는 모듈 구조에 따라 순차적으로 실행될 수 있거나 또는 병렬로 실행될 수 있다(예를 들면, 심지어 분산 처리 또는 서버 클러스터링의 구현 환경을 비롯한, 병렬 프로세서 또는 다중 스레드 처리의 환경).
현재, 실제 교통 사고, 예를 들면, 긁힘 사고(scratch accident)가 처리될 때, 현장을 치우기 이전에 보험 회사의 손해 사정사가 사이트에 와서 현장의 픽쳐를 찍을 때까지 기다리는 것이 일반적으로 필요하고, 따라서, 종종 교통 혼잡을 야기하고 많은 시간을 낭비하며 손상 평가 결과 정보를 획득하는 대기 기간을 연장시킨다. 그러나, 본 출원의 실시형태에 따르면, 교통 사고가 발생하는 경우, 연루된 차량 소유자가 그들 자신의 차량 또는 다른 연루된 차량 소유자의 차량의 손상 평가 상태 또는 손해를 알기를 원하는 경우, 그들이 사고 현장의 사진을 찍을 수 있다. 사고 현장에 대한 증거로 역할을 하는 것 외에도, 사진은 단말 APP(앱)(애플리케이션)을 통한 자동 차량 손해 평가 및 청구 상태 액세스에 추가로 사용될 수 있다. 따라서, 연루된 차량 소유자 유저는, 차량 손해 평가 처리를 신속하게, 포괄적으로, 정확하게, 그리고 신뢰성 있게 획득할 수 있다.
명확화를 위해, 이하의 실시형태는, 차량 소유자 유저가 차량 손해 평가 서비스를 요청하기 위해 이동 단말 APP을 사용하는 특정한 응용 시나리오를 설명한다. 실시형태의 응용 시나리오에서, 차량 소유자 유저는 교통 사고 현장에서 이동 단말(예를 들면, 이동 전화)을 사용하는 것에 의해 손상된 차량 부분 및 전체 차량에 대한 사진을 찍을 수 있다. 몇몇 상황에서, 차량 소유자 유저는 운전 면허증(vehicle license), 유저 신분증(user identity), 등등에 대한 사진을 추가로 찍을 수 있다. 그 후, 차량 소유자 유저는, 단말 애플리케이션을 통해 촬영된 사진(픽쳐)을 업로드한다. 차량 손해 평가를 위한 처리될 픽쳐를 획득한 이후, 클라우드 서버는, 먼저, 손상된 구성품, 손상된 구성품의 하나 이상의 손상된 부분, 및 해당 손상 타입을 식별할 수 있다. 그 다음, 규칙 모델은, 차량 모델, 위치, 수리점, 등등과 같은 정비 전략 정보에 기초하여 상이한 가격 데이터베이스를 호출하고, 궁극적으로 적어도 하나의 정비 계획을 생성하기 위한 규칙 엔진이 설계될 수 있다. 정비 계획은 차량 소유자 유저에게 반환될 수 있고, 그 결과, 차량 소유자 유저는 차량 손해 평가의 결과를 신속하게 획득할 수 있다. 물론, 유저가 보험 회사의 직원인 경우, 유저는 정비 계획을 보험 회사에 반환할 수 있거나 또는 정비 계획의 결과를 직접적으로 디스플레이할 수 있다. 그러나, 기술 분야의 숙련된 자는, 본 해법의 본질이 차량 손해 평가의 다른 구현 시나리오, 예를 들면, 보험 회사 또는 수리점의 자동 차량 손해 평가, 또는 공인 대리점(authorized dealership) 또는 다른 서버에 의해 제공되는 자력 차량 손해 평가 서비스(self-help vehicle loss assessment service)에 적용될 수 있다는 것을 이해할 수 있다.
특정한 실시형태가 도 1에 도시되어 있다. 본 출원은 픽쳐 기반의 차량 손해 평가 방법의 실시형태를 제공한다. 방법은 다음의 단계를 포함할 수 있다:
S1. 차량 손해 평가를 위한 처리될 픽쳐를 획득함.
서버는 클라이언트 또는 제3자 서버(예를 들면, 보험 회사의 서버)로부터 차량의 처리될 픽쳐를 획득할 수 있다. 처리될 픽쳐는 일반적으로, 차량의 위치를 포함하는 유저에 의해 캡쳐되는 픽쳐 정보를 포함하고, 물론, 운전 면허증, 유저 신분증, 및 유저에 의해 업로드되는 주변 환경(신호등, 랜드마크, 등등)의 픽쳐 정보를 또한 포함할 수 있다. 이 실시형태에서 처리될 픽쳐는 다양한 그래픽 및 사진을 포함할 수도 있는데, 이들은 일반적으로, 한 장의 종이 상의 픽쳐, 사진 또는 필름 상의 픽쳐, TV 상의 픽쳐, 프로젝터에 의해 투영되는 픽쳐, 컴퓨터 스크린 상의 픽쳐, 등등을 포함할 수 있는 시각적 효과를 갖는 이미지이다.
옵션 사항인(optional) 실시형태에서, 처리될 픽쳐의 픽쳐 품질이 미리 결정된 처리 요건을 충족하는지의 여부가 추가로 결정될 수 있다. 픽쳐 품질이 상대적으로 열악한 경우, 예를 들면, 픽쳐가 너무 희미해서 식별될 수 없는 경우, 구성품 픽쳐는 폐기될 수 있고, 초점 및 조명과 같은 선명도에 영향을 끼치는 요인에 주의를 기울일 것을 유저에게 촉구하기 위해 이동 단말 APP으로 피드백이 전송된다. 픽쳐 품질은 흐림 정도 임계치(fuzzy degree threshold), 정보 엔트로피 값, 등등에 기초하여 결정될 수도 있다.
S2: 구축된 구성품 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정함.
본 실시형태의 시나리오에서, 처리될 픽쳐를 획득한 이후, 클라우드 서버는 미리 구축된 구성품 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하여, 처리될 픽쳐에 포함되는 차량 구성품을 식별할 수 있다. 하나의 처리될 픽쳐가 하나 이상의 차량 구성품을 포함하는 것이 식별되는 경우, 처리될 픽쳐에서 차량 구성품의 위치 구역(이것은 본원에서 구성품 구역으로 칭해질 수 있음)에 대한 정보가 계산을 통해 추가로 결정된다. 이 실시형태에서 설명되는 차량 구성품은, 앞범퍼, 전면 좌측 도어, 및 테일 램프와 같은, 차량 상의 구성품을 일반적으로 의미한다.
이 실시형태에서, 픽쳐에서 차량 구성품을 식별하기 위해 사용되는 구성품 식별 모델은 설계된 머신 러닝 알고리즘을 사용하여 미리 구성될 수 있다. 구성품 식별 모델이 샘플 픽쳐에 대해 트레이닝된 이후, 그것은 구성품 픽쳐에 어떤 차량 구성품이 포함되는지를 식별할 수 있다. 이 실시형태에서, 심층 신경망(deep neural network)의 네트워크 모델 또는 변형 네트워크 모델은, 구성품 식별 모델을 구성하기 위해, 샘플 픽쳐를 사용하는 것에 의해 트레이닝될 수 있다. 본 출원에서 제공되는 방법의 다른 실시형태에서, 구성품 식별 모델은, 입력 모델에 의해 트레이닝되는 손상 샘플 픽쳐 및 완전히 연결된 계층을 참조하여 구역 제안 네트워크(region proposal network; RPN) 및 컨벌루션 신경망(CNN)에 기초하여 구성될 수 있다. 따라서, 본 출원에서의 방법의 다른 실시형태에서, 구성품 식별 모델은 다음의 것을 포함한다:
S201. 컨벌루션 계층 및 구역 제안 계층의 네트워크 모델에 기초하며 샘플 데이터에 기초하여 트레이닝된 이후 구축되는 심층 신경망.
컨벌루션 신경망은 일반적으로, 컨벌루션 계층(CNN) 및 활성화 계층과 같은 다른 구조체로 주로 구축되는 신경망을 가리키며, 픽쳐 식별을 위해 주로 사용된다. 이 실시형태에서 설명되는 심층 신경망은, 컨벌루션 계층, 및 다른 중요한 계층(예컨대, 입력 모델에 의해 트레이닝되는 손상 샘플 픽쳐, 여러 정규화된 계층, 및 활성화 계층)을 포함할 수 있고, 구역 제안 네트워크와 함께 네트워크를 확립할 수 있다. 컨벌루션 신경망은 일반적으로 이미지 처리에서의 이차원 이산 컨벌루션 연산을 인공 신경망(artificial neural network)과 결합한다. 컨벌루션 연산은 자동 특징 추출을 위해 사용될 수 있다. (임의의 사이즈의) 픽쳐로부터 추출되는 특징(이것은 컨벌루션 신경망을 사용하는 것에 의해 추출되는 이차원 특징일 수 있음)은 구역 제안 네트워크(RPN)에 입력될 수 있고, 구역 제안 네트워크는 직사각형의 타겟 제안 박스의 세트를 출력한다. 각각의 박스는 하나의 객체의 점수를 포함한다. 혼동을 피하기 위해, 이 실시형태에서, 컨벌루션 신경망(CNN)은 컨벌루션 계층(CNN)으로 지칭될 수 있고, 구역 제안 네트워크(RPN)는 구역 제안 계층(RPN)으로 지칭될 수 있다. 본 출원의 다른 실시형태에서, 구성품 식별 모델은, 컨벌루션 신경망 또는 구역 제안 네트워크에 기초한 향상된 수정된 네트워크 모델, 및 샘플 데이터 트레이닝을 통해 구성되고 생성되는 딥 컨벌루션 신경망(deep convolutional neural network)을 더 포함할 수도 있다.
전술한 실시형태에서 사용되는 모델 및 알고리즘은, 동일한 타입의 모델 또는 알고리즘일 수 있다. 구체적으로, 예를 들면, 컨벌루션 신경망 및 구역 제안 네트워크에 기초한 다양한 모델 및 변형이 Faster R-CNN(패스터 R-CNN), YOLO, 및 Mask-FCN(마스크-FCN)과 같은 구성품 식별 모델에 적용될 수 있다. 컨벌루션 신경망(CNN)은 ResNet, Inception(인셉션), VGG, 및 그 변형과 같은 임의의 CNN 모델을 사용할 수 있다. 일반적으로, 신경망에서 컨벌루션 네트워크(CNN) 부분은, Inception 네트워크 및 ResNet 네트워크와 같은 객체 식별에서 잘 기능하는 성숙한 네트워크 구조를 사용할 수 있다. 예를 들면, ResNet 네트워크에서, 입력이 픽쳐인 경우, 출력은 복수의 구성품 구역, 및 그들의 대응하는 구성품 분류 및 신뢰도 레벨일 수 있다(본원에서, 신뢰도 레벨은 식별된 차량 구성품의 진위의 정도를 나타내는 파라미터이다). Faster R-CNN, YOLO, 마스크-FCN, 등등은 모두, 컨벌루션 계층을 포함하며 이 실시형태에 적용될 수 있는 심층 신경망이다. 이 실시형태에서 사용되는 심층 신경망은, 구역 제안 계층 및 CNN 계층을 참조하여 처리될 픽쳐에서 차량 구성품을 식별할 수 있고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정할 수 있다.
본 출원의 구현예에서, 처리될 픽쳐를 검사하고 처리될 픽쳐에서 차량 구성품을 식별하기 위해 구성품 식별 모델을 구현하기 위해 별개의 알고리즘 서버가 사용될 수 있다는 것을 유의해야 한다. 예를 들면, 비즈니스 서버는 유저에 의해 업로드되는 처리될 픽쳐를 획득하도록, 그리고 정비 계획을 출력하도록 셋업된다. 알고리즘 서버는, 구축된 구성품 식별 모델을 저장하도록, 비즈니스 서버의 처리될 픽쳐를 검사하도록, 그리고 처리될 픽쳐에서 차량 구성품을 결정하도록 추가로 배치될 수 있다. 물론, 전술한 처리는 동일한 서버에 의해 또한 실행될 수 있다.
S3. 구축된 손상 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별함.
처리될 픽쳐를 획득한 이후, 클라우드 서버는 미리 구축된 손상 식별 모델을 사용하는 것에 의해 구성품 픽쳐를 검사하여, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별할 수 있다. 이 실시형태에서 손상된 부분은 일반적으로 차량에서 손상되는 부분을 가리킨다. 손상된 차량 구성품은 복수의 손상된 부분을 포함할 수 있으며, 각각의 손상된 부분은 손상 타입(예를 들면, 심각한 긁힘, 경미한 변형, 등등)에 대응한다. 이 실시형태에서, 처리될 픽쳐에서의 손상된 부분의 위치 구역(위치 구역은, 손상된 부분에 대응하는 특정한 손상 구역의 픽쳐 구역 데이터로 이해될 수 있는 손상 구역으로서 지칭될 수 있거나, 또는 손상 구역은 손상된 부분의 엔티티 데이터 정보로서 표현될 수 있음)이 식별될 수 있고, 손상 구역은 검사되어 손상 타입을 식별할 수 있다. 이 실시형태에서 설명되는 손상 타입은, 경미한 긁힘, 심각한 긁힘, 경미한 변형, 중간 변형, 심각한 변형, 손상, 및 검사를 위해 분해를 필요로 하는 것을 포함할 수도 있다.
이 실시형태에서, 픽쳐에 포함되는 손상된 부분 및 손상 타입을 식별하기 위해 사용되는 손상 식별 모델은, 설계된 머신 러닝 알고리즘을 사용하는 것에 의해 미리 구성될 수 있다. 샘플 트레이닝 이후, 손상 식별 모델은 처리될 픽쳐에서 하나 이상의 손상된 부분 및 대응하는 손상 타입을 식별할 수 있다. 이 실시형태에서, 심층 신경망의 네트워크 모델 또는 변형 네트워크 모델은, 손상 식별 모델을 구성하기 위해, 샘플에 기초하여 트레이닝될 수 있다. 본 출원에서 제공되는 방법의 다른 실시형태에서, 손상 식별 모델은, 입력 모델에 의해 트레이닝되는 손상 샘플 픽쳐 및 완전히 연결된 계층을 참조하여 구역 제안 네트워크(RPN) 및 컨벌루션 신경망(CNN)에 기초하여 구성될 수 있다. 따라서, 본 출원에서의 방법의 다른 실시형태에서, 손상 식별 모델은 다음의 것을 포함한다:
S301. 컨벌루션 계층 및 구역 제안 계층의 네트워크 모델에 기초하며 샘플 데이터에 기초하여 트레이닝된 이후 구축되는 심층 신경망.
컨벌루션 신경망은 일반적으로, 컨벌루션 계층(CNN) 및 활성화 계층과 같은 다른 구조체로 주로 구축되는 신경망을 가리키며, 픽쳐 식별을 위해 주로 사용된다. 이 실시형태에서 설명되는 심층 신경망은, 컨벌루션 계층, 및 다른 중요한 계층(예컨대, 입력 모델에 의해 트레이닝되는 손상 샘플 픽쳐, 여러 정규화된 계층, 및 활성화 계층)을 포함할 수 있고, 구역 제안 네트워크(region proposal network; RPN)와 함께 네트워크를 확립할 수 있다. 컨벌루션 신경망은 일반적으로 이미지 처리에서의 이차원 이산 컨벌루션 연산을 인공 신경망과 결합한다. 컨벌루션 연산은 자동 특징 추출을 위해 사용될 수 있다. (임의의 사이즈의) 픽쳐로부터 추출되는 특징(이것은 컨벌루션 신경망을 사용하는 것에 의해 추출되는 이차원 특징일 수 있음)은 구역 제안 네트워크(RPN)에 입력될 수 있고, 구역 제안 네트워크는 직사각형의 타겟 제안 박스의 세트를 출력한다. 각각의 박스는 하나의 객체의 점수를 포함한다. 마찬가지로, 혼동을 피하기 위해, 이 실시형태에서, 컨벌루션 신경망(CNN)은 컨벌루션 계층(CNN)으로 지칭될 수 있고, 구역 제안 네트워크(RPN)는 구역 제안 계층(RPN)으로 지칭될 수 있다. 본 출원의 다른 실시형태에서, 손상 식별 모델은, 컨벌루션 신경망 또는 구역 제안 네트워크에 기초한 향상된 수정된 네트워크 모델, 및 샘플 데이터 트레이닝을 통해 구성되고 생성되는 딥 컨벌루션 신경망을 더 포함할 수도 있다.
전술한 구현예에서, 단일의 손상 샘플 픽쳐에서 복수의 손상된 부분이 모델 트레이닝 동안 식별될 수 있다. 구체적으로, 샘플 트레이닝 동안, 입력은 픽쳐이고, 출력은 복수의 픽쳐 구역 및 대응하는 손상 타입이다. 신경망의 선택된 파라미터는 마킹 데이터를 사용하는 것에 의해 미니 배치 경사 하강법 트레이닝(mini-batch gradient descent training)을 통해 획득될 수 있다. 예를 들면, 미니 배치(mini-batch) = 32인 경우, 32 개의 트레이닝 픽쳐가 트레이닝을 위해 입력된다. 마킹 데이터는 구역 및 대응하는 타입으로 마킹되는 픽쳐이다. 마킹 데이터는 실제 손상된 차량 픽쳐를 수동으로 마킹하는 것에 의해 획득될 수 있다. 이 신경망의 입력은 픽쳐이며, 출력 구역은 픽쳐에서의 손상된 부분의 양에 관련된다. 구체적으로, 예를 들면, 하나의 손상된 부분이 있으면, 하나의 픽쳐 구역이 출력되고; k 개의 손상된 부분이 있으면, k 개의 픽쳐 구역이 출력된다; 또는 손상된 부분이 없는 경우, 제로 개의 픽쳐 구역이 출력된다.
전술한 실시형태에서 사용되는 모델 및 알고리즘은, 동일한 타입의 모델 또는 알고리즘일 수 있다. 구체적으로, 예를 들면, 컨벌루션 신경망 및 구역 제안 네트워크에 기초한 다양한 모델 및 변형이 Faster R-CNN(패스터 R-CNN), YOLO, 및 Mask-FCN(마스크-FCN)과 같은 구성품 식별 모델에 적용될 수 있다. 컨벌루션 신경망(CNN)은 ResNet, Inception(인셉션), VGG, 및 그 변형과 같은 임의의 CNN 모델을 사용할 수 있다. 일반적으로, 신경망에서 컨벌루션 네트워크(CNN) 부분은, Inception 네트워크 및 ResNet 네트워크와 같은 객체 식별에서 잘 기능하는 성숙한 네트워크 구조를 사용할 수 있다. 예를 들면, ResNet 네트워크에서, 입력이 픽쳐인 경우, 출력은, 손상된 부분 및 대응하는 손상 분류(손상 분류는 손상 타입을 결정하기 위해 사용됨), 및 신뢰도 레벨(본원에서 신뢰도 레벨은 손상 타입의 진위의 정도를 나타내는 파라미터임)을 포함하는 복수의 픽쳐 구역일 수 있다. Faster R-CNN, YOLO, 마스크-FCN, 등등은 모두, 컨벌루션 계층을 포함하며 이 실시형태에 적용될 수 있는 심층 신경망이다. 구역 제안 계층 및 CNN 계층에 기초하여, 본 실시형태에서 사용되는 심층 신경망은, 구성품 픽쳐에서 손상된 부분, 손상 타입, 및 손상된 부분의 위치 구역을 식별할 수 있다.
본 출원의 구현예에서, 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하기 위해, 별개의 알고리즘 서버가 사용될 수 있다는 것을 유의해야 한다. 예를 들면, 비즈니스 서버는, 유저에 의해 업로드되는 처리될 픽쳐를 획득하도록 그리고 정비 계획을 출력하도록 셋업된다. 알고리즘 서버는 또한, 구축된 손상 식별 모델을 저장하도록, 비즈니스 서버의 처리될 픽쳐를 검사 및 식별하도록, 그리고 처리될 픽쳐에 포함되는 손상된 부분, 손상 타입, 및 손상 구역과 같은 정보를 결정하도록 추가로 배치될 수 있다. 물론, 처리될 픽쳐를 획득하는 것 및 손상된 부분, 손상 타입, 및 손상 구역을 식별하는 것도 또한 동일한 서버에 의해 실행될 수 있다.
전술한 구성품 식별 모델 및 손상 식별 모델에서, 복수의 타입의 트레이닝 데이터가 사용될 수 있다. 한 구현예에서, 구성품 식별 모델은, 마킹 데이터를 포함하는 구성품 샘플 픽쳐를 사용하는 것에 의해 트레이닝되도록 설정된다. 구성품 샘플 픽쳐는 적어도 하나의 차량 구성품을 포함한다.
손상 식별 모델은, 손상 샘플 픽쳐가 모델 트레이닝을 위해 입력될 때 적어도 하나의 손상된 부분 및 손상된 부분에 대응하는 손상 타입을 출력하도록 설정되고, 처리될 픽쳐를 검사하기 위해 손상 식별 모델이 사용될 때 손상 타입의 진위의 정도에 대한 신뢰도 레벨을 나타내는 데이터 정보를 출력한다. 데이터 트레이닝 동안, 손상 식별 모델의 출력은 또한 신뢰도 레벨을 포함할 수 없으며, 모델이 사용될 때 모델 출력 결과의 신뢰도 레벨이 있을 것이다.
S2에서 구성품 식별 모델을 사용하는 것에 의해 차량 구성품을 검사하는 프로세스 및 S3에서 손상 식별 모델을 사용하는 것에 의해 손상된 부분, 손상 타입, 및 손상 구역을 식별하는 프로세스는 병렬로 실행될 수 있다는 것을 유의해야 한다. 즉, 동일한 알고리즘 서버 또는 대응하는 알고리즘 서버가 처리될 픽쳐를 처리하기 위해 그리고 S2 및 S3에서 픽쳐 처리 및 계산을 실행하기 위해 사용될 수 있다. 물론, 본 출원에서, S2에서 차량 구성품을 식별하는 프로세스를 먼저 실행하는 것, 또는 손상된 부분을 식별하는 프로세스를 먼저 실행하는 것도 또한 가능하다. 도 2 및 도 3에서 도시되는 바와 같이, 도 2는 본 출원의 실시형태에 따른 손상 식별 모델의 네트워크 아키텍처를 예시하는 개략적인 구조도이고, 도 3은 본 출원의 실시형태에 따른 구성품 식별 모델의 네트워크 아키텍처를 예시하는 개략도이다. 실제 단말 APP의 구현 프로세스에서, 구성품 식별 모델의 네트워크 모델 아키텍처는 기본적으로 손상 식별 모델의 네트워크 모델 아키텍처와 동일하다. 구성품 식별 모델에서, 손상 식별 모델에서의 손상 구역은 구성품 구역이 되고, 손상 식별 모델에서의 손상 타입은 구성품 타입이 된다. 본 출원의 도 2 및 도 3에서 도시되는 네트워크 모델 구조에 기초하여, 네트워크 모델의 다른 향상, 변형 또는 변환이 더 포함될 수 있다. 그러나, 본 출원의 실시형태에서, 구성품 식별 모델 또는 손상 식별 모델 중 적어도 하나는 컨벌루션 계층 및 구역 제안 계층에 기초한 네트워크 모델이다. 샘플 데이터에 기초한 트레이닝 이후 심층 신경망을 구성하는 구현예는, 본 출원의 구현 범위 내에 속할 것이다.
S4. 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정함.
처리될 픽쳐에 포함되는 차량 구성품 정보 및 처리될 픽쳐에서의 손상된 부분, 손상 타입, 및 손상 구역에 대한 정보를 획득한 이후, 차량 구성품에서의 손상된 구성품이 추가로 식별될 수 있다. 이 실시형태의 구현예에서, 전술한 식별 프로세스를 통한 계산에 의해 획득되는 구성품 구역 및 손상 구역은 추가로 분석되어 손상된 구성품을 위치 결정할 수 있다. 구체적으로, 손상된 구성품은 처리될 픽쳐에서의 구성품 구역 및 손상 구역의 위치 구역에 기초하여 식별될 수 있다. 예를 들면, 픽쳐 P1에서, P1에서 식별되는 손상 구역이 P1에서 식별되는 구성품 구역의 영역에 포함되는 경우(일반적으로, 식별된 구성품 구역의 영역은 손상 구역의 영역보다 더 크다), 차량 P1의 구성품 구역에 대응하는 차량 구성품은 손상된 구성품으로 간주될 수 있다. 대안적으로, 픽쳐 P2에서, P2에서 식별되는 손상 구역의 영역 및 P2에서 식별된 구성품 구역의 영역이 중첩을 갖는 경우, P2의 구성품 구역에 대응하는 차량 구성품도 또한 손상된 구성품으로 간주될 수 있다. 따라서, 본 출원의 다른 실시형태에서 제공되는 특정한 구현예에서, 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하는 것은 다음의 것을 포함할 수도 있다:
S401. 구성품 구역 범위에서, 손상된 부분의 손상 구역이 있는지의 여부를 조회함; 만약 그렇다면, 구성품 구역에 대응하는 차량 구성품은 손상된 구성품임을 결정함.
특정한 예에서, 예를 들면, 픽쳐 P에서, 차량 구성품은, S2에서, 픽쳐 P에서 신뢰도 레벨(p1, p2)에 대응하는 (r1, r2)에 각각 위치되는 두 개의 차량 구성품의 구성품 구역인 전방 좌측 도어 및 전방 좌측 휀더(fender)로서 식별된다. S3에서, 픽쳐 P에서 경미한 긁힘(손상 타입 중 하나)이 존재하고, 픽쳐 P에서 경미한 긁힘의 손상 구역은 r3이고, 경미한 긁힘의 신뢰도 레벨은 p3이다는 것이 식별된다. 픽쳐 위치 구역의 대응성을 처리한 이후, 경미한 긁힘 구역(r3)은 전방 좌측 도어의 구성품 구역(r1)에서 식별된다. 따라서, 손상된 구성품은 전면 좌측 도어이고, 손상된 구성품의 손상 구역은 r3이다는 것이 식별된다. 단일의 픽쳐 P에서 손상된 구성품의 손상 타입은 경미한 스크래치이며, 신뢰도 레벨은 p1 * p3이다.
물론, 전술한 예에 기초하여 전방 좌측 휀더가 손상되었다는 것이 또한 식별되면, 픽쳐 P에서의 손상된 구성품은 전방 좌측 휀더를 더 포함한다는 것이 결정될 수 있고 전방 좌측 휀더의 손상된 부분 및 손상 타입이 또한 계산될 수 있다.
손해 평가 처리 동안, 처리될 픽쳐는 배치되는 컨벌루션 신경망에 대한 입력이다. 복수의 손상된 부분이 존재하면, 손상된 부분을 포함하는 복수의 픽쳐 구역이 식별되고, 픽쳐 구역이 검사되고, 픽쳐 구역의 손상 타입이 결정되고, 각각의 픽쳐 구역에 대응하는 손상된 부분 및 손상 타입이 별개로 출력된다. 또한, 이 실시형태에서, 손상 타입에서 가장 높은 손상 정도를 갖는 손상 타입에 대응하는 손상된 부분이 손상된 구성품의 손상된 부분으로서 선택될 수 있다. 상응하여, 가장 높은 손상 정도를 갖는 손상 타입이 손상된 구성품의 손상 타입으로서 결정된다.
S5. 손상된 구성품, 손상된 부분, 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성함.
처리될 픽쳐에서 차량 구성품을 식별하는 것, 손상된 구성품을 결정하는 것, 손상된 부분 및 손상 타입을 식별하는 것, 등등에 의해 이 실시형태에서 차량 손해 평가를 위한 정보를 획득한 이후, 그 정보에 기초하여 정비 계획이 생성될 수 있다. 정비 계획은 하나의 손상된 구성품이 하나의 정비 계획에 대응하는 손해 평가의 결과일 수 있거나, 또는 전체 차량의 복수의 손상된 구성품에 대한 손해 평가의 결과일 수 있다.
이 실시형태에서, 각각의 손상 타입은 하나의 정비 계획에 대응하도록 설정될 수 있다. 예를 들면, 심각한 변형은 구성품 교체에 대응하고, 경미한 변형은 금속 도금을 필요로 하며, 경미한 흠집은 페인트 스프레이를 필요로 한다. 유저의 경우, 손상된 구성품의 최종 출력은 정비 계획일 수도 있다. 하나의 손상된 구성품에 복수의 손상된 부분이 있는 경우, 가장 심각하게 손상된 부분에 대한 정비 해법이 전체 구성품에 대한 최종 처리 해법으로서 사용될 수 있다. 일반적으로, 차량의 하나의 구성품이 전체로서 간주된다. 복수의 부분이 손상된 경우, 가장 심각하게 손상된 부분에 대한 처리 해법을 적용하는 것이 상대적으로 합리적이다. 이 실시형태에서, 정비 계획은 손상된 구성품의 모든 손상을 해결하도록 선택될 수 있다. 예를 들면, 손상된 구성품에서, 손상된 부분의 손상 타입은 심각한 손상이며, 손상된 부분은 구성품 교체를 필요로 한다; 다른 손상된 부분의 손상 타입은 중간 정도의(moderate) 변형이며, 손상된 부분은 금속 도금을 필요로 한다. 이 경우, 금속 도금 처리 대신 구성품 교환 처리가 선택될 수 있다.
일반적으로, 손해 평가는 두 가지 정보: 손상 평가 및 비용 평가를 포함할 수 있다는 것이 이해되어야 한다. 본 출원의 이 실시형태에서, 출력된 정비 계획이 정비 비용에 대한 정보를 포함하지 않는 경우, 정비 계획은 손상 평가 부분으로 분류될 수 있다. 정비 계획이 정비 비용에 대한 정보를 포함하는 경우, 손상 평가 및 가격 평가 둘 모두에 대해 계산 처리가 수행된다는 것이 고려될 수 있다. 따라서, 이 실시형태에서 설명되는 정비 계획은 차량 손해 평가의 정비 계획의 처리 결과이다.
특정한 예에서, 알고리즘 서버가 처리될 픽쳐에서 손상된 구성품, 손상된 구성품의 손상된 부분, 및 손상 타입을 식별한 이후, 알고리즘 서버는, 미리 결정된 처리 규칙에 따른 전술한 정보에 기초하여 차량 구성품의 정비 계획을 생성할 수 있다. 예를 들면, A1 제조사에 의해 2016년 제조된 B1 모델 차량의 전면 좌측 휀더가 경미하게 변형된 상태이고, 따라서 금속 도금 처리를 필요로 한다. A2 제조사에 의해 2010년 제조된 B2 모델 차량의 전면 좌측 도어가 심하게 긁혀 있고 심각한 변형 상태에 있으며, 따라서, 구성품 교체 처리를 필요로 한다. A3 제조사에 의해 2013년 제조된 B3 모델 차량의 앞범퍼가 경미하게 긁혀 있고, 따라서, 페인트 스프레이를 필요로 한다. 전면 좌측 램프는 검사, 등등을 위해 분해를 필요로 한다.
본 출원의 방법의 다른 실시형태에서, 차량 손해 평가에서 비용 정보에 대한 유저의 요건을 충족하기 위해, 정비 계획은 차량 구성품 정비를 위한 추정된 수정 비용에 대한 정보를 더 포함할 수도 있고, 그 결과, 유저는 수정 비용 정보를 알 수 있고 더욱 적절한 정비 처리 방식을 선택할 수 있다. 따라서, 유저 요건이 충족되고, 유저 경험이 향상된다. 따라서, 본 출원에서의 방법의 다른 실시형태에서, 방법은 다음의 것을 더 포함할 수 있다:
S500. 차량 구성품의 정비 전략에 대한 정보를 획득함.
상응하여, 정비 계획은 정비 전략에 대응하는 추정된 정비 비용을 더 포함할 수 있다. 추정된 정비 비용은, 차량 구성품의 손상된 부분, 손상 타입, 및 정비 전략을 포함하는 정보, 및 정비 전략에서 차량 구성품에 대응하는 제품 가격 및/또는 정비 전략에서 차량 구성품에 대응하는 정비 서비스에 대한 가격을 포함하는 데이터에 기초하여 계산되는 차량 구성품의 추정된 정비 비용이다.
도 4는 본 출원의 다른 실시형태에 따른 방법을 예시하는 개략적인 방법 플로우차트이다. 특정한 구현예에서, 차량 구성품의 차량 모델, 차량 구성품에 대한 선택된 정비 장소, 및 차량 구성품에 대한 선택된 수리점(repair shop)(공인 대리점이든 또는 일반 수리점이든)과 같은 정비 전략에 대한 정보에 기초하여 상이한 가격 데이터베이스를 호출하도록 설계될 수 있다. 따라서, 예비 정비 처리 해법 및 대응하는 추정된 정비 비용을 포함하는 차량 구성품에 대한 정비 계획이 생성된다. 정비 전략에 대한 정보는 유저의 선택에 기초하여 결정될 수 있다. 예를 들면, 유저는 정비 장소(예를 들면, 도시 레벨에 있거나 또는 지역 레벨에 있음)를 선택하고, 공인 대리점 또는 일반 수리점을 선택하고, 차량 브랜드 및 모델을 입력할 수 있다. 그 다음, 알고리즘 서버는 차량 구성품의 정비 전략, 식별된 손상된 부분, 및 손상 타입에 대한 정보에 따라 다음 정비 계획을 획득할 수 있다.
A3 제조사에 의해 2013년 제조된 B3 모델 차량의 앞범퍼가 경미하게 긁혀 있고, 따라서, 페인트 스프레이를 필요로 한다. 현지 공인 대리점의 추정된 정비 비용은 600 RMB이다.
물론, 다른 구현예에서, 엔진 모듈은, 공인 대리점에서의 작업 시간 및 수리 비용과 같은 정보 및 손상된 구성품, 손상 타입, 및 손상 정도와 같은, 보험급 지급 경험에 따라 종래의 자동차 보험 회사에 의해 준비되는 정보에 기초하여 확립될 수 있다. 실제 처리 애플리케이션이 차량 구성품의 손상된 부분 및 손상 타입을 식별하면, 차량 구성품의 손해 평가 결과를 출력하기 위해 엔진 모듈이 호출될 수 있다.
상기에서 설명되는 정비 전략에 대한 정보는 수정 및 교체될 수 있다. 예를 들면, 유저는 정비를 위해 공인 대리점을 선택할 수 있다. 이 경우, 선택은 정비 전략 및 정비 계획에 대응한다. 유저가 정비를 위해 일반 수리점으로 변경하면, 선택은 다른 정비 전략 및 다른 정비 계획에 대응한다.
본 출원은 샘플에 기초하여 손상 식별 모델을 트레이닝시키는 특정한 구현예를 추가로 제공한다. 특정한 방법의 다른 실시형태에서, 도 5에서 도시되는 바와 같이, 손상된 구성품, 손상된 구성품의 손상된 부분, 및 손상 타입은 다음의 방식으로 결정될 수 있다:
S10. 손상된 부분을 포함하는 처리될 픽쳐의 세트를 획득함.
S20. 컨벌루션 신경망을 사용하는 것에 의해 세트 내의 처리될 픽쳐의 특징 벡터(feature vector)를 추출하고, 특징 벡터에 기초하여 동일한 차량 구성품에 대한 픽쳐 클러스터링 처리를 수행하고, 손상된 구성품을 결정함.
S30. 동일한 손상된 구성품에 속하는 손상된 부분을 결합하고, 손상된 부분의 손상 클러스터링 특징 데이터를 획득함.
S40. 손상 클러스터링 특징 데이터에 따라, 손상된 구성품에 포함되는 손상된 부분 및 손상된 부분에 대응하는 손상 타입을 결정함.
특정한 예에서, 임의의 식별된 손상된 구성품(p)은 하나 이상의 픽쳐에서 식별되는 하나 이상의 손상된 부분(손상 타입, 위치, 및 신뢰도 레벨을 포함함)에 대응한다. 이들 픽쳐는 클러스터링된다. 컨벌루션 네트워크에 의해 픽쳐로부터 추출되는 특징 벡터가 사용되어, 예를 들면, Ns의 컨벌루션 네트워크에서 모델 트레이닝을 위해 입력되는 최종 손상 샘플 픽쳐의 출력 벡터가 사용되어, 픽쳐 거리를 계산한다. 동일한 클러스터(t)에 속하는 픽쳐에서의 손상된 부분은 특징(Ft)으로서 결합된다(상위 K 개의 픽쳐가 신뢰도 레벨에 기초하여 선택되며, k는 15일 수 있음). 또한, 클러스터에서의 상위 C 개(C는 5일 수 있으며, 픽쳐는 클러스터에서의 가중된 손상된 부분의 수량에 기초하여 배열되며, 가중된 값은 손상된 부분의 신뢰도 레벨임)의 특징(Ft1, Ft2, ...)이, 다중클래스 경사 부스팅 결정 트리(Multiclass Gradient Boosting Decision Tree; GBDT)에 입력되는 특징으로서 선택된다. 다중클래스 경사 부스팅 결정 트리(GBDT) 모델은 최종적으로 손상 타입 및 손상 정도를 출력하기 위해 사용된다. 이 GBDT 모델은 마킹 데이터를 사용하는 것에 의해 경사 하강법 트레이닝을 통해 획득될 수 있다.
손상 픽쳐는, 모델이 트레이닝되고 있을 때 사용되는 샘플 픽쳐일 수 있다는 것이 이해될 수 있다. 유저의 실제 실시에서, 손상 픽쳐는 처리될 픽쳐일 수 있다. 전술한 픽쳐 클러스터링은, 주로, 동일한 구성품을 포함하는 클러스터링 픽쳐이다. 클러스터링의 목적은, 대략 동일한 손상된 구성품의 일부에 대해 촬영되는 픽쳐를 식별하는 것이다. 처리될 픽쳐에서의 손상된 구성품, 대응하는 손상된 부분, 및 대응하는 손상 타입은, S2 및 S3에서 획득되는 손상된 구성품, 손상된 부분, 및 손상 타입에 기초하여 전술한 구현예에서 결정된다.
또한, 다른 실시형태에서, 동일한 손상된 구성품에 속하는 손상된 부분을 결합하는 것은 다음을 포함할 수 있다:
픽쳐 클러스터에서 동일한 손상된 구성품에 속하는 처리될 픽쳐의 K 개의(K ≥ 2) 처리될 픽쳐에서 손상된 부분을 신뢰도 레벨의 내림차순으로 선택 및 결합하는 것.
결합 이후, 상위 K 개의 신뢰도 레벨이 처리를 위해 선택된다. 특히, 대량의 샘플 픽쳐에 기초한 트레이닝 동안 식별 처리의 속도가 향상될 수 있다. 이 실시형태에서의 모델 트레이닝의 구현 시나리오에서, K는 10 내지 15일 수 있다.
다른 실시형태에서, 손상된 부분의 손상 클러스터링 특징 데이터를 획득하는 것은: 결합된 픽쳐 클러스터로부터, C 개의 처리될 픽쳐의 손상 클러스터링 특징 데이터를, 손상된 부분의 가중된 값의 내림차순으로 선택하는 것을 포함할 수 있는데, 여기서 C ≥ 2이고, 가중된 값의 가중 계수는 손상된 부분의 신뢰도 레벨이다. 이 실시형태에서의 모델 트레이닝의 구현 시나리오에서, C는 3 내지 5일 수 있다.
몇몇 다른 실시형태에서, 손상 클러스터링 특징 데이터에 따라, 손상된 구성품에 포함되는 손상된 부분 및 손상된 부분에 대응하는 손상 타입을 결정하는 것은 다음의 것을 포함할 수 있다: 명시된 다중클래스 경사 부스팅 결정 트리 모델에 대한 입력 데이터로서 손상 클러스터링 특징 데이터를 사용하는 것, 및 손상된 부분 및 손상 타입을 식별하는 것.
전술한 처리될 픽쳐는, 모델이 트레이닝되고 있을 때 사용되는 샘플 픽쳐일 수 있다는 것이 이해될 수 있다. 예를 들면, S10에서 손상된 부분을 포함하는 트레이닝 샘플 픽쳐의 획득된 세트에서, 또는 픽쳐 클러스터에서 동일한 손상된 구성품에 속하는 트레이닝 샘플 픽쳐에서, K 개의 트레이닝 샘플 픽쳐에서의 손상된 부분은, 신뢰도 레벨의 내림차순으로 선택되고, 그 다음, 결합된다. 모델 트레이닝의 구현 프로세스에 대해서는, 처리될 픽쳐의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
전술한 구현 해법에서, 손해 평가 처리의 결과의 신뢰성 및 정확성이 향상될 수 있고, 처리 속도가 더 향상될 수 있다.
옵션 사항으로(optionally), 복수의 조명 모델에서 그리고 복수의 각도로부터 차량의 삼차원 모델을 현실감이 있게 묘화하는 것에 의해 픽쳐가 생성된다. 한편, 픽쳐에서의 각각의 차량 구성품의 위치가 획득된다. 묘화에 의해 생성되는 픽쳐는 트레이닝 데이터에 추가된다. 트레이닝은 픽쳐 및 마킹 데이터에 기초하여 수행된다. 따라서, 다른 실시형태에서, 구성품 식별 모델 또는 손상 식별 모델 중 적어도 하나에 의해 사용되는 트레이닝 샘플 픽쳐는 다음의 것을 포함할 수 있다: 컴퓨터 시뮬레이션에 의해 생성되는 손상된 차량 구성품의 묘화에 의해 획득되는 픽쳐 정보.
본 출원에 제공되는 픽쳐 기반의 차량 손해 평가 방법에 따르면, 처리될 픽쳐에 포함되는 손상된 구성품이 식별될 수 있고, 그 다음, 손상된 구성품의 복수의 손상된 부분 및 각각의 손상된 부분에 대응하는 손상 타입이, 구축된 손상 식별 모델에 기초하여 식별될 수 있다. 따라서, 차량 구성품의 차량 손해 평가 정보가 정확하고, 포괄적이며, 신뢰성 있게 획득될 수 있다. 또한, 본 출원의 실시형태에서 손상된 구성품, 손상된 구성품의 손상된 부분, 손상 타입, 및 정비 전략을 포함하는 정보에 기초하여 차량에 대한 정비 계획이 생성되어, 보험 청구 오퍼레이터 및 차량 소유자 유저에게 실제 참조 값을 갖는 더욱 정확하고 신뢰 가능한 손해 평가 정보를 제공한다. 본 출원의 실시형태에서, 하나 이상의 픽쳐에서의 하나 이상의 손상된 구성품, 손상된 구성품에서의 하나 이상의 손상된 부분, 및 하나 이상의 손상 정도가 식별되어, 더욱 포괄적이고 정확한 손해 평가 정보를 신속하게 획득할 수 있다. 그 다음, 빠르고, 포괄적이며, 정확하고 신뢰 가능한 차량 손해 평가 처리에 대한 보험 회사 또는 차량 소유자 유저의 요건을 충족하는 정비 계획이 자동적으로 생성되어, 차량 손해 평가 처리의 정확성 및 신뢰성을 향상시키고, 유저 경험을 향상시킬 수 있다.
전술한 픽쳐 기반의 차량 손해 평가 방법에 기초하여, 본 출원은 픽쳐 기반의 차량 손해 평가 장치를 추가로 제공한다. 장치는, 본 출원의 방법을 사용하여 시스템(분산 시스템을 포함함), 소프트웨어(애플리케이션), 모듈, 컴포넌트, 서버, 클라이언트, 등등을 사용하는, 그리고 필요한 구현 하드웨어를 포함하는 장치일 수 있다. 동일한 발명적 개념에 기초하여, 본 출원에서 제공되는 실시형태에서의 장치는 다음의 실시형태에서 설명된다. 문제를 해결하기 위한 장치의 구현 해법은 방법의 구현 해법과 유사하다. 따라서, 본 출원에서의 장치의 특정한 구현예에 대해서는, 전술한 방법의 구현예를 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다. 이하에서, 용어 "유닛" 또는 "모듈"은, 미리 결정된 기능의 소프트웨어 및/또는 하드웨어의 조합을 구현할 수 있다. 비록 이하의 실시형태에서 설명되는 장치가 바람직하게는 소프트웨어에 의해 구현되지만, 하드웨어 또는 소프트웨어와 하드웨어의 조합을 통해 장치를 구현하는 것도 또한 가능하다. 구체적으로, 도 6은 본 출원의 실시형태에 따른 픽쳐 기반의 차량 손해 평가 장치의 모델 구조를 예시하는 개략도이다. 도 6에서 도시되는 바와 같이, 장치는 다음의 것을 포함할 수 있다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하도록 구성될 수 있는 픽쳐 획득 모듈(101); 구성품 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하도록, 처리될 픽쳐에서 차량 구성품을 식별하도록, 그리고 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하도록 구성될 수 있는 제1 식별 모듈(102); 구축된 손상 식별 모델을 사용하는 것에 의해 처리될 픽쳐를 검사하도록, 그리고 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하도록 구성될 수 있는 제2 식별 모듈(103); 제1 식별 모듈(102)의 처리 결과 및 제2 식별 모듈(103)의 처리 결과에 기초하여 처리될 픽쳐에서 손상된 구성품을 결정하도록, 그리고 손상된 구성품의 손상된 부분 및 손상 타입을 결정하도록 구성될 수 있는 손상 계산 모듈(104); 및 손상된 구성품, 손상된 부분, 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하도록 구성될 수 있는 손해 평가 처리 모듈(105).
전술한 방법을 참조하면, 장치는 다른 구현예를 더 포함할 수 있다. 예를 들면, 손상 식별 모델은 컨벌루션 계층 및 구역 제안 계층의 네트워크 모델에 기초하며 샘플 데이터에 기초한 트레이닝 이후 구축되는 심층 신경망일 수 있다. 대안적으로, 장치는 정비 전략 획득 모듈을 더 포함할 수 있거나, 또는 손해 평가 처리 모듈(105)은 차량 구성품에 대한 정비 전략에 대한 정보를 획득하고, 추정된 정비 비용을 포함하는 정비 계획을 생성하기 위해 직접적으로 사용될 수 있다. 상세에 대해서는, 전술한 방법 실시형태에서의 관련된 설명을 참조한다. 세부 사항은 본원에서 설명되지 않는다.
본 출원에서 설명되는 방법 또는 장치는 컴퓨터 프로그램 및 필요한 하드웨어를 통해 구현될 수 있고, 픽쳐 기반의 차량 손해 평가의 결과를 빠르고 신뢰성 있게 출력하기 위한 디바이스의 애플리케이션에 배치될 수 있다. 따라서, 본 출원은 픽쳐 기반의 차량 손해 평가 장치를 추가로 제공한다. 그 장치는 서버 측 상에서 사용될 수 있으며, 프로세서 및 프로세서 실행 가능 명령어를 저장하도록 구성되는 메모리를 포함할 수 있다. 명령어를 실행할 때, 프로세서는 다음의 것을 구현한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것.
실제로, 전술한 장치는 GPU(Graphics Processing Unit; 그래픽 처리 유닛)와 같은 다른 처리 하드웨어를 더 포함할 수 있다. 전술한 방법의 경우, 장치의 다른 실시형태에서, 명령어를 실행할 때, 프로세서는 또한 다음의 것을 구현할 수 있다: 손상된 구성품의 정비 전략에 대한 정보를 획득하는 것.
상응하여, 정비 계획은 정비 전략에 대응하는 추정된 정비 비용을 더 포함하는데, 추정된 정비 비용은, 손상된 구성품, 손상된 부분, 손상 타입, 및 정비 전략을 포함하는 정보, 및 정비 전략에서의 손상된 구성품에 대응하는 제품 가격 및/또는 정비 전략에서의 손상된 구성품에 대응하는 정비 서비스에 대한 가격을 포함하는 데이터에 기초하여 계산되는 손상된 구성품의 추정된 정비 비용이다.
장치의 다른 실시형태에서, 구축된 손상 식별 알고리즘에 대한 명령어는, 컨벌루션 계층 및 구역 제안 계층의 네트워크 모델에 기초하며 샘플 데이터에 기초한 트레이닝 이후 구축되는 심층 신경망의 알고리즘 처리 명령어를 포함할 수 있다.
장치의 다른 실시형태에서, 명령어를 실행할 때, 프로세서는 다음과 같은 방식으로 손상된 구성품, 손상된 구성품의 손상된 부분, 및 손상 타입을 결정한다: 손상된 부분을 포함하는 처리될 픽쳐의 세트를 획득하는 것; 컨벌루션 신경망을 사용하는 것에 의해 세트 내의 처리될 픽쳐의 특징 벡터를 추출하고, 특징 벡터에 기초하여 동일한 차량 구성품에 대한 픽쳐 클러스터링 처리를 수행하고, 손상된 구성품을 결정하는 것; 동일한 손상된 구성품에 속하는 손상된 부분을 결합하고, 손상된 부분의 손상 클러스터링 특징 데이터를 획득하는 것; 및 손상 클러스터링 특징 데이터에 따라, 손상된 구성품에 포함되는 손상된 부분 및 손상된 부분에 대응하는 손상 타입을 결정하는 것.
본 출원의 이 실시형태에서 제공되는 픽쳐 기반의 차량 손해 평가 장치는, 처리될 픽쳐에 포함되는 손상된 구성품을 식별하기 위해, 그 다음, 구축된 손상 식별 모델에 기초하여, 손상된 구성품의 복수의 손상된 부분 및 각각의 손상된 부분에 대응하는 손상 타입을 식별하기 위해 사용될 수 있다. 따라서, 차량 구성품의 차량 손해 평가 정보가 정확하고, 포괄적이며, 신뢰성 있게 획득될 수 있다. 또한, 본 출원의 실시형태에서 손상된 구성품, 손상된 구성품의 손상된 부분, 손상 타입, 및 정비 전략을 포함하는 정보에 기초하여 차량에 대한 정비 계획이 생성되어, 보험 청구 오퍼레이터 및 차량 소유자 유저에게 실제 참조 값을 갖는 더욱 정확하고 신뢰 가능한 손해 평가 정보를 제공한다. 본 출원의 실시형태에서, 하나 이상의 픽쳐에서의 하나 이상의 손상된 구성품, 손상된 구성품에서의 하나 이상의 손상된 부분, 및 하나 이상의 손상 정도가 식별되어, 더욱 포괄적이고 정확한 손해 평가 정보를 신속하게 획득할 수 있다. 그 다음, 빠르고, 포괄적이며, 정확하고 신뢰 가능한 차량 손해 평가 처리에 대한 보험 회사 또는 차량 소유자 유저의 요건을 충족하는 정비 계획이 자동적으로 생성되어, 차량 손해 평가 처리의 정확성 및 신뢰성을 향상시키고, 유저 경험을 향상시킬 수 있다.
본 출원의 전술한 실시형태에서의 방법 또는 장치는, 서비스 로직을 구현할 수 있고, 컴퓨터 프로그램을 사용하는 것에 의해 저장 매체 상에 서비스 로직을 기록할 수 있다. 저장 매체는, 본 출원의 이 실시형태에서 설명되는 해법의 효과를 달성하기 위해, 컴퓨터에 의해 판독 및 실행될 수 있다. 따라서, 본 출원은 또한 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령어를 저장한다. 명령어가 실행될 때, 다음의 단계가 구현된다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 단계; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 단계; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 단계; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 단계; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 단계.
컴퓨터 판독 가능 저장 매체는 정보를 저장하기 위한 물리적 장치를 포함할 수 있다. 일반적으로, 정보는 디지털화되고, 그 다음, 전기적 방식, 자기적 방식, 광학 방식, 등등으로 매체에 저장된다. 이 실시형태에서 설명되는 컴퓨터 판독 가능 저장 매체는 다음의 것을 포함할 수 있다: 전기적 방식으로 정보를 저장하는 장치, 예를 들면, RAM 또는 ROM과 같은 메모리; 하드 디스크, 플로피 디스크, 자기 테이프, 자기 코어 메모리, 자기 버블 메모리, 또는 USB 플래시 드라이브와 같은 자기 측정 방식으로 정보를 저장하는 장치; CD 또는 DVD와 같은 광학적 방식으로 정보를 저장하는 장치. 물론, 추가로, 다른 형태의 판독 가능한 저장 매체, 예를 들면, 양자 메모리 및 그래핀 메모리가 존재한다.
전술한 장치 또는 방법은, 픽쳐 기반의 차량 손해 평가의 빠른 처리를 구현하기 위해, 픽쳐 처리를 위한 전자 디바이스에 적용될 수 있다. 전자 디바이스는 독립형 서버일 수도 있거나, 또는 복수의 애플리케이션 서버를 포함하는 시스템 클러스터일 수도 있거나, 또는 분산 시스템에서의 서버일 수도 있다. 도 7은, 본 출원의 실시형태에 따른 전자 디바이스를 예시하는 개략적인 구조도이다. 한 실시형태에서, 전자 디바이스는 프로세서 및 프로세서 실행 가능 명령어를 저장하도록 구성되는 메모리를 포함할 수 있다. 명령어를 실행할 때, 프로세서는 다음의 것을 구현한다: 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 것; 구축된 구성품 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 차량 구성품을 식별하고, 처리될 픽쳐에서 차량 구성품의 구성품 구역을 결정하는 것; 구축된 손상 식별 알고리즘을 사용하는 것에 의해 처리될 픽쳐를 검사하고, 처리될 픽쳐에서 손상된 부분 및 손상 타입을 식별하는 것; 손상된 부분 및 구성품 구역에 따라 처리될 픽쳐에서 손상된 구성품을 결정하고, 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 것; 및 손상된 구성품, 손상된 부분 및 손상 타입을 포함하는 정보에 기초하여 정비 계획을 생성하는 것.
도 8은 본 출원의 실시형태에 따른 차량 손해 평가의 처리 시나리오를 예시하는 개략도이다. 도 8의 클라이언트는 유저의 이동 단말이다. 다른 구현 시나리오에서의 클라이언트는 PC 또는 다른 단말 디바이스일 수 있다. 본 출원에서 제공되는 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스에 따르면, 딥 러닝 기술(deep learning technology)을 사용하는 것에 의해 손상된 부분 및 손상 타입이 식별되고, 손상된 부분은 픽쳐 매칭 방법을 사용하는 것에 의해 정확하게 위치 결정된다. 따라서, 다중 픽쳐 식별의 결과에 기초하여 손해 평가의 정확성이 향상될 수 있다. 정비 계획 및 추정된 비용은, 픽쳐 식별 기술, 차량 구성품 가격 데이터베이스, 및 정비 규칙에 기초하여 자동적으로 생성된다. 본 출원의 몇몇 실시형태에서, 정비 계획 및 추정된 정비 비용은, 더욱 특정한 차량 손상 정보, 차량 구성품 가격 데이터베이스, 정비 처리 방식, 등등에 기초하여 자동적으로 생성될 수 있다. 따라서, 빠르고, 포괄적이며, 정확하고, 신뢰 가능한 차량 손해 평가 처리에 대한 보험 회사 또는 차량 소유자 유저의 요건이 충족될 수 있고, 그에 의해, 차량 손해 평가 처리의 결과의 정확성 및 신뢰성을 향상시킬 수 있고 유저 경험을 향상시킬 수 있다.
비록 전술한 실시형태가 장치, 전자 디바이스, 및 컴퓨터 판독 가능 저장 매체의 실시형태에서 설명을 제공하지만, 장치, 전자 디바이스, 및 컴퓨터 판독 가능 저장 매체는, 관련된 방법 또는 장치 실시형태의 설명에 기초하여 다른 구현예를 더 포함할 수 있다는 것을 유의해야 한다. 상세에 대해서는, 관련된 방법 또는 장치 실시형태의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
본 출원의 내용은, 픽쳐 품질 처리, 컨벌루션 신경망에 기초하여 생성되는 심층 신경망, 구역 제안 네트워크, 및 이들의 조합에서의 데이터 모델 구성, 데이터 획득, 상호 작용, 계산, 결정, 등등, 추정된 정비 비용의 계산 방식, GBDT 모델을 통해 손상된 부분 및 손상 타입을 획득하는 처리 방식, 등등의 설명을 언급한다. 그러나, 본 출원은, 산업 통신 표준, 표준 데이터 모델, 컴퓨터 처리 및 저장 규칙, 또는 본 출원의 실시형태에서 설명되는 상황을 준수해야 하는 경우로 제한되지는 않는다. 몇몇 산업 표준, 자체 정의된 방식, 또는 실시형태에 설명되는 구현예에 기초한 수정 이후 획득되는 구현 해법은 또한, 전술한 실시형태와 동일한, 동등한, 유사한, 또는 예상 가능한 구현 효과를 구현할 수 있다. 수정 또는 변형에서의 데이터 획득 방식, 저장 방식, 결정하는 방식, 처리 방식, 등등의 실시형태는, 본 출원의 옵션 사항인 구현 해법의 범위 내에 여전히 속할 수 있다.
1990년대에는, 하드웨어 향상(예를 들면, 다이오드, 트랜지스터, 및 스위치와 같은 회로 구조체의 향상)과 소프트웨어 향상(방법 프로시져의 향상) 사이에서 기술의 향상이 명확히 구별될 수 있다. 그러나, 기술의 발달과 함께, 많은 방법 프로시져의 향상은, 하드웨어 회로 구조체의 직접적인 향상으로서 간주될 수 있다. 설계자 거의 모두는, 대응하는 하드웨어 회로 구조체를 획득하기 위해, 향상된 방법 프로시져를 하드웨어 회로에 프로그래밍한다. 따라서, 방법 프로시져의 향상이 하드웨어 엔티티 모듈을 사용하는 것에 의해 구현될 수 없다고 말할 수 없다. 예를 들면, 프로그래머블 논리 디바이스(programmable logic device; PLD)(예를 들면, 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA))는 집적 회로의 한 타입이다. 프로그래머블 논리 디바이스의 논리적 기능은 유저에 의해 실행되는 컴포넌트 프로그래밍에 의해 결정된다. 설계자는, 칩 제조자가 전용 집적 회로 칩을 설계 및 생산할 필요 없이, 디지털 시스템을 단일의 PLD에 "통합"하는 프로그래밍을 수행한다. 또한, 집적 회로 칩을 수동으로 생산하는 대신, 프로그래밍은, 프로그램 개발 동안 사용되는 소프트웨어 컴파일러와 유사한 "논리 컴파일러" 소프트웨어에 의해 주로 구현된다. 컴파일링 이전의 원래 코드는 또한, 하드웨어 기술 언어(hardware description language; HDL)로 칭해지는 명시된 프로그래밍 언어로 작성된다. ABEL(Advanced Boolean Expression Language; 어드밴스드 불린 표현 언어), AHDL(Altera Hardware Description Language; 알테라 하드웨어 기술 언어), 컨플루언스(Confluence), CUPL(Cornell University Programming Language; 코넬대 프로그래밍 언어), HDCal 및 JHDL(Java Hardware Description Language; 자바 하드웨어 기술 언어), 라바(Lava), 롤라(Lola), MyHDL, PALASM 및 RHDL(Ruby Hardware Description Language; 루비 하드웨어 기술 언어)과 같은, 하나보다 더 많은 타입의 HDL이 존재한다. 현재, VHDL(Very-High-Speed Integrated Circuit Hardware Description Language; 초고속 집적 회로 하드웨어 기술 언어) 및 Verilog가 가장 일반적으로 사용된다. 기술 분야의 숙련된 자는 또한, 논리적 방법 프로시져를 구현하는 하드웨어 회로가 쉽게 획득될 수 있도록, 방법 프로시져가 논리적으로만 프로그래밍되는 것, 및 전술한 하드웨어 기술 언어를 사용하는 것에 의해 집적 회로에 프로그래밍되는 것만을 필요로 한다는 것을 이해해야 한다.
컨트롤러는 임의의 적절한 방식으로 구현될 수 있다. 예를 들면, 컨트롤러는, 마이크로프로세서, 프로세서, (마이크로) 프로세서에 의해 실행될 수 있는 컴퓨터 판독 가능 프로그램 코드(예를 들면, 소프트웨어 또는 펌웨어)를 저장하는 컴퓨터 판독 가능 매체, 논리 게이트, 스위치, 주문형 집적 회로(ASIC), 프로그래머블 논리 컨트롤러, 및 임베딩된 마이크로컨트롤러일 수 있다. 컨트롤러의 예는 다음의 마이크로컨트롤러를 포함하지만 그러나 이들로 제한되는 것은 아니다: ARC 625D, Atmel(아트멜) AT91SAM, Microchip(마이크로칩) PIC18F26K20, 및 Silicone Labs(실리콘 랩스) C8051F320. 메모리 컨트롤러는 또한, 메모리의 제어 논리의 일부로서 구현될 수도 있다. 기술 분야의 숙련된 자는 또한, 컨트롤러가 순수한 컴퓨터 판독 가능 프로그램 코드의 방식으로 구현될 수 있고, 방법에서의 단계는, 컨트롤러가, 논리 게이트, 스위치, 주문형 집적 회로, 프로그래머블 논리 컨트롤러, 및 임베딩된 마이크로컨트롤러, 등등의 형태로, 동일한 기능을 또한 구현하는 것을 가능하게 하도록 논리적으로 프로그래밍될 수 있다는 것을 알고 있다. 따라서, 컨트롤러는 하드웨어 컴포넌트로서 간주될 수 있고, 컨트롤러에 포함되며 다양한 기능을 구현하도록 구성되는 장치도 하드웨어 컴포넌트에서의 구조체로서 또한 간주될 수 있다. 대안적으로, 다양한 기능을 구현하도록 구성되는 장치가, 방법을 구현하기 위한 소프트웨어 모듈 및 하드웨어 컴포넌트에서의 구조체 둘 모두로서 간주될 수 있다.
전술한 실시형태에서 설명되는 시스템, 장치, 모듈, 또는 유닛은, 구체적으로는, 컴퓨터 칩 또는 엔티티에 의해 구현될 수 있거나, 또는 명시된 기능을 갖는 제품에 의해 구현될 수 있다. 통상적인 구현 디바이스는 컴퓨터이다. 구체적으로, 컴퓨터는, 예를 들면, 퍼스널 컴퓨터, 랩탑 컴퓨터, 차량 내 인간 대 머신 상호 작용 디바이스, 셀룰러 전화, 카메라 폰, 스마트폰, 개인 휴대형 정보 단말(personal digital assistant), 미디어 플레이어, 내비게이션 디바이스, 이메일 디바이스, 게임 콘솔, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 이들 디바이스 중 임의의 것의 조합일 수도 있다.
비록 본 출원이 실시형태 또는 플로우차트에서 방법의 동작 단계를 제공하지만, 종래의 또는 비 창조적 수단에 기초하여 더 많은 또는 더 적은 동작 단계가 포함될 수 있다. 실시형태에서 열거되는 단계의 시퀀스는, 복수의 단계 실행 시퀀스 중 하나에 불과하며, 고유한 실행 시퀀스를 나타내는 것은 아니다. 실제로, 장치 또는 단말 제품이 단계를 실행할 때, 실행은 첨부의 도면에서 도시되는 방법 또는 실시형태에서 도시되는 시퀀스로 수행될 수 있거나, 또는 (예를 들면, 병렬 처리의 환경에서, 다중 스레드 처리 환경에서, 그리고 심지어 분산 데이터 처리 환경에서) 병렬로 수행될 수 있다. 엘리먼트의 목록을 포함하는 프로세스, 방법, 물품, 또는 디바이스가, 그들 엘리먼트를 포함할 뿐만 아니라, 명시적으로 열거되지 않은 다른 엘리먼트를 또한 포함하거나, 또는 그러한 프로세스, 방법, 물품, 또는 디바이스에 내재하는 엘리먼트를 더 포함하도록, 용어 "포함한다(comprise)", "포함한다(include)", 또는 그들의 임의의 다른 변형어는 비배타적인 포함을 포괄하도록 의도된다. 더 이상 제한이 없는 경우, 엘리먼트를 포함하는 프로세스, 방법, 제품 또는 디바이스에 다른 동일한 또는 동등한 엘리먼트가 존재하는 것도 또한 가능하다.
설명의 편의를 위해, 전술한 장치는 기능을 다양한 모듈로 분할하는 것에 의해 설명된다. 물론, 본 출원을 구현할 때, 각각의 모듈의 기능은 소프트웨어 및/또는 하드웨어의 하나 이상의 단편(piece)에서 구현될 수 있거나, 또는 동일한 기능을 구현하는 모듈은 복수의 서브 모듈 또는 서브유닛의 조합으로서 구현될 수 있다. 설명되는 장치 실시형태는 예시적인 것에 불과하다. 예를 들면, 유닛 분할은 논리적 기능 분할에 불과하며 실제 구현예에서는 다른 분할일 수 있다. 예를 들면, 복수의 유닛 또는 구성품은 다른 시스템 안으로 결합 또는 통합될 수도 있거나, 또는 몇몇 특징은 무시될 수 있거나 또는 수행되지 않을 수 있다. 또한, 디스플레이되는 또는 논의되는 상호 커플링 또는 직접적인 커플링 또는 통신 연결은 몇몇 인터페이스를 사용하는 것에 의해 구현될 수 있다. 장치 또는 유닛 사이의 간접적인 커플링 또는 통신 연결은, 전자적, 기계적, 또는 다른 형태로 구현될 수 있다.
기술 분야의 숙련된 자는 또한, 컨트롤러가 순수한 컴퓨터 판독 가능 프로그램 코드의 방식으로 구현될 수 있고, 방법에서의 단계는, 컨트롤러가, 논리 게이트, 스위치, 주문형 집적 회로, 프로그래머블 논리 컨트롤러, 및 임베딩된 마이크로컨트롤러, 등등의 형태로, 동일한 기능을 또한 구현하는 것을 가능하게 하도록 논리적으로 프로그래밍될 수 있다는 것을 알고 있다. 따라서, 컨트롤러는 하드웨어 컴포넌트로서 간주될 수 있고, 컨트롤러에 포함되며 다양한 기능을 구현하도록 구성되는 장치도 하드웨어 컴포넌트에서의 구조체로서 또한 간주될 수 있다. 대안적으로, 다양한 기능을 구현하도록 구성되는 장치가, 방법을 구현하기 위한 소프트웨어 모듈 및 하드웨어 컴포넌트에서의 구조체 둘 모두로서 간주될 수 있다.
본 발명은, 본 발명의 실시형태에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 플로우차트 및/또는 블록도와 관련하여 설명된다. 컴퓨터 프로그램 명령어는 플로우차트 및/또는 블록도 내의 각각의 프로세스 및/또는 각각의 블록 및 플로우차트 및/또는 블록도 내의 프로세스 및/또는 블록의 조합을 구현하기 위해 사용될 수 있다는 것이 이해되어야 한다. 이들 컴퓨터 프로그램 명령어는, 범용 컴퓨터, 전용 컴퓨터, 임베딩된 프로세서, 또는 임의의 다른 프로그래머블 데이터 처리 디바이스의 프로세서에 제공되어 머신을 생성할 수 있고, 그 결과, 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령어는, 플로우차트 내의 하나 이상의 프로시져에서 및/또는 블록도 내의 하나 이상의 블록에서 특정한 기능을 구현하기 위한 장치를 생성한다.
이들 컴퓨터 프로그램 명령어는, 컴퓨터 판독 가능 메모리에 저장되는 명령어가 명령어 장치를 포함하는 아티팩트(artifact)를 생성할 수 있도록, 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 디바이스에게 특정한 방식으로 작동할 것을 지시할 수 있는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 명령어 장치는 플로우차트 내의 하나 이상의 프로시져에서 및/또는 블록도 내의 하나 이상의 블록에서 특정한 기능을 구현한다.
이들 컴퓨터 프로그램 명령어는, 일련의 동작 및 단계가 컴퓨터 또는 다른 프로그래머블 디바이스 상에서 수행되고, 그에 의해 컴퓨터 구현 처리를 생성하도록, 컴퓨터 또는 다른 프로그래머블 데이터 처리 디바이스 상으로 로딩될 수 있다. 따라서, 컴퓨터 또는 다른 프로그래머블 디바이스 상에서 실행되는 명령어는, 플로우차트 내의 하나 이상의 프로시져에서 및/또는 블록도 내의 하나 이상의 블록에서 특정한 기능을 구현하기 위한 단계를 제공한다.
통상적인 구성에서, 컴퓨팅 디바이스는 하나 이상의 프로세서(CPU), 입력/출력 인터페이스, 네트워크 인터페이스, 및 메모리를 포함한다.
메모리는, 컴퓨터 판독 가능 매체에서 비영구적 메모리, 랜덤 액세스 메모리(random access memory; RAM), 불휘발성 메모리, 및/또는 다른 형태, 예를 들면, 리드 온리 메모리(read-only memory; ROM) 또는 플래시 메모리(플래시 메모리)를 포함할 수 있다. 메모리는 컴퓨터 판독 가능 매체의 한 예이다.
컴퓨터 판독 가능 매체는, 임의의 방법 또는 기술을 사용하는 것에 의해 정보 저장을 구현할 수도 있는, 영구적, 비영구적, 이동식, 및 비이동식 매체를 포함한다. 정보는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터일 수도 있다. 컴퓨터 저장 매체의 예는, 상 변화 랜덤 액세스 메모리(phase change random access memory: PRAM), 정적 랜덤 액세스 메모리(static random access memory: SRAM), 동적 랜덤 액세스 메모리(dynamic random access memory: DRAM) 및 다른 타입의 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 전기적으로 소거 가능한 프로그래머블 리드 온리 메모리(electrically erasable programmable read only memory: EEPROM), 플래시 메모리 또는 다른 메모리 기술, 컴팩트 디스크 리드 온리 메모리(compact disc-read only memory: CD-ROM), 디지털 다기능 디스크(digital video disk: DVD) 또는 다른 광학 스토리지, 카세트 자기 테이프, 테이프 및 디스크 스토리지 또는 다른 자기 스토리지 디바이스 또는 컴퓨팅 디바이스가 액세스할 수 있는 정보를 저장하도록 구성될 수도 있는 임의의 다른 비송신 매체를 포함하지만, 그러나 이들로 제한되지는 않는다. 본 명세서에서 정의되는 바와 같이, 컴퓨터 판독 가능 매체는 변조된 데이터 신호 및 캐리어와 같은 일시적 컴퓨터 판독 가능 매체(임시 매체)를 포함하지 않는다.
기술 분야의 숙련된 자는, 본 출원의 실시형태가, 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수도 있다는 것을 이해해야 한다. 따라서, 본 출원은 하드웨어 전용 실시형태, 소프트웨어 전용 실시형태, 또는 소프트웨어와 하드웨어의 조합을 갖는 실시형태의 형태를 사용할 수 있다. 또한, 본 출원은, 컴퓨터 사용 가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용 가능 저장 매체(디스크 메모리, CD-ROM, 광학 메모리, 및 등등을 포함하지만 그러나 이들로 제한되지는 않음) 상에서 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 출원은, 컴퓨터에 의해 실행되는 컴퓨터 실행 가능 명령어, 예를 들면, 프로그램 모듈의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 실행하기 위한 또는 특정한 추상적 데이터 타입을 구현하기 위한 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 및 등등을 포함한다. 본 출원은 또한, 통신 네트워크를 사용하는 것에 의해 연결되는 원격 처리 디바이스에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은, 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 저장 매체 둘 모두에 위치될 수 있다.
본 명세서의 실시형태는 모두 점진적 방식으로 설명되며, 실시형태에서의 동일한 또는 유사한 부분은 서로를 참조할 수 있으며, 각각의 실시형태는 다른 실시형태와의 차이점에 초점을 맞춘다. 특히, 시스템 실시형태가 방법 실시형태와 유사하며, 따라서, 간단히 설명되기 때문에; 관련 부분에 대해, 방법 실시형태의 부분적인 설명에 대해 참조가 이루어질 수 있다. 본 명세서의 설명에서, "한 실시형태", "몇몇 실시형태", "예", "특정한 예" 및 "몇몇 예"와 같은 참조 용어는, 실시형태 또는 예를 참조하여 설명되는 특정한 특징, 구조체, 재료, 또는 특징이 본 출원에서 적어도 하나의 실시형태 또는 예에 포함된다는 것을 의미한다. 본 명세서에서, 전술한 용어는 반드시 동일한 실시형태 또는 예에 대해 설명되는 것은 아니다. 또한, 설명되는 특정한 특징, 구조체, 재료, 또는 특성은, 임의의 하나 이상의 실시형태 또는 예에서 적절한 방식으로 결합될 수 있다. 또한, 기술 분야의 숙련된 자는, 본 명세서에서 설명되는 상이한 실시형태 또는 예 및 상이한 실시형태 또는 예의 특징을 상호 모순 없이 결합할 수 있다.
전술한 설명은 본 출원의 실시형태에 불과하며, 본 출원을 제한하도록 의도되지는 않는다. 기술 분야의 숙련된 자에게, 본 출원은 다양한 변경 및 변형을 가질 수 있다. 본 출원의 취지 및 원리를 벗어나지 않으면서 만들어지는 임의의 수정예, 등가적 대체예, 또는 개선예는, 본 출원의 청구범위의 범위 내에 속할 것이다.
도 9는 본 개시의 구현예에 따른, 차량 손해 평가를 생성하기 위한 컴퓨터 구현 방법(900)의 예를 예시하는 플로우차트이다. 제시의 명확성을 위해, 이하의 설명은, 이 설명의 다른 도면의 맥락에서 방법(900)을 일반적으로 설명한다. 그러나, 방법(900)은, 예를 들면, 적절히, 임의의 시스템, 환경, 소프트웨어, 및 하드웨어에 의해 또는 시스템, 환경, 소프트웨어, 및 하드웨어의 조합에 의해 수행될 수 있다는 것이 이해될 것이다. 몇몇 구현예에서, 방법(900)의 다양한 단계는 병렬로, 조합하여, 루프에서, 또는 임의의 순서로 실행될 수 있다.
902에서, 차량 손상 데이터가 수신된다. 차량은, 자동차, 트럭, 보트, 기차, 헬리콥터, 및/또는 비행기와 같은 임의의 타입의 개인 또는 공공 차량을 포함할 수 있다. 몇몇 구현예에서, 차량 손상 데이터는 차량 운전자 또는 차량 소유자와 같은 유저로부터 수신된다. 차량 운전자는, 손해 또는 손상 평가 상태에 대한 정보를 수신하기 위해 손상된 차량을 수반하는 사고 현장에서 모바일 디바이스(예컨대 이동 전화)를 사용하는 것에 의해 차량의 손상된 위치의 하나 이상의 이미지(또는 이미지)를 촬영할 수 있다. 차량 운전자는 이미지를 직접적으로 업로드할 수 있거나 또는 이미지를 차량 소유자에게 송신하여 그들을 업로드할 수 있다. 예를 들면, 유저는 차량 정비를 지원하도록 구성되는 애플리케이션에 액세스하여 획득된 이미지를 업로드할 수 있다. 애플리케이션은, 송신되는 데이터의 양을 최소화하여 대역폭 요건을 최소화하기 위해, 이미지를 자동적으로 처리하도록 구성될 수 있다. 이미지 처리는, 손상 식별과 관련이 없는 특징(예를 들면, 배경 특징)을 삭제하기 위해 이미지를 필터링하는 것을 포함할 수 있다. 이미지 처리는 송신 대역폭 요건을 최소화하기 위해 그레이 스케일 이미지로 변환하는 것을 포함할 수 있다. 이미지 처리는 송신 대역폭 요건을 최소화하기 위해 미리 결정된 파일 사이즈로 압축하는 것을 포함할 수 있다. 이미지 외에, 유저는 유저 식별자(예를 들면, 이름 및 패스워드) 및 업로드된 이미지에 관련되는 데이터를 제공할 수 있다. 데이터는, 손상된 자동차 부분(예를 들면, 차량의 앞범퍼, 좌측 전면 도어, 또는 미등)의 표시, 차량 소유자, 보험 정보, 손상된 차량에 관련되는 다른 당사자의 보험 정보, 사고 상태, 사고의 위치 및 시간을 포함할 수 있다. 902로부터, 방법(900)은 904로 진행한다.
904에서, 차량 손상 데이터는, 데이터 품질이 수용 가능하고 충분한지의 여부를 결정하도록 처리된다. 이미지 품질은, 흐림 정도 임계치 또는 정보 엔트로피 값과 같은, 품질 결정 알고리즘에 기초하여 결정될 수도 있다. 불량한 이미지 품질은, 차량 손해 평가를 위한 관련 정보의 추출을 방해할 수 있다. 차량 손상 데이터가 품질 임계치 미만이거나 또는 차량 손상 데이터의 일부가 누락되면, 904로부터, 방법(900)은 906으로 진행한다.
906에서, 추가 차량 손상 데이터가 유저에게 요청된다. 예를 들면, 유저는, 이미지 처리를 가능하게 하는 특정한 표준을 따르는 추가 이미지를 제공할 것을 지시받을 수 있다. 몇몇 구현예에서, 유저는 업로드된 이미지와 관련되는 추가 데이터를 제공하도록 지시받을 수 있다. 906에서, 방법(900)은 902로 복귀한다. 차량 손상 데이터가 품질 임계치를 초과하는 경우, 904로부터, 방법(900)은 908로 진행한다.
908에서, 수신된 차량 손상 데이터는, 유저 식별자에 기초하여 유저 정보를 검색하도록 사용되고, 차량 이미지와 함께 처리되어 구성품 구역을 결정한다. 차량 이미지는 하나 이상의 이미지 파싱 기술 및 패턴 매칭 기술을 사용하여 처리되어, 손상되지 않은 차량의 다른 구역으로부터 구성품 구역을 분리할 수 있다. 구성품 구역은, 차량 상의 손상된 차량의 부분에 대응하는 차량 이미지의 일부분을 포함한다. 손상된 차량 부분은 복수의 손상된 영역을 포함할 수도 있고, 각각의 손상된 영역은 구성품 구역에 대응한다. 908로부터, 방법(900)은 910으로 진행한다.
910에서, 구성품 구역은, 구축된 손상 식별 알고리즘을 사용하는 것에 의해 특정한 모델에 기초하여 자동차 부품의 하나 이상의 손상된 영역 위치 및 하나 이상의 손상 타입을 식별하도록 처리된다. 이미지에서 차량 구성품을 식별하기 위해 사용되는 구성품 식별 모델은 머신 러닝 알고리즘을 포함할 수 있다. 구성품 식별 모델은 구성품 이미지에 포함되는 차량 구성품을 식별하기 위해 샘플 이미지에 대해 트레이닝될 수 있다. 차량 구성품을 결정하기 위해 다수의 구성품 식별 모델을 사용될 수 있다. 각각의 구성품 식별 모델의 출력은 차량 구성품 특성 묘사 및 신뢰도 레벨을 포함할 수 있다. 구성품 식별 모델은, 도 1 내지 도 8을 참조하여 설명되는 바와 같이, 심층 신경망의 네트워크 모델, 변형 네트워크 모델, 컨벌루션 신경망(CNN) 모델, 구역 제안 네트워크(RPN) 모델 또는 다수의 모델의 조합을 포함할 수 있다. CNN은, 컨벌루션 계층 및 활성화 계층과 같은 다른 구조체를 포함할 수 있으며, 주로, 하나 이상의 이미지에서 손상 식별을 위해 사용된다. CNN 모델은 이미지 처리에서의 이차원 이산 컨벌루션 연산을 인공 신경망과 결합할 수 있다. 컨벌루션 연산은, 손상 특징의 자동 추출을 위해 사용될 수 있다. (임의의 사이즈에서) 이미지로부터 추출되는 손상 특징(이것은 컨벌루션 신경망을 사용하는 것에 의해 추출되는 2차원 특징일 수 있음)은 추가 처리를 위해 RPN 모델에 입력될 수 있다. RPN 모델은 손상 특징을 처리하여 구성품 특성 묘사를 삼차원 손상 데이터 세트(직사각형 타겟 제안 박스)의 세트로서 생성할 수 있다. 예를 들면, 단일의 손상 이미지는 복수의 손상된 부분을 포함할 수 있다. 각각의 삼차원 손상 데이터 세트는 복수의 손상된 부분의 특정한 손상된 부분에 대응할 수 있다. 하나의 손상된 부분이 있는 경우, 하나의 이미지 구역이 출력된다; k 개의 손상된 부분이 있는 경우, k 개의 이미지 구역이 출력된다; 또는 손상된 부분이 없는 경우, 제로 개의 이미지 구역이 출력된다. 각각의 삼차원 손상 데이터 세트는, 경미한, 중간 정도의 그리고 심각한 손상 사이를 구별하여, 손상 분류(손상 분류는 손상 타입을 결정하기 위해 사용됨)를 정의하기 위한 점수(예를 들면, 1, 2, 3), 및 신뢰도 레벨(신뢰도 레벨은 본원에서 손해 타입의 진위의 정도를 나타내는 파라미터임)을 포함한다. 손상 타입은, 경미한 긁힘, 심각한 긁힘, 경미한 변형, 중간 정도의 변형, 심각한 변형, 손상, 및 분해가 필요한 점검을 포함할 수 있다.
몇몇 구현예에서, 구성품 구역은 하나 이상의 특징 벡터를 추출하도록 처리될 수 있다. 특징 벡터에 기초하여 동일한 차량 구성품에 대해 이미지 클러스터링이 수행되어, 손상된 구성품을 특성 묘사할 수 있다. 동일한 손상된 구성품에 대응하는 손상된 부분은 결합될 수 있고 손상된 부분에 대해 손상 클러스터링 특징 데이터가 획득될 수 있다. 손상 클러스터링 특징 데이터는, 손상된 구성품에 포함되는 손상된 부분 및 손상된 부분에 대응하는 손상 타입을 결정하기 위해 사용될 수 있다. 예를 들면, 하나 이상의 손상된 부분(손상 타입, 위치, 및 신뢰도 레벨을 포함함)에 대응하는 임의의 식별된 손상된 구성품(p)은, 클러스터링될 수 있는 하나 이상의 이미지에서 식별될 수 있다. 구성품 식별 모델(CNN 모델)에 의해 처리되는 손상 이미지에 대응하는 특징 벡터는, 이미지 거리를 계산하기 위해 사용될 수 있다. 동일한 클러스터(t)에 대응하는 손상된 부분은 특징(Ft)으로서 결합될 수 있다. 클러스터에서 상위 C 개의 이미지(클러스터에서의 가중된 손상된 부분의 수량에 기초하여 선택되는 이미지, 가중된 값은 손상된 부분의 신뢰도 레벨임)의 다수의 특징(Ft1, Ft2, ...)이, 다중클래스 경사 부스팅 결정 트리(GBDT)에 입력되는 특징으로서 선택될 수 있다. GBDT 모델은 손상 타입 및 손상 정도를 출력하기 위해 사용된다. GBDT 모델은, 마킹 데이터를 사용하는 것에 의해 경사 하강법 트레이닝을 통해 획득될 수 있다. 클러스터링의 목적은 대략 동일한 손상된 구성품의 부분에 대해 촬영되는 이미지를 식별하는 것이다. 처리될 이미지에서의 손상된 구성품, 대응하는 손상된 부분, 및 대응하는 손상 타입은, 손상된 구성품, 손상된 부분, 및 손상 타입에 기초하여 결정된다. 동일한 손상된 구성품에 속하는 손상된 부분을 결합하는 것은 다음의 것을 포함할 수 있다: 이미지 클러스터에서 동일한 손상된 구성품에 대응하는 다수의 이미지에서 손상된 부분을 선택하고, 신뢰도 레벨(손상된 부분의 가중된 값)의 내림차순으로 결합하는 것. 신뢰도 레벨에 기초하여 처리된 이미지 수를 감소시키는 것에 의해 처리 속도는 향상될 수 있다. 예를 들면, 미리 선택된 신뢰도 레벨과 동일한 또는 더 높은 신뢰도 레벨을 갖는 이미지의 최대 수가 사용되어, 처리 부하 및 결과적으로 처리 속도를 제어할 수 있다. 910으로부터, 방법(900)은 912로 진행한다.
912에서, 식별된 손상된 영역 위치 및 손상 타입에 기초하여 정비 계획이 생성된다. 정비 계획은 차량 손해 평가에 포함된다. 정비 계획은 규칙 엔진을 사용하여 생성될 수 있다. 규칙 엔진은, 차량 모델, 위치 및 이용 가능한 수리점에 관련되는 정비 전략에 기초하여 상이한 가격 체계 데이터베이스(pricing scheme database)를 호출하여, 규칙의 세트에 기초하여, 식별된 손상을 고칠 수 있는 정비 서비스를 포함하는 손상된 차량 부분에 대한 적어도 하나의 정비 계획을 생성할 수 있다. 규칙은 프론트엔드 규칙(front-end rule) 및 백엔드 규칙(back-end rule)을 포함할 수 있다. 프론트엔드 규칙은, 정비 계획을 결정하는 데 필요한 최소 타입의 정보 타입과 같은 계약 요건을 나타낼 수 있다. 이들 계약 기반의 특징은, 인건비(labor rate), 특정한 작업당 청구 가능한 시간, 또는 정비 계획에 의해 포괄되는 작업의 임의의 다른 양태를 포함할 수도 있다. 백엔드 규칙은, 정비 계획이 식별된 손상과 일치하는지의 여부를 나타낼 수 있다(예를 들면, 프론트엔드 충돌의 경우, 시스템은 정비가 필요한 것으로 나타내어지는 후방 테일 라이트 어셈블리에 플래그를 지정할 것이다). 몇몇 경우에, 정비 계획은 정비 비용 견적을 포함한다. 출력되는 정비 계획이 정비 비용을 포함하지 않는 경우, 정비 계획은 손상 평가 부분으로 분류될 수 있다. 정비 계획이 정비 비용을 포함하는 경우, 손상 평가 및 가격 평가 둘 모두에 대해 계산 처리가 수행된다는 것이 고려될 수 있다. 정비 계획은 가능한 정비 서비스 및 위치에 대응하는 시간 견적을 포함할 수 있다. 몇몇 구현예에서, 정비 계획을 생성하는 것은, 제1 손해 통지(first notice of loss; FNOL) 프로세스의 일부로서 할당 데이터를 하나 이상의 차량 수리점으로 송신하여 할당 견적(assignment estimate)을 생성하는 것을 포함한다. 할당 데이터는, 손상 정보, 고객 이름, 연락처 정보, 보험 청구 번호, 할당 날짜, 손해 날짜, 손해 타입, 손해 타입 세부 정보, 손해 설명, 현재의 차량 위치, 차량이 전송될 수도 있는 위치, 공제액, 차량 타입, 연도/제조사/모델, 차량 식별 번호(vehicle identification number; VIN), 차량 번호, 견인 회사 정보, 손상 정보, 사전 손상 정보, 및 차량 안전성 상태(운전 가능/운전 불가능)를 포함할 수도 있지만, 그러나 이들로 제한되는 것은 아니다. 912로부터, 방법(900)은 914로 진행한다.
914에서, 정비 계획은, 유저 및/또는 차량에 관련되는 보험사에게 송신된다. 정비 계획 송신은, 차량 정비를 지원하도록 구성되는 애플리케이션에 의해 해석 가능한 정비 계획 코드를 생성하는 것을 포함할 수 있다. 계획 코드는, 송신되는 데이터의 양을 최소화하여 대역폭 요건을 최소화하도록 그리고 시각화 프로세스의 속도를 증가시키도록 형식에 따라 배열될(formatted) 수 있다. 정비 계획이 재검토될 준비가 되었음을 나타내기 위한 경고를 유저에게 생성하도록 애플리케이션이 구성될 수 있다. 애플리케이션은 모바일 디바이스의 유저에 대한 정비 계획을 애플리케이션의 그래픽 유저 인터페이스 상에서 디스플레이하도록 구성될 수 있다. 914로부터, 방법(900)은 916으로 진행한다.
916에서, 정비 계획의 승인이 유저 및/또는 보험사로부터 수신될 수 있다. 정비 계획의 승인은, 재정 책임 또는 차량 손해 보상이 유저, 보험사, 및/또는 제3자에 의해 수락되는지의 여부를 나타낼 수 있다. 정비 계획의 승인은 정비점(maintenance shop)의 선택 및 제안된 정비 계획에서 나열되는 가능한 정비 서비스 중 적어도 일부를 포함할 수 있다. 정비 계획의 승인은, 정비 계획을 개시하기 위한 바람직한 타이밍을 포함할 수 있다. 916으로부터, 방법(900)은 918로 진행한다.
918에서, 정비 계획의 승인을 수신하는 것에 응답하여, 정비 계획이 개시된다. 정비 계획을 개시하는 것은, 정비 작업을 수행할 선택된 차량 정비점에 작업 할당 데이터를 송신하는 것을 포함할 수 있다. 차량 정비점과의 통신의 이점은, 청구 및/또는 정비의 과정 동안 정보의 임의의 것이 변경되는 경우 실시간 업데이트를 제공하는 능력이며 고객에 대한 정비를 촉진할 수도 있다. 918 이후, 방법(900)은 중지된다.
본 개시의 구현예는, 대역폭 요건을 최소화하고 차량 손해 평가 생성 프로세스의 속도를 증가시키기 위해 송신되는 데이터의 양을 최소화하는 것에 의해 컴퓨팅 리소스를 감소시키면서, 대응하는 데이터 공유 효율성을 향상시킬 수 있다.
본 명세서에서 설명되는 실시형태 및 동작은, 디지털 전자 회로부(circuitry)에서, 또는, 본 명세서에서 개시되는 구조체를 비롯한 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 동작은, 하나 이상의 컴퓨터 판독 가능 스토리지 디바이스 상에 저장되는 또는 다른 소스로부터 수신되는 데이터에 대한 데이터 처리 장치에 의해 수행되는 동작으로서 구현될 수 있다. 데이터 처리 장치, 컴퓨터, 또는 컴퓨팅 디바이스는, 예로서, 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩, 또는 전술한 것 중 다수의 것, 또는 전술한 것의 조합을 비롯한, 데이터를 처리하기 위한 장치, 디바이스, 및 머신을 포괄할 수도 있다. 장치는, 특수 목적의 논리 회로부, 예를 들면, 중앙 처리 유닛(central processing unit; CPU), 필드 프로그래머블 게이트 어레이(FPGA) 또는 주문형 집적 회로(ASIC)를 포함할 수 있다. 장치는 또한, 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들면, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 오퍼레이팅 시스템(예를 들면, 오퍼레이팅 시스템 또는 오퍼레이팅 시스템의 조합), 크로스 플랫폼 런타임 환경, 가상 머신, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은, 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은, 여러 가지 상이한 컴퓨팅 모델 인프라를 실현할 수 있다.
컴퓨터 프로그램(예를 들면, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 소프트웨어 모듈, 소프트웨어 유닛, 스크립트, 또는 코드로서 또한 알려짐)은, 컴파일식 언어(compiled language) 또는 인터프리트식 언어(interpreted language), 선언적 언어(declarative language) 또는 절차적 언어(procedural language)를 비롯한, 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 그것은, 독립형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 객체, 또는 컴퓨팅 환경에서 사용하기에 적절한 다른 유닛으로서 배치되는 것을 비롯한, 임의의 형태로 배치될 수 있다. 프로그램은, 다른 프로그램 또는 데이터를 유지하는 파일의 부분(예를 들면, 마크업 언어 문서에 저장되는 하나 이상의 스크립트)에, 문제가 되는 프로그램에 전용되는 단일의 파일에, 또는 다수의 협력 파일(coordinated file)(예를 들면, 하나 이상의 모듈, 서브 프로그램, 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터 상에서 또는 하나의 사이트에 위치되는 또는 다수의 사이트에 걸쳐 분산되며 통신 네트워크에 의해 인터커넥트되는 다수의 컴퓨터 상에서 실행될 수 있다.
컴퓨터 프로그램의 실행을 위한 프로세서는, 예로서, 범용 및 특수 목적 마이크로프로세서, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서 둘 모두를 포함한다. 일반적으로, 프로세서는 리드 온리 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트는, 명령어에 따라 동작을 수행하기 위한 프로세서 및 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 이상의 대용량 스토리지 디바이스를 포함할 것이고, 하나 이상의 대용량 스토리지 디바이스로부터 데이터를 수신하도록 그리고 하나 이상의 대용량 스토리지 디바이스로 데이터를 전송하도록, 또는 둘 모두를 하도록 동작 가능하게 커플링될 것이다. 컴퓨터는, 다른 디바이스, 예를 들면, 모바일 디바이스, 개인 휴대형 정보 단말(personal digital assistant; PDA), 게임 콘솔, 전지구 위치 결정 시스템(global positioning system; GPS) 수신기, 또는 휴대용 스토리지 디바이스에 임베딩될 수 있다. 컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적절한 디바이스는, 예로서, 반도체 메모리 디바이스, 자기 디스크, 및 광자기 디스크(magneto-optical disk)를 비롯한, 불휘발성 메모리, 매체, 및 메모리 디바이스를 포함한다. 프로세서 및 메모리는 특수 목적의 논리 회로부에 의해 보충될 수 있거나, 또는 특수 목적의 논리 회로부에 통합될 수 있다.
모바일 디바이스는 핸드셋, 유저 기기(user equipment; UE), 이동 전화(예를 들면, 스마트폰), 태블릿, 웨어러블 디바이스(예를 들면, 스마트워치 및 스마트 안경), 인체 내부의 이식 디바이스(예를 들면, 바이오 센서, 달팽이관 임플란트), 또는 다른 타입의 모바일 디바이스를 포함할 수 있다. 모바일 디바이스는, 다양한 통신 네트워크(이하에서 설명됨)에 무선으로(예를 들면, 무선 주파수(RF) 신호를 사용하여) 통신할 수 있다. 모바일 디바이스는, 모바일 디바이스의 현재 환경의 특성을 결정하기 위한 센서를 포함할 수 있다. 센서는, 카메라, 마이크, 근접 센서, GPS 센서, 모션 센서, 가속도계, 주변 광 센서, 습도 센서, 자이로스코프, 콤파스, 기압계, 지문 센서, 얼굴 인식 시스템, RF 센서(예를 들면, Wi-Fi 및 셀룰러 무선), 열 센서, 또는 다른 타입의 센서를 포함할 수 있다. 예를 들면, 카메라는, 이동식 또는 고정식 렌즈를 갖는 전방 대향 또는 후방 대향 카메라, 플래시, 이미지 센서, 및 이미지 프로세서를 포함할 수 있다. 카메라는, 얼굴 및/또는 홍채(iris) 인식을 위한 세부 사항(detail)을 캡쳐할 수 있는 메가 픽셀 카메라일 수 있다. 카메라는, 메모리에 저장되는 또는 원격으로 액세스되는 데이터 프로세서 및 인증 정보와 함께, 얼굴 인식 시스템을 형성할 수 있다. 얼굴 인식 시스템 또는 하나 이상의 센서, 예를 들면, 마이크, 모션 센서, 가속도계, GPS 센서, 또는 RF 센서는 유저 인증을 위해 사용될 수 있다.
유저와의 상호 작용을 제공하기 위해, 실시형태는, 디스플레이 디바이스 및 입력 디바이스, 예를 들면, 정보를 유저에게 디스플레이하기 위한 액정 디스플레이(liquid crystal display; LCD) 또는 유기 발광 다이오드(organic light-emitting diode; OLED)/가상 현실(virtual-reality; VR)/증강 현실(augmented-reality; AR) 디스플레이 및 유저가 컴퓨터에게 입력을 제공할 수 있게 하는 터치스크린, 키보드, 및 포인팅 디바이스를 구비하는 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스가 유저와의 상호 작용을 제공하기 위해 또한 사용될 수 있고; 예를 들면, 유저에게 제공되는 피드백은 임의의 형태의 감각 피드백(sensory feedback), 예를 들면, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백을 사용할 수 있고; 유저로부터의 입력은, 음향, 음성, 또는 촉각 입력을 비롯한, 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는, 유저에 의해 사용되는 디바이스로 문서를 전송하는 것 및 유저에 의해 사용되는 디바이스로부터 문서를 수신하는 것에 의해; 예를 들면, 웹 브라우저로부터 수신되는 요청에 응답하여 유저의 클라이언트 디바이스 상의 웹 브라우저에 웹 페이지를 전송하는 것에 의해, 유저와 상호 작용할 수 있다.
실시형태는, 임의의 형태 또는 매체의 유선 또는 무선 디지털 데이터 통신(또는 이들의 조합), 예를 들면, 통신 네트워크에 의해 인터커넥트되는 컴퓨팅 디바이스를 사용하여 구현될 수 있다. 인터커넥트된 디바이스의 예는, 통상적으로 통신 네트워크를 통해 상호 작용하는, 일반적으로 서로 멀리 떨어진 클라이언트 및 서버이다. 클라이언트, 예를 들면, 모바일 디바이스는, 그 자체로, 서버와 함께, 또는 서버를 통해 트랜잭션을 수행할 수 있는데, 예를 들면, 트랜잭션을 구매, 판매, 지불, 제공, 전송, 또는 대여할 수 있거나, 또는 트랜잭션을 인가할 수 있다. 그러한 트랜잭션은, 액션 및 응답이 시간적으로 근접하도록 실시간일 수도 있다; 예를 들면, 개인은 액션 및 응답을 실질적으로 동시에 발생하는 것으로 인식하며, 개인의 액션에 후속하는 응답에 대한 시간 차이는 1 밀리초(ms) 미만 또는 1 초(s) 미만이거나, 또는 응답은, 시스템의 처리 한계를 고려하여 의도적인 지연을 갖지 않는다.
통신 네트워크의 예는, 근거리 통신망(local area network; LAN), 무선 액세스 네트워크(Radio Access Network; RAN), 도시권 통신망(Metropolitan Area Network; MAN) 및 광역 통신망(wide area network; WAN)을 포함한다. 통신 네트워크는, 인터넷의 전체 또는 일부, 다른 통신 네트워크, 또는 통신 네트워크의 조합을 포함할 수 있다. 정보는, 롱 텀 에볼루션(long term evolution; LTE), 5G, IEEE 802, 인터넷 프로토콜(Internet Protocol; IP), 또는 다른 프로토콜 또는 프로토콜의 조합을 비롯한, 다양한 프로토콜 및 표준에 따라 통신 네트워크 상에서 송신될 수 있다. 통신 네트워크는, 연결된 컴퓨팅 디바이스 사이에서, 음성, 비디오, 생체 인식, 또는 인증 데이터, 또는 다른 정보를 송신할 수 있다.
별개의 구현예로서 설명되는 특징은, 조합하여, 단일의 구현예에서 구현될 수도 있고, 한편, 단일의 구현예로서 설명되는 특징은 다수의 구현예에서, 개별적으로, 또는 임의의 적절한 하위 조합으로 구현될 수도 있다. 특정한 순서로 설명되고 주장된 동작은 그 특정한 순서를 요구하는 것으로 이해되지 않아야 하고, 모든 예시된 동작이 수행되어야 한다는 것을 규정하는 것으로도 이해되지 않아야 한다(몇몇 동작은 옵션 사항일 수 있음). 적절히, 멀티태스킹 또는 병렬 처리(또는 멀티태스킹과 병렬 처리의 조합)이 수행될 수 있다.

Claims (18)

  1. 차량 손상을 평가하기 위한 픽쳐 기반의 방법으로서,
    클라우드 서버에서 그리고 모바일 디바이스로부터, 차량 손해 평가를 위한 처리될 픽쳐를 획득하는 단계 - 상기 처리될 픽쳐는 상기 모바일 디바이스를 사용하여 촬영되고 모바일 애플리케이션을 사용하여 상기 클라우드 서버에 업로드되는 손상된 차량의 사진을 포함함 - ;
    상기 클라우드 서버에 의해, 구축된 구성품 식별 모델(component identification model)을 사용하여 상기 처리될 픽쳐를 검사하는 단계 - 상기 처리될 픽쳐를 검사하는 단계는,
    상기 처리될 픽쳐에서 차량 구성품(vehicle component)을 식별하는 단계, 및
    상기 처리될 픽쳐에서 상기 식별된 차량 구성품의 위치를 결정하는 단계
    를 포함함 - ;
    상기 클라우드 서버에 의해, 심층 신경망을 포함하는 구축된 손상 식별 모델을 사용하여 상기 처리될 픽쳐를 검사하는 단계 - 상기 처리될 픽쳐를 검사하는 단계는,
    상기 처리될 픽쳐에서 손상된 부분, 손상 타입, 및 손상 정도를 식별하는 단계, 및
    상기 손상된 부분 및 상기 결정된 위치에 따라 상기 처리될 픽쳐에서 손상된 구성품을 결정하고, 상기 결정된 손상된 구성품의 손상된 부분, 상기 결정된 손상된 구성품의 손상 타입, 및 상기 결정된 손상된 구성품의 손상 정도를 결정하는 단계
    를 포함함 - ;
    상기 클라우드 서버에 의해, 정보 - 상기 정보는 상기 결정된 손상된 구성품, 상기 결정된 손상된 구성품의 손상된 부분, 상기 결정된 손상된 구성품의 손상 타입, 및 상기 결정된 손상된 구성품의 손상 정도를 포함함 - 에 기초하여 정비 계획(maintenance plan)을 생성하는 단계; 및
    상기 생성된 정비 계획에 기초하여, 상기 클라우드 서버에 의해, 정비 작업을 수행할 선택된 차량 정비점에 작업 할당 데이터를 송신하는 단계
    를 포함하는, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  2. 제1항에 있어서,
    상기 클라우드 서버에서, 상기 손상된 구성품의 정비 전략에 대한 정보를 획득하는 단계를 더 포함하고, 상기 정비 계획은 상기 정비 전략에 대응하는 추정된 정비 비용을 더 포함하고, 상기 추정된 정비 비용은, 정보 - 상기 정보는 상기 결정된 손상된 구성품, 상기 결정된 손상된 부분, 상기 결정된 손상 타입, 및 상기 정비 전략을 포함함 - 및 데이터 - 상기 데이터는 상기 정비 전략에서의 상기 손상된 구성품에 대응하는 제품 가격 및 상기 정비 전략에서의 상기 손상된 구성품에 대응하는 정비 서비스에 대한 가격 중 적어도 하나의 가격을 포함함 - 에 기초하여 계산되는 상기 손상된 구성품의 추정된 정비 비용인 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  3. 제1항에 있어서,
    상기 구성품 식별 모델 및 상기 손상 식별 모델 중 적어도 하나는,
    컨벌루션 계층(convolutional layer) 및 구역 제안 계층(region proposal layer)을 포함하며 샘플 데이터에 기초한 트레이닝 이후 구축되는 네트워크 모델에 기초하는 심층 신경망(deep neural network)을 포함하는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  4. 제1항에 있어서,
    구축된 구성품 식별 모델을 사용하는 것에 의해 상기 처리될 픽쳐를 검사하는 단계 및 구축된 손상 식별 모델을 사용하는 것에 의해 상기 처리될 픽쳐를 검사하는 단계는 병렬로 수행되는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  5. 제3항에 있어서,
    상기 구성품 식별 모델은 마킹된 데이터를 포함하는 구성품 샘플 픽쳐를 사용하여 트레이닝되고, 상기 구성품 샘플 픽쳐는 적어도 하나의 차량 구성품을 포함하고;
    상기 손상 식별 모델은,
    손상 샘플 픽쳐가 모델 트레이닝을 위해 입력될 때 적어도 하나의 손상된 부분 및 상기 적어도 하나의 손상된 부분에 대응하는 손상 타입을 출력하도록,
    상기 손상 식별 모델이 상기 처리될 픽쳐를 검사하기 위해 사용될 때 상기 적어도 하나의 손상된 부분에 대응하는 손상 타입의 진위의 정도에 대한 신뢰도 레벨을 나타내는 데이터 정보를 출력하도록
    설정되는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  6. 제5항에 있어서,
    상기 손상된 부분 및 상기 결정된 위치에 따라 상기 처리될 픽쳐에서 손상된 구성품을 결정하는 단계는,
    상기 결정된 위치의 범위에서, 상기 식별된 손상된 부분의 손상 구역(damage region)이 존재하는지의 여부를 조회하는 단계; 및 상기 식별된 손상된 부분의 상기 손상 구역이 존재하는 경우, 상기 결정된 위치에 대응하는 차량 구성품이 상기 손상된 구성품이라는 것을 결정하는 단계를 포함하는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  7. 제5항에 있어서,
    상기 결정된 손상된 구성품, 상기 결정된 손상된 구성품의 상기 결정된 손상된 부분, 및 상기 결정된 손상 타입은 다음의 방식:
    상기 식별된 손상된 부분을 포함하는 처리될 픽쳐의 세트를 획득하는 것;
    컨벌루션 신경망(convolutional neural network)을 사용하여 상기 세트에서 상기 처리될 픽쳐의 특징 벡터(feature vector)를 추출하고, 상기 특징 벡터에 기초하여 픽쳐를 클러스터링하여 동일한 차량 구성품에 대한 픽쳐를 포함하는 픽쳐 클러스터를 생성하고, 상기 손상된 구성품을 결정하는 것;
    동일한 손상된 구성품에 속하는 상기 식별된 손상된 부분을 결합하는 것; 및
    상기 손상된 구성품에 포함되는 상기 식별된 손상된 부분 및 상기 식별된 손상된 부분에 대응하는 손상 타입을 결정하는 것
    으로 결정되는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  8. 제7항에 있어서,
    동일한 손상된 구성품에 속하는 상기 식별된 손상된 부분을 결합하는 것은,
    상기 생성된 픽쳐 클러스터에서 동일한 손상된 구성품에 속하는 처리될 픽쳐로부터 신뢰도 레벨의 내림차순으로, K 개의 처리될 픽쳐에서 손상된 부분을 선택하고 결합하는 것을 포함하되, K는 처리될 픽쳐의 개수이고, K ≥ 2인 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 손상 샘플 픽쳐에서 상기 적어도 하나의 손상된 부분 및 상기 적어도 하나의 손상된 부분에 대응하는 손상 타입이 식별되며,
    상기 클라우드 서버에 의해, 상기 적어도 하나의 손상된 부분 및 상기 적어도 하나의 손상된 부분에 대응하는 손상 타입을 식별하는 단계를 포함하는, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  11. 삭제
  12. 제1항에 있어서,
    상기 손상된 구성품의 손상된 부분 및 손상 타입을 결정하는 단계는, 가장 높은 손상 정도를 갖는 손상 타입에 대응하는 손상된 부분을, 상기 결정된 손상된 구성품의 손상된 부분으로서 선택하는 단계를 포함하되, 상기 가장 높은 손상 정도를 갖는 손상 타입은 상기 결정된 손상된 구성품의 손상 타입으로서 결정되는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  13. 제1항에 있어서,
    상기 결정된 손상 타입은, 경미한 긁힘, 심각한 긁힘, 경미한 변형, 중간 정도의 변형(moderate deformation), 심각한 변형, 손상, 검사를 위한 분해의 필요 중 어느 하나인 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  14. 제1항에 있어서,
    상기 클라우드 서버에 의해, 상기 손상된 구성품의 다수의 손상된 부분을 결정하는 단계를 더 포함하고,
    상기 정비 계획(maintenance plan)을 생성하는 단계는, 상기 클라우드 서버에 의해, 가장 심각하게 손상된 부분에 대한 정비 계획을 상기 생성되는 정비 계획으로서 선택하는 단계를 포함하는 것인, 차량 손상을 평가하기 위한 픽쳐 기반의 방법.
  15. 차량 손상을 평가하기 위한 장치로서,
    프로세서 및 프로세서 실행 가능 명령어를 저장하도록 구성되는 메모리를 포함하되, 상기 명령어를 실행할 때, 상기 프로세서는 제1항 내지 제8항 및 제12항 내지 제14항 중 어느 한 항에 따른 동작을 구현하는 것인, 차량 손상을 평가하기 위한 장치.
  16. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령어가 저장되어 있고, 상기 명령어가 실행될 때, 제1항 내지 제8항 및 제12항 내지 제14항 중 어느 한 항에 따른 단계가 구현되는, 컴퓨터 판독 가능 저장 매체.
  17. 차량 손상을 평가하기 위한 장치로서,
    상기 장치는 모바일 디바이스와 통신하는 클라우드 서버를 포함하고,
    상기 클라우드 서버는 프로세서 및 상기 프로세서에 의해 실행될 수 있는 명령어를 저장하도록 구성된 메모리를 포함하고, 상기 명령어가 실행될 때, 상기 프로세서는 동작들을 구현하고, 상기 동작들은,
    차량 손해 평가를 위한 처리될 픽쳐를 획득하는 동작;
    심층 신경망(deep neural network)을 포함하는 구축된 구성품 식별 모델(component identification model)을 사용하여 상기 처리될 픽쳐를 검사하는 동작 - 상기 처리될 픽쳐를 검사하는 동작은,
    상기 처리될 픽쳐에서 차량 구성품(vehicle component)을 식별하는 동작, 및
    상기 처리될 픽쳐에서 상기 식별된 차량 구성품의 위치를 결정하는 동작
    을 포함함 - ;
    심층 신경망을 포함하는 구축된 손상 식별 모델을 사용하여 상기 처리될 픽쳐를 검사하는 동작 - 상기 처리될 픽쳐를 검사하는 동작은,
    상기 처리될 픽쳐에서 손상된 부분, 손상 타입, 및 손상 정도를 식별하는 동작, 및
    상기 손상된 부분 및 상기 결정된 위치에 따라 상기 처리될 픽쳐에서 손상된 구성품을 결정하고, 상기 손상된 구성품의 손상된 부분, 손상 타입, 및 손상 정도를 결정하는 동작
    을 포함함 - ;
    정보 - 상기 정보는, 상기 결정된 손상된 구성품, 상기 결정된 손상된 부분, 상기 결정된 손상 타입, 및 상기 결정된 손상 정도를 포함함 - 에 기초하여 정비 계획(maintenance plan)을 생성하는 동작; 및
    상기 생성된 정비 계획을 상기 모바일 디바이스에 반환하는 동작; 또는
    상기 생성된 정비 계획에 기초하여, 상기 프로세서에 의해, 정비 작업을 수행할 선택된 차량 정비점에 작업 할당 데이터를 송신하는 동작
    을 포함하고,
    상기 모바일 디바이스는 프로세서 및 상기 프로세서에 의해 실행될 수 있는 명령어를 저장하도록 구성된 메모리를 포함하고, 상기 명령어가 실행될 때, 상기 프로세서는,
    상기 모바일 디바이스에 설치된 모바일 디바이스 애플리케이션에 의해 차량 손상 평가 서비스를 요청하는 동작 - 상기 차량 손상 평가 서비스를 요청하는 동작은,
    상기 모바일 디바이스를 사용하여 손상된 차량 부분 및 전체 차량의 사진을 촬영하는 동작, 및
    상기 촬영된 사진을 처리될 픽쳐로서 상기 모바일 디바이스 애플리케이션을 통해 상기 클라우드 서버에 업로드하는 동작
    을 포함함 - ; 및
    상기 클라우드 서버로부터, 상기 차량에 대한 정비 계획을 수신하는 동작
    을 포함하는 동작들을 구현하는 것인, 차량 손상을 평가하기 위한 장치.
  18. 삭제
KR1020197033067A 2017-04-11 2018-04-11 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스 KR102418446B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201710233656.1A CN107403424B (zh) 2017-04-11 2017-04-11 一种基于图像的车辆定损方法、装置及电子设备
CN201710233656.1 2017-04-11
US15/950,723 2018-04-11
US15/950,723 US11049334B2 (en) 2017-04-11 2018-04-11 Picture-based vehicle loss assessment
PCT/US2018/027192 WO2018191435A1 (en) 2017-04-11 2018-04-11 Picture-based vehicle loss assessment method and apparatus, and electronic device

Publications (2)

Publication Number Publication Date
KR20190139938A KR20190139938A (ko) 2019-12-18
KR102418446B1 true KR102418446B1 (ko) 2022-07-07

Family

ID=60405205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033067A KR102418446B1 (ko) 2017-04-11 2018-04-11 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스

Country Status (7)

Country Link
US (2) US11049334B2 (ko)
EP (1) EP3520044A1 (ko)
KR (1) KR102418446B1 (ko)
CN (2) CN107403424B (ko)
PH (1) PH12019502321A1 (ko)
SG (1) SG11201909420QA (ko)
TW (1) TW201839703A (ko)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089396B2 (en) 2014-07-30 2018-10-02 NthGen Software Inc. System and method of a dynamic interface for capturing vehicle data
US10740891B1 (en) * 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US10628890B2 (en) * 2017-02-23 2020-04-21 International Business Machines Corporation Visual analytics based vehicle insurance anti-fraud detection
CN107392218B (zh) 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
US10762385B1 (en) * 2017-06-29 2020-09-01 State Farm Mutual Automobile Insurance Company Deep learning image processing method for determining vehicle damage
CN108242054A (zh) 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108171699A (zh) * 2018-01-11 2018-06-15 平安科技（深圳）有限公司 定损理赔方法、服务器及计算机可读存储介质
CN108228863B (zh) * 2018-01-12 2019-05-14 北京百度网讯科技有限公司 情报信息查询的方法、装置、存储介质及终端设备
CN108335217B (zh) * 2018-01-25 2020-11-13 中国平安财产保险股份有限公司 车辆出险的模拟理赔方法、装置、设备和计算机存储介质
KR102579904B1 (ko) * 2018-01-31 2023-09-19 삼성전자주식회사 비전 검사 관리 방법 및 비전 검사 시스템
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技（深圳）有限公司 车辆定损方法、装置、电子设备及存储介质
US10997413B2 (en) * 2018-03-23 2021-05-04 NthGen Software Inc. Method and system for obtaining vehicle target views from a video stream
CN110634120B (zh) * 2018-06-05 2022-06-03 杭州海康威视数字技术股份有限公司 一种车辆损伤判别方法及装置
CN108921068B (zh) * 2018-06-22 2020-10-20 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN108985343B (zh) * 2018-06-22 2020-12-25 深源恒际科技有限公司 基于深度神经网络的汽车损伤检测方法和系统
CN108875648A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于手机视频流的实时车辆损伤和部件检测的方法
CN110570513B (zh) * 2018-08-17 2023-06-20 创新先进技术有限公司 一种展示车损信息的方法和装置
CN109145903A (zh) * 2018-08-22 2019-01-04 阿里巴巴集团控股有限公司 一种图像处理方法和装置
CN110569856B (zh) * 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
US11262298B2 (en) * 2018-08-30 2022-03-01 Caterpillar Inc. System and method for determining fluid origin
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN110570388A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 车辆的部件检测方法、装置及设备
CN110570316A (zh) 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置
CN110570317B (zh) * 2018-08-31 2023-06-20 创新先进技术有限公司 用于车辆核损的方法及装置
CN110567728B (zh) * 2018-09-03 2021-08-20 创新先进技术有限公司 用户拍摄意图的识别方法、装置及设备
CN110569864A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
CN109215119B (zh) * 2018-09-18 2023-06-20 创新先进技术有限公司 受损车辆的三维模型建立方法及装置
CN110569700B (zh) * 2018-09-26 2020-11-03 创新先进技术有限公司 优化损伤识别结果的方法及装置
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN109389169A (zh) * 2018-10-08 2019-02-26 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN109359676A (zh) * 2018-10-08 2019-02-19 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN109215027B (zh) * 2018-10-11 2024-05-24 平安科技（深圳）有限公司 一种基于神经网络的车辆定损方法、服务器及介质
CN113409382B (zh) * 2018-10-11 2023-06-20 百度在线网络技术（北京）有限公司 车辆损伤区域的测量方法和装置
CN109900702A (zh) * 2018-12-03 2019-06-18 阿里巴巴集团控股有限公司 车辆损伤检测的处理方法、装置、设备、服务器和系统
CN109614935B (zh) * 2018-12-12 2021-07-06 泰康保险集团股份有限公司 车辆定损方法及装置、存储介质及电子设备
CN109670545B (zh) * 2018-12-13 2023-08-11 北京深智恒际科技有限公司 由粗到细的车辆图像定损方法
CN109635742A (zh) * 2018-12-13 2019-04-16 深源恒际科技有限公司 一种车辆图像定损中的子部件损伤识别方法
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
DK3709219T3 (da) * 2019-03-13 2022-09-05 Ravin Ai Ltd System og fremgangsmåde til automatisk detektering af skader i køretøjer
CN110163761B (zh) * 2019-03-27 2023-05-12 蚂蚁金服（杭州）网络技术有限公司 基于图像处理的可疑项目成员识别方法及装置
US11574366B1 (en) * 2019-04-17 2023-02-07 State Farm Mutual Automobile Insurance Company Method and system for early identification and settlement of total loss claims
CN110135437B (zh) * 2019-05-06 2022-04-05 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
DE102019112289B3 (de) 2019-05-10 2020-06-18 Controlexpert Gmbh Verfahren zur Schadenserfassung bei einem Kraftfahrzeug
CN110427810B (zh) * 2019-06-21 2023-05-30 北京百度网讯科技有限公司 视频定损方法、装置、拍摄端及机器可读存储介质
US11429575B2 (en) 2019-07-12 2022-08-30 The Nielsen Company (Us), Llc Deduplication across multiple different data sources to identify common devices
CN110473418B (zh) * 2019-07-25 2022-05-20 平安科技（深圳）有限公司 危险路段识别方法、装置、服务器及存储介质
CN110503067B (zh) * 2019-08-28 2022-10-25 南阳理工学院 汽车漆面伤痕检测用装置
CN110705590B (zh) * 2019-09-02 2021-03-12 创新先进技术有限公司 通过计算机执行的、用于识别车辆部件的方法及装置
WO2021050573A1 (en) * 2019-09-09 2021-03-18 Neural Claim System, Inc. Methods and systems for submitting and/or processing insurance claims for damaged motor vehicle glass
JPWO2021054416A1 (ko) * 2019-09-19 2021-03-25
US11721010B2 (en) 2019-09-22 2023-08-08 Openlane, Inc. Vehicle self-inspection apparatus and method
CN110738576B (zh) * 2019-10-14 2021-08-06 支付宝(杭州)信息技术有限公司 为受损车辆生成定损文件的方法及装置
CN111123853B (zh) * 2019-11-25 2021-05-14 浙江明泉工业涂装有限公司 一种对汽车内表面喷涂检测与补救的机器人的控制方法
US11676365B2 (en) * 2019-12-16 2023-06-13 Accenture Global Solutions Limited Explainable artificial intelligence (AI) based image analytic, automatic damage detection and estimation system
CN111159818A (zh) * 2019-12-27 2020-05-15 中国航空工业集团公司沈阳飞机设计研究所 一种飞机复合材料结构外场损伤维修方案推送系统及其方法
CA3163620A1 (en) 2020-01-03 2021-07-08 Razvan RANCA Method of determining painting requirements for a damage vehicle
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US20210241208A1 (en) * 2020-01-31 2021-08-05 Capital One Services, Llc Method and system for identifying and onboarding a vehicle into inventory
US11720969B2 (en) 2020-02-07 2023-08-08 International Business Machines Corporation Detecting vehicle identity and damage status using single video analysis
US11503443B2 (en) 2020-02-12 2022-11-15 Honda Motor Co., Ltd. System and method for providing marine connectivity
CN111489433B (zh) * 2020-02-13 2023-04-25 北京百度网讯科技有限公司 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
US11842472B2 (en) * 2020-03-31 2023-12-12 International Business Machines Corporation Object defect correction
US20210375078A1 (en) * 2020-05-28 2021-12-02 Gm Cruise Holdings Llc Automated vehicle body damage detection
CN111667392B (zh) * 2020-06-12 2023-06-16 成都国铁电气设备有限公司 一种基于时空聚类的铁路接触网缺陷热点区域预警方法
US20220058579A1 (en) * 2020-08-20 2022-02-24 Mitchell International, Inc. Vehicle repair workflow automation with natural language processing
CN112348011B (zh) * 2020-09-10 2022-08-09 小灵狗出行科技有限公司 一种车辆定损方法、装置及存储介质
US11769120B2 (en) * 2020-10-14 2023-09-26 Mitchell International, Inc. Systems and methods for improving user experience during damage appraisal
CN112085612B (zh) * 2020-11-13 2021-03-16 深圳壹账通智能科技有限公司 车辆全损检测方法、装置、终端设备及存储介质
CN112446513A (zh) * 2020-12-15 2021-03-05 恒大恒驰新能源汽车研究院(上海)有限公司 车辆零部件检测方法及装置、计算机可读存储介质
CN112287905A (zh) * 2020-12-18 2021-01-29 德联易控科技(北京)有限公司 车辆损伤识别方法、装置、设备及存储介质
US11971953B2 (en) 2021-02-02 2024-04-30 Inait Sa Machine annotation of photographic images
US11544914B2 (en) 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
WO2022175044A1 (en) 2021-02-18 2022-08-25 Inait Sa Annotation of 3d models with signs of use visible in 2d images
CN112966730A (zh) * 2021-03-01 2021-06-15 创新奇智(上海)科技有限公司 车辆伤损识别方法、装置、设备及存储介质
CN113077513B (zh) * 2021-06-03 2021-10-29 深圳市优必选科技股份有限公司 视觉定位方法、装置和计算机设备
CN113326954B (zh) * 2021-06-25 2023-07-07 中国平安财产保险股份有限公司 车辆维修任务调度方法、装置、设备及存储介质
CN113361457A (zh) * 2021-06-29 2021-09-07 北京百度网讯科技有限公司 基于图像的车辆定损方法、装置及系统
CN113705351B (zh) * 2021-07-28 2024-05-14 中国银行保险信息技术管理有限公司 车辆定损方法、装置及设备
CN113640308B (zh) * 2021-08-31 2024-03-29 夏冰心 一种基于机器视觉的轨道异常监测系统
CN113781454B (zh) * 2021-09-15 2023-09-08 平安科技（深圳）有限公司 一种车辆损伤检测方法、装置、设备及存储介质
CN114691999A (zh) * 2021-11-04 2022-07-01 杭州以诺行汽车科技股份有限公司 基于汽修erp的人工智能推荐方法、系统和存储介质
WO2023083182A1 (en) * 2021-11-09 2023-05-19 Alpha Ai Technology Limited A system for assessing a damage condition of a vehicle and a platform for facilitating repairing or maintenance services of a vehicle
CN114092649B (zh) * 2021-11-25 2022-10-18 马上消费金融股份有限公司 基于神经网络的图片生成方法及装置
CN113902045B (zh) * 2021-12-09 2022-04-01 成都车晓科技有限公司 一种基于图像识别的车险现场快速定损方法
CN114596439A (zh) * 2022-03-20 2022-06-07 邦邦汽车销售服务(北京)有限公司 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN114739293A (zh) * 2022-03-25 2022-07-12 北京博联众睿机器人科技有限公司 车身测量方法、系统、装置以及电子设备
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109263A1 (en) 2004-05-11 2005-11-17 Fausto Siri Process and system for analysing deformations in motor vehicles
WO2013093932A2 (en) 2011-09-29 2013-06-27 Tata Consultancy Services Limited Damage assessment of an object

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5321784B2 (ko) 1974-04-05 1978-07-05
JP3243065B2 (ja) 1993-06-30 2002-01-07 株式会社東芝 構造部品の劣化・損傷予測装置
US7426437B2 (en) 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
JPH0981739A (ja) 1995-09-12 1997-03-28 Toshiba Corp 損害額算出システム及び損傷位置検出装置
JP3012567B2 (ja) * 1997-08-21 2000-02-21 翼システム株式会社 事故車修理費用見積システムおよびその記録媒体
US6246954B1 (en) 1999-01-28 2001-06-12 International Business Machines Corporation Time multiplexed global positioning system for control of traffic lights
AU5874300A (en) 1999-06-14 2001-01-02 Escort Inc. Radar warning receiver with position and velocity sensitive functions
US8525723B2 (en) 1999-06-14 2013-09-03 Escort Inc. Radar detector with navigation function
JP2001142941A (ja) * 1999-11-15 2001-05-25 Al Formulate Kk 自動車修理統合見積りシステム
JP2001344463A (ja) 2000-05-30 2001-12-14 System Location Co Ltd 車両再販価格分析システム
US20020007289A1 (en) 2000-07-11 2002-01-17 Malin Mark Elliott Method and apparatus for processing automobile repair data and statistics
US6636792B2 (en) 2000-09-29 2003-10-21 Siemens Vdo Automotive Corporation Weight classification system
JP2002183338A (ja) 2000-12-14 2002-06-28 Hitachi Ltd 損害評価方法および情報処理装置ならびに記憶媒体
US8280345B2 (en) 2000-12-22 2012-10-02 Google Inc. LPRF device wake up using wireless tag
US20110068954A1 (en) 2006-06-20 2011-03-24 Zonar Systems, Inc. Method and apparatus to collect object identification data during operation of a vehicle and analysis of such data
JP2003132170A (ja) 2001-10-29 2003-05-09 Tsubasa System Co Ltd コンピュータを用いた車輌の修理見積システム
JP2003170817A (ja) 2001-12-05 2003-06-17 Tsubasa System Co Ltd 車輌修理見積方法
JP2003196511A (ja) 2001-12-25 2003-07-11 System Kobo M:Kk 車両修理簡易見積りシステム、車両修理簡易見積りサーバおよびプログラム
JP2003226230A (ja) 2002-02-05 2003-08-12 Mazda Motor Corp 製品の修理支援装置、その方法、及び製品の修理支援用プログラムを記録した記録媒体
JP2003346021A (ja) 2002-05-28 2003-12-05 Tsubasa System Co Ltd 車両部品販売支援方法
US8068036B2 (en) 2002-07-22 2011-11-29 Ohanes Ghazarian Intersection vehicle collision avoidance system
US6826301B2 (en) 2002-10-07 2004-11-30 Infocus Corporation Data transmission system and method
US20040113783A1 (en) 2002-12-11 2004-06-17 Millennium Information Systems, Llc Container integrity management system
US20040183673A1 (en) 2003-01-31 2004-09-23 Nageli Hans Peter Portable detachable self-contained tracking unit for two-way satellite communication with a central server
US6969809B2 (en) 2003-09-22 2005-11-29 Cts Corporation Vehicle seat weight sensor
JP2005107722A (ja) 2003-09-29 2005-04-21 Kureo:Kk 見積支援プログラム、合見積支援プログラム、見積支援方法、合見積支援方法、見積支援装置および合見積支援装置
US20050108065A1 (en) 2003-11-18 2005-05-19 Dorfstatter Walter A. Method and system of estimating vehicle damage
JP3839822B2 (ja) 2004-08-11 2006-11-01 株式会社損害保険ジャパン 物流工程における物品の損傷状況分析方法、損傷状況分析システム及び記録媒体
WO2006047266A1 (en) 2004-10-22 2006-05-04 Agrios, Inc. Systems and methods for automated vehicle image acquisition, analysis, and reporting
US20060103568A1 (en) 2004-11-18 2006-05-18 Powell Steven W Systems and methods for wirelessly determining vehicle identification, registration, compliance status and location
JP2006164022A (ja) 2004-12-09 2006-06-22 Mitsubishi Electric Corp 維持管理計画システム
CN1658559A (zh) 2005-02-22 2005-08-24 刘波 基于因特网的远程实时监控车辆定损系统及其监控方法
US20060267799A1 (en) 2005-05-09 2006-11-30 Ehud Mendelson Parking detector - a system and method for detecting and navigating to empty parking spaces utilizing a cellular phone application
KR100738194B1 (ko) * 2005-10-17 2007-07-10 에스케이 텔레콤주식회사 단말기를 이용한 차량정비 안내 시스템 및 방법
US7423534B2 (en) 2006-01-13 2008-09-09 Ford Motor Company Electronic method and system for monitoring containers and products
US7701363B1 (en) 2007-01-17 2010-04-20 Milan Zlojutro Vehicle tracking and monitoring system
US20080255887A1 (en) 2007-04-10 2008-10-16 Autoonline Gmbh Informationssysteme Method and system for processing an insurance claim for a damaged vehicle
US20080281658A1 (en) 2007-04-23 2008-11-13 Steven Siessman Systems and methods for creating and reviewing vehicle damage repair estimates, and notifying entities of issues relating to manufacturer's warranty or repair content
WO2008134460A1 (en) 2007-04-25 2008-11-06 Rio Sisa Idea Farm Mobile navigation system with graphic crime-risk display
JP5321784B2 (ja) 2008-03-05 2013-10-23 富士ゼロックス株式会社 故障診断装置およびプログラム
US8103449B2 (en) 2008-10-24 2012-01-24 GM Global Technology Operations LLC Configurable vehicular time to stop warning system
US8587649B2 (en) 2009-04-21 2013-11-19 Create Electronic Optical Co., Ltd. Lane departure warning system
US9536426B2 (en) 2009-04-23 2017-01-03 Omnitracs, Llc Systems and methods for determining a speed limit violation
KR20110049391A (ko) * 2009-11-05 2011-05-12 주식회사 에이치앤아이피 차량 사고시 보험사 자동 연계서비스 시스템 및 그 방법
JP5057183B2 (ja) 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
US9489782B2 (en) 2010-07-28 2016-11-08 Hand Held Products, Inc. Collect vehicle performance with a PDT
US8063797B1 (en) 2010-07-31 2011-11-22 ParkMe LLC Parking information collection system and method
US20120029759A1 (en) 2010-08-02 2012-02-02 Suh Peter Jung-Min Method of providing vehicle maintenance information and service
CN102376071B (zh) 2010-08-20 2015-03-25 深圳市安致兰德科技有限公司 保险定损移动查勘系统
EP2553635A1 (en) * 2011-02-25 2013-02-06 Audatex GmbH System and method for estimating collision damage to a car
JP5345184B2 (ja) * 2011-07-26 2013-11-20 三菱重工業株式会社 保守計画方法
US9305411B2 (en) 2012-03-14 2016-04-05 Autoconnect Holdings Llc Automatic device and vehicle pairing via detected emitted signals
CN103390150B (zh) * 2012-05-08 2019-01-08 北京三星通信技术研究有限公司 人体部件检测方法和装置
CN103512762B (zh) * 2012-06-29 2016-12-21 北京华兴致远科技发展有限公司 图像处理方法、装置及列车故障检测系统
KR101425019B1 (ko) * 2012-08-08 2014-08-06 아이오토 주식회사 온라인을 이용한 타이어 교체 서비스 제공 시스템
US10580075B1 (en) 2012-08-16 2020-03-03 Allstate Insurance Company Application facilitated claims damage estimation
US8510196B1 (en) * 2012-08-16 2013-08-13 Allstate Insurance Company Feedback loop in mobile damage assessment and claims processing
US8712893B1 (en) 2012-08-16 2014-04-29 Allstate Insurance Company Enhanced claims damage estimation using aggregate display
US9002719B2 (en) 2012-10-08 2015-04-07 State Farm Mutual Automobile Insurance Company Device and method for building claim assessment
JP6088300B2 (ja) * 2013-03-12 2017-03-01 三菱重工業株式会社 補修業務支援装置、補修業務支援方法およびプログラム
CN103310223A (zh) * 2013-03-13 2013-09-18 四川天翼网络服务有限公司 一种基于图像识别的车辆定损系统及方法
FR3007172B1 (fr) * 2013-06-12 2020-12-18 Renault Sas Procede et systeme d'identification d'un degat cause a un vehicule
CN104517442A (zh) * 2013-10-06 2015-04-15 青岛联合创新技术服务平台有限公司 智能汽车定损装置及其工作方法
TWM478859U (zh) 2014-01-09 2014-05-21 Han-Wei Chang 人車路交通事故影音自動分析系統
JP6264132B2 (ja) 2014-03-25 2018-01-24 日産自動車株式会社 車体塗装面の検査装置および検査方法
US20150287130A1 (en) 2014-04-04 2015-10-08 Verc, Inc. Systems and methods for assessing damage of rental vehicle
CN103996041B (zh) * 2014-05-15 2015-07-22 武汉睿智视讯科技有限公司 一种基于匹配的车辆颜色识别方法和系统
CN104268783B (zh) * 2014-05-30 2018-10-26 翱特信息系统（中国）有限公司 车辆定损估价的方法、装置和终端设备
US9307234B1 (en) 2014-07-23 2016-04-05 American Express Travel Related Services Company, Inc. Interactive latency control with lossless image optimization
KR20160018944A (ko) 2014-08-07 2016-02-18 주식회사 코리아오토시스템 차량의 사고부위를 인식하여 가견적 리스트를 모바일 장치에서 생성하는 방법
US20160239922A1 (en) 2015-02-17 2016-08-18 Raymond Jimenez System and method of real-time imaging and analysis of real-world objects
US10325204B2 (en) * 2015-07-06 2019-06-18 Texas Instruments Incorporated Efficient decision tree traversal in an adaptive boosting (AdaBoost) classifier
US10242293B2 (en) 2015-08-04 2019-03-26 The Asan Foundation Method and program for computing bone age by deep neural network
GB2542118B (en) 2015-09-04 2021-05-19 Toshiba Europe Ltd A method, apparatus, system, and computer readable medium for detecting change to a structure
GB201517462D0 (en) 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN105488576A (zh) 2015-12-03 2016-04-13 小米科技有限责任公司 汽车维修费用确定方法和装置
CN105678622A (zh) 2016-01-07 2016-06-15 平安科技（深圳）有限公司 车险理赔照片的分析方法及系统
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
US11144889B2 (en) 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US10692050B2 (en) 2016-04-06 2020-06-23 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN105956667B (zh) 2016-04-14 2018-09-25 平安科技（深圳）有限公司 车险定损理赔审核方法及系统
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
CN106021548A (zh) * 2016-05-27 2016-10-12 大连楼兰科技股份有限公司 基于分布式人工智能图像识别的远程定损方法及系统
CN106056451A (zh) 2016-05-27 2016-10-26 大连楼兰科技股份有限公司 基于车辆obd传感器的远程无人定损系统
CN106066907B (zh) * 2016-05-27 2020-04-14 大连楼兰科技股份有限公司 基于多零件多模型判断的定损分等级方法
CN106022929A (zh) 2016-05-27 2016-10-12 大连楼兰科技股份有限公司 基于专家系统的碰撞事故定损方法及系统
CN105915853A (zh) * 2016-05-27 2016-08-31 大连楼兰科技股份有限公司 基于红外感知的远程无人定损方法及系统
US9870609B2 (en) 2016-06-03 2018-01-16 Conduent Business Services, Llc System and method for assessing usability of captured images
CN106127747B (zh) * 2016-06-17 2018-10-16 史方 基于深度学习的汽车表面损伤分类方法及装置
CN106250812B (zh) 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN106296118A (zh) * 2016-08-03 2017-01-04 深圳市永兴元科技有限公司 基于图像识别的车辆定损方法及装置
US20180040039A1 (en) * 2016-08-08 2018-02-08 Audatex North America, Inc. Vehicle Component Partitioner
CN106296126A (zh) * 2016-08-09 2017-01-04 深圳市永兴元科技有限公司 车险理赔费用预测方法和装置
CN106203644A (zh) 2016-08-09 2016-12-07 深圳市永兴元科技有限公司 车辆定损方法和装置
CN106372651B (zh) 2016-08-22 2018-03-06 平安科技（深圳）有限公司 图片品质的检测方法及装置
CN106370128A (zh) 2016-11-09 2017-02-01 重庆帅邦机械有限公司 一种汽车零部件定损方法
CN106504248B (zh) * 2016-12-06 2021-02-26 成都通甲优博科技有限责任公司 基于计算机视觉的车辆损伤判别方法
US10354383B2 (en) 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
US10657707B1 (en) * 2017-01-09 2020-05-19 State Farm Mutual Automobile Insurance Company Photo deformation techniques for vehicle repair analysis
US10296816B2 (en) * 2017-01-11 2019-05-21 Ford Global Technologies, Llc Generating training data for automatic vehicle leak detection
JP6954741B2 (ja) 2017-01-13 2021-10-27 株式会社ブロードリーフ 損傷判断装置、並びにこれを用いた期間・スケジュール演算装置及び修理・補修費用演算装置。
CN107358596B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN107392218B (zh) 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424B (zh) 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109263A1 (en) 2004-05-11 2005-11-17 Fausto Siri Process and system for analysing deformations in motor vehicles
WO2013093932A2 (en) 2011-09-29 2013-06-27 Tata Consultancy Services Limited Damage assessment of an object

Also Published As

Publication number Publication date
US10789786B2 (en) 2020-09-29
SG11201909420QA (en) 2019-11-28
CN107403424B (zh) 2020-09-18
KR20190139938A (ko) 2019-12-18
US20190213804A1 (en) 2019-07-11
CN112435215A (zh) 2021-03-02
PH12019502321A1 (en) 2020-07-06
CN112435215B (zh) 2024-02-13
US20180293806A1 (en) 2018-10-11
TW201839703A (zh) 2018-11-01
EP3520044A1 (en) 2019-08-07
US11049334B2 (en) 2021-06-29
CN107403424A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
KR102270499B1 (ko) 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
KR102151365B1 (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
WO2018191421A1 (en) Image-based vehicle damage determining method, apparatus, and electronic device
EP3777122B1 (en) Image processing method and apparatus
JP6546271B2 (ja) 画像処理装置、物体検知装置、画像処理方法
CN106952303B (zh) 车距检测方法、装置和系统
US20200364802A1 (en) Processing method, processing apparatus, user terminal and server for recognition of vehicle damage
US11922618B2 (en) Guided vehicle capture for virtual model generation
CN110136091B (zh) 图像处理方法及相关产品
WO2023006974A1 (en) Optical fraud detector for automated detection of fraud in digital imaginary-based automobile claims, automated damage recognition, and method thereof
CN112699798A (zh) 一种车路协同的交警动作识别方法和装置
FR3038094A1 (fr) Gestion documentaire pour la reparation automobile
CN110177222A (zh) 一种结合车机闲散资源的摄像头曝光参数调整方法及装置
CN117455689A (zh) 车辆定损方法和装置、电子设备及存储介质
WO2020044646A1 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
AMND Amendment
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant