TWI729405B - 優化損傷檢測結果的方法及裝置 - Google Patents
優化損傷檢測結果的方法及裝置 Download PDFInfo
- Publication number
- TWI729405B TWI729405B TW108119295A TW108119295A TWI729405B TW I729405 B TWI729405 B TW I729405B TW 108119295 A TW108119295 A TW 108119295A TW 108119295 A TW108119295 A TW 108119295A TW I729405 B TWI729405 B TW I729405B
- Authority
- TW
- Taiwan
- Prior art keywords
- damage
- candidate
- area
- areas
- damaged
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Finance (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本說明書實施例提供一種優化損傷檢測結果的方法和裝置,該方法包括,獲取車輛損傷圖片,並採用目標檢測演算法,從車輛損傷圖片中識別出多個候選損傷區域。然後,提取各個候選損傷區域的特徵向量;接著,基於各個候選損傷區域的特徵向量,計算某個候選損傷區域與其他候選損傷區域的相似度特徵。然後,將上述相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定該候選損傷區域是否為異常區域,如此,優化損傷檢測結果。
Description
本說明書一個或多個實施例係有關人工智慧和機器學習領域,尤其是一種優化智慧車險定損中損傷檢測結果的方法和裝置。
在傳統車險理賠場景中,保險公司需要派出專業的查勘定損人員到事故現場進行現場查勘定損,給出車輛的維修方案和賠償金額,並拍攝現場照片,定損照片留檔以供後端核查人員核損核價。由於需要人工查勘定損,保險公司需要投入大量的人力成本,和專業知識的培訓成本。從普通用戶的體驗來說,理賠流程由於等待人工查勘員現場拍照、定損員在維修地點定損、核損人員在後端核損,理賠週期長達1-3天,用戶的等待時間較長,體驗較差。
針對需求背景中提到的這一人工成本巨大的行業痛點,開始設想將人工智慧和機器學習應用到車輛定損的場景中,希望能夠利用人工智慧領域電腦視覺圖像識別技術,根據普通用戶拍攝的現場損失圖片,自動識別圖片中反映的車損狀況,並自動給出維修方案。如此,無需人工查勘定損核損,大大減少了保險公司的成本,提升了普通用戶的車險理賠體驗。
不過,目前的智慧定損方案,損傷識別的準確度還有待進一步提高。因此,希望能有改進的方案,能夠對車輛的損傷檢測結果進行進一步優化,提高識別準確度。
本說明書一個或多個實施例描述了優化損傷檢測結果的方法和裝置,在注意力機制的構思下,基於初步損傷檢測結果中各個候選損傷區域與其他候選損傷區域之間的相似度特徵,確定異常區域,從而優化損傷檢測結果。
根據第一方面,提供了一種優化損傷檢測結果的方法,包括:
獲取車輛損傷圖片;
採用目標檢測演算法,從所述車輛損傷圖片中識別出多個候選損傷區域;
提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;
基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;
將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域。
根據一種實施方式,透過以下方式提取各個候選損傷區域的特徵向量:
獲取所述車輛損傷圖片經卷積處理的特徵圖;
從所述特徵圖中提取,各個候選損傷區域對應的特徵向量。
進一步地,在一個實施例中,目標檢測演算法基於卷積神經網路;在這樣的情況下,可以從所述卷積神經網路的卷積層,獲取車輛損傷圖片經卷積處理的特徵圖。
根據一種實施方式,透過以下方式計算第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵:
計算所述第一候選損傷區域對應的第一特徵向量,分別與多個其他候選損傷區域對應的多個其他特徵向量的內積,基於多個內積結果確定所述多個相似度特徵。
在一個實施例中,所述預測模型透過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
根據一種實施方式,目標檢測演算法基於訓練樣本集預先訓練;在這樣的情況下,預測模型所基於的正樣本和負樣本可以選自所述訓練樣本集。
在一種可能的設計中,所述預測模型為線性迴歸模型。
根據一種實施方式,在確定第一候選損傷區域為異常區域的情況下,可以將第一候選損傷區域從損傷檢測結果中排除。
根據第二方面,提供一種優化損傷檢測結果的裝置,包括:
獲取單元,配置為獲取車輛損傷圖片;
識別單元,配置為採用目標檢測演算法,從所述車輛損傷圖片中識別出多個候選損傷區域;
提取單元,配置為提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;
計算單元,配置為基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;
確定單元,配置為將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域。
根據第三方面,提供了一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行第一方面的方法。
根據第四方面,提供了一種計算設備,包括儲存器和處理器,其特徵在於,所述儲存器中儲存有可執行代碼,所述處理器執行所述可執行代碼時,實現第一方面的方法。
透過本說明書實施例提供的方法和裝置,借鑒Attention機制的思路,對於損傷識別模型識別出的多個損傷區域,關注某個損傷區域與其他損傷區域之間的相似度關聯,由此排除異常區域,優化損傷檢測的結果。
下面結合圖式,對本說明書提供的方案進行描述。
為了對車輛定損圖片中的損傷狀況進行識別,業界普遍採用的方法是,透過與巨量歷史資料庫進行比對得到相似的圖片,來決定圖片上的損傷部件及其程度。然而,這樣的方式損傷識別準確率不夠理想。
此外,還採用樣本標註的方式訓練一些損傷識別模型,進行車輛損傷的識別。在進行損傷識別過程中,反光和污漬干擾是兩大難點。在識別的結果中往往會出現真正的損傷能夠正確檢測,而同時少量反光或污漬也會被檢測成損傷的情況,從而出現誤檢測。
為了減少誤檢測,發明人對真實的車險場景進行了深入的觀察和研究。研究發現,一次碰撞或者刮擦事故造成的車體表面的多處損傷往往具有相似的視覺特徵,比如損傷的高度基本一致,痕跡趨於連貫,或者由於刮擦而附著上的顏色相同。根據這樣的特點,提出在損傷識別過程中引入Attention機制,即注意力機制,來優化損傷檢測的結果。
Attention機制是自然語言處理中常常用到的一個概念。在進行自然語言處理,需要理解一個詞或一句話的意思的時候,上下文的資訊非常關鍵,可以幫助理解一個詞或一句話的準確意思。然而,不同位置的上下文對當前要處理的詞句的影響作用並不相同,要投入的“注意力”也就不同,並且對當前詞句最有影響的上下文的位置並不固定,因為它可能出現在當前詞句之前或之後,距離也不確定。因此就需要attention機制解決這樣的問題。
Attention機制也可以被應用到圖像處理領域中。例如,可以應用該機制去學習和確定,在一張圖片中,哪些區域是對識別當前對象比較關鍵的區域,也就是需要投入更多注意力的區域。
基於對損傷識別過程中誤檢測的觀察和attention機制的特點,在本說明書的一個或多個實施例中,借鑒Attention機制的思路,對於損傷識別模型識別出的多個損傷區域,關注某個損傷區域與其他損傷區域之間的相似度關聯,由此排除異常區域(outlier),優化損傷檢測的結果。
圖1為本說明書揭露的一個實施例的實施場景示意圖。如圖1所示,車輛損傷圖片被輸入到損傷識別模型進行損傷識別。如果圖片中車輛包含連續的損傷區域,例如刮擦、刮痕等,通常情況下,損傷識別模型會從圖片中識別出多個候選損傷區域作為檢測結果。根據本說明書的實施例,借鑒注意力機制的思想,透過計算各個損傷區域與其他損傷區域之間的相似度關聯,判斷某個損傷區域是否為真實損傷,由此排除掉非真實損傷的誤檢測,優化損傷檢測結果。下面描述優化損傷檢測結果的具體實現過程。
圖2示出根據一個實施例的優化損傷檢測結果的方法流程圖。該方法可以透過任何具有計算、處理能力的裝置、設備、平臺和設備叢集來執行。如圖2所示,該優化方法包括,步驟21,獲取車輛損傷圖片;步驟22,採用目標檢測模型,從所述車輛損傷圖片中識別出多個候選損傷區域;步驟23,提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;步驟24,基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;步驟25,將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域。下面描述以上各個步驟的執行方式。
首先,在步驟21,獲取車輛損傷圖片。可以理解,該圖片可以是普通用戶拍攝的車損現場的圖片,是有待進行損傷識別的圖片。
圖3a示出車輛損傷圖片的一個示例。該圖片是普通用戶拍攝的未經處理的現場圖片。
接著在步驟22,採用目標檢測演算法,從車輛損傷圖片中識別出多個候選損傷區域。如前所述,為了進行損傷識別,會利用大量標註圖片作為訓練樣本,訓練損傷識別模型,用於從圖片中識別損傷對象。在損傷識別模型進行損傷識別過程中,常常採用目標檢測演算法,從圖片中識別出損傷目標。一般地,目標檢測演算法的輸出為,包含目標對象的邊框(bounding box)和該邊框中目標對象的類別。在將目標檢測演算法應用於損傷識別時,將會得到損傷對象的區域邊框和損傷對象的損傷類別。
如果圖片中車輛包含連續的損傷區域,例如刮擦、刮痕等,通常情況下,採用了目標檢測演算法的損傷識別模型會從圖片中識別出多個候選損傷區域作為檢測結果。
圖3b示出目標檢測演算法識別出的多個候選損傷區域的例子。可以看到,在對圖3a的車輛損傷圖片應用損傷識別模型之後,透過目標檢測演算法,從圖片中識別出多個損傷對象,這些損傷對象用區域邊框標示出來。
如前所述,由於反光、污漬等的影響,如此識別出的候選損傷區域有可能包含非真實損傷的干擾區域。因此,接下來對步驟22識別出的候選損傷區域進行分析和優化。
為此,在步驟23,提取各個候選損傷區域的特徵向量;然後在步驟24,基於各個候選損傷區域的特徵向量,計算多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵。
具體地,在一個實施例中,從原始的車輛損傷圖片的像素特徵中獲取各個候選區域對應的像素特徵,例如RGB像素值,基於這些像素特徵提取各個候選損傷區域的特徵向量。
在另一實施例中,直接提取卷積處理得到的特徵作為特徵向量。具體地,步驟23進一步包括,獲取車輛損傷圖片經卷積處理的特徵圖(feature map);從該特徵圖中提取,各個候選損傷區域對應的特徵向量。
本領域技術人員瞭解,卷積神經網路CNN是圖像處理領域常常採用的一種網路結構,其中包括若干卷積層,用於對圖像進行卷積處理。卷積處理是使用一個卷積核,對圖像中的每個像素進行一系列操作。卷積核(運算子)是用來做圖像處理時的矩陣,是與原圖像素做運算的參數。卷積核通常是一個四方形的網格結構(例如3*3的矩陣或像素區域),每個網格都有一個權重值。使用卷積核對圖片進行卷積計算時,將卷積核在圖片的像素矩陣上滑動,每滑動一個步長,對卷積核中每個元素和其覆蓋的圖像像素值進行乘積並求和,如此得到的新的特徵值矩陣構成特徵圖,即feature map。卷積運算可以從原始圖片的像素矩陣中,提取出抽象的特徵,根據卷積核的設計,這些抽象特徵例如可以反映,原始圖片中一個區域的線條形狀、顏色分佈等更加全域的特徵。
因此,在以上步驟23中,可以將車輛損傷圖片輸入卷積神經網路,從卷積層的輸出獲得經卷積處理的特徵圖。可以理解,根據設計需要,卷積神經網路可以包含多個卷積層,對原始圖片進行多次卷積。那麼相應地,在該步驟中,可以根據需要,從特定深度的卷積層獲得經過多次卷積處理的特徵圖。
在一個實施例中,步驟22中為了識別出候選損傷區域所採用的目標檢測演算法中已經採用了卷積神經網路對車輛損傷圖片進行處理。因此,在這樣的情況下,在步驟23,可以複用步驟22中目標檢測演算法所採用的卷積神經網路對車輛損傷圖片的中間處理結果,也就是,從上述卷積神經網路的卷積層,獲取卷積處理的特徵圖。
在獲取到車輛損傷圖片的特徵圖後,可以確定各個候選損傷區域在該特徵圖中的對應部分,或稱為特徵子圖,根據特徵子圖中包含的特徵,確定各個候選損傷區域對應的特徵向量。
如此,確定出各個候選損傷區域的特徵向量。在此基礎上,執行步驟24,計算各個候選損傷區域之間的相似度特徵。
在一種實施方式中,假定步驟22中識別出N個候選損傷區域B1
,B2
,…,BN
,在步驟23,對於這N個候選損傷區域,分別提取出對應的特徵向量F1
,F2
,…,FN
;那麼在步驟24,可以對這N個區域中任意兩個候選損傷區域Bi
和Bj
,基於其各自的特徵向量Fi
和Fj
,計算兩者之間的相似度特徵Ai,j
。
在一個實施例中,對於兩個候選損傷區域Bi和Bj,其各自的特徵向量為Fi
和Fj
,可以計算Fi
和Fj
之間的差值,基於該差值確定兩個候選區域的相似度特徵Ai,j
。
在另一實施例中,對於兩個候選損傷區域Bi
和Bj
,其各自的特徵向量為Fi
和Fj
,可以計算Fi
和Fj
之間的內積,基於內積結果確定兩個候選區域的相似度特徵Ai,j
。
具體地,假定Fi
=(a1
,a2
,…,an
);Fj
=(b1
,b2
,…,bn
),
根據上述示例,可以將其相似度特徵Ai,j
定義為:
Ai,j
=(a1
*b1
,a2
*b2
,…,an
*bn
)。
透過以上的方式,可以基於各個候選損傷區域的特徵向量,計算任意兩個候選損傷區域之間的相似度特徵。這些相似度特徵可以用於判斷各個候選損傷區域中損傷識別的真實性。
具體地,對於某個候選損傷區域k,為了判斷該候選損傷區域的真實性,可以分別計算該候選損傷區域k與所有其他候選損傷區域的相似度特徵,也就是分別計算Ak,1
,Ak,2
,…,Ak,N
,然後利用預定的預測模型,基於這些相似度特徵進行判斷。也就是,執行步驟25,將候選損傷區域k對應的多個相似度特徵Ak,1
,Ak,2
,…,Ak,N
輸入預定的預測模型,根據預測模型的輸出結果,確定該候選損傷區域k是否為異常區域。
在一個實施例中,該預測模型為線性迴歸模型,基於對輸入的各個相似度特徵進行線性運算,給出預測結果。例如,在一個具體例子中,將候選損傷區域k對應的相似度特徵輸入該線性模型,該線性模型輸出區域k作為異常區域的機率P,
P=f(w1
*Ak,1
+w2
*Ak,2
,…,+wN
*Ak,N
),
其中,w1
到wN
為對應權重因子。
在另一實施例中,上述預測模型也可以採用更為複雜的非線性模型,採用非線性變換函數,輸出預測結果。
在一個實施例中,預測模型中的參數根據需要由建模人員設定。
在另一實施例中,預測模型中的參數透過模型訓練而確定。例如,該預測模型可以包括神經網路結構,透過訓練樣本的訓練,確定神經網路中各層的參數。
圖4示出根據一個實施例的預測模型的結構圖。在該示例中,預測模型採用神經網路的結構,輸入層用於接收各個相似度特徵Ak,1
,Ak,2
,…,Ak,N
,這些相似度特徵透過帶權重的連接傳遞到下一層神經元,經過神經元運算,給出預測結果。
需要理解,圖4僅僅是一個簡單的示例,在其他實施方式中,預測模型也可以採用更加複雜的神經網路結構,包含更多隱藏層。
在一個實施例中,上述預測模型透過正樣本和負樣本預先訓練,正樣本例如包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域,以便預測模型從正樣本中學習到,多個真實損傷區域之間的相似度特徵的特點,並從負樣本中學習,非損傷區域與真實損傷區域之間的相似度特徵的特點。
如前所述,在步驟22,損傷識別模型採用目標檢測演算法來檢測候選損傷區域。該損傷識別模型需要利用大量標註圖片作為訓練樣本集進行訓練,這些標註圖片透過人工標註,標示出真實損傷對象。通常,訓練樣本集也會包含一些負樣本,也就是非損傷區域的圖片。因此,預測模型可以複用上述訓練樣本集進行訓練,也就是從中獲取多個標註為真實損傷的損傷區域作為正樣本,獲取多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域作為負樣本,利用正樣本和負樣本訓練預測模型。
在一個實施例中,預測模型輸出某個候選損傷區域k作為異常區域的機率P,根據此機率和預設閾值,可以確定該候選損傷區域k是否為異常區域。
在另一實施例中,預測模型為分類模型,直接輸出該候選損傷區域k是否為異常區域的分類結果。
在一個實施例中,在確定某個候選損傷區域為異常區域之後,將其標註為待定區域,發送給人工平臺進行覆核。
在一個實施例中,在確定某個候選損傷區域為異常區域之後,將該區域作為非真實損傷區域,從損傷檢測結果中排除。
具體地,對於圖3b示出的多個候選損傷區域,根據步驟23到步驟25,計算各個候選損傷區域與其他候選損傷區域的相似度特徵,將相似度特徵輸入預測模型,以確定該區域是否為異常區域。在圖3b中,最右邊的候選損傷區域在包含的目標對象的顏色、形狀上與其他候選損傷區域存在較大不同,由此計算得到的與其他區域的相似度特徵體現出較低的相似度,經過預測模型的綜合判斷,將其判斷為異常區域。圖3c示出經過優化的損傷檢測結果。對比圖3c和圖3b可以看到,將最右邊的候選損傷區域從損傷檢測結果中排除。可以發現,最右邊的候選損傷區域實際上為地面反光,而其他候選損傷區域包含連續的刮擦。
如此,在attention機制的構思之下,透過候選區域之間的相似度,確定出異常區域,從而優化損傷檢測的結果,提高損傷檢測的準確度。
根據另一方面的實施例,還提供一種優化損傷檢測結果的裝置。圖5示出根據一個實施例的優化裝置的示意性方塊圖。如圖5所示,優化裝置500包括:獲取單元51,配置為獲取車輛損傷圖片;識別單元52,配置為採用目標檢測演算法,從所述車輛損傷圖片中識別出多個候選損傷區域;提取單元53,配置為提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;計算單元54,配置為基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;確定單元55,配置為將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域。
根據一個實施例,所述提取單元53首先獲取所述車輛損傷圖片經卷積處理的特徵圖;然後從所述特徵圖中提取,各個候選損傷區域對應的特徵向量。
進一步地,在一種實施方式中,識別單元52所採用的目標檢測演算法基於卷積神經網路;在這樣的情況下,提取單元53從所述卷積神經網路的卷積層,獲取所述特徵圖,然後從該特徵圖中提取,各個候選損傷區域對應的特徵向量。
根據一種實施方式,計算單元54透過以下方式計算相似度特徵:計算第一候選損傷區域對應的第一特徵向量,分別與多個其他候選損傷區域對應的多個其他特徵向量的內積,基於多個內積結果確定所述多個相似度特徵。
在一個實施例中,確定單元55所採用的預測模型透過正樣本和負樣本預先訓練,其中正樣本包括,多個標註為真實損傷的損傷區域,所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域。
進一步地,在一種實施方式中,識別單元52所採用的目標檢測演算法基於訓練樣本集預先訓練;確定單元55所採用的預測模型基於正樣本和負樣本訓練,該正樣本和負樣本選自目標檢測演算法所基於的訓練樣本集。
在一個實施例中,確定單元55所採用的預測模型為線性迴歸模型。
根據一種可能的設計,裝置500還包括排除單元(未示出),配置為在確定第一候選損傷區域為異常區域的情況下,將第一候選損傷區域從損傷檢測結果中排除。
透過上述裝置,基於初步的損傷檢測結果中各個候選損傷區域與其他候選損傷區域之間的相似度特徵,確定該候選損傷區域是否為異常區域,從而優化損傷檢測結果。
根據另一方面的實施例,還提供一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行結合圖2所描述的方法。
根據再一方面的實施例,還提供一種計算設備,包括儲存器和處理器,所述儲存器中儲存有可執行代碼,所述處理器執行所述可執行代碼時,實現結合圖2所述的方法。
本領域技術人員應該可以意識到,在上述一個或多個示例中,本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時,可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。
以上所述的具體實施方式,對本發明的目的、技術方案和有益效果進行了進一步詳細說明,所應理解的是,以上所述僅為本發明的具體實施方式而已,並不用於限定本發明的保護範圍,凡在本發明的技術方案的基礎之上,所做的任何修改、等同替換、改進等,均應包括在本發明的保護範圍之內。
21:步驟
22:步驟
23:步驟
24:步驟
25:步驟
Ak,1:相似度特徵
Ak,2:相似度特徵
Ak,3:相似度特徵
Ak,N:相似度特徵
500:優化裝置
51:獲取單元
52:識別單元
53:提取單元
54:計算單元
55:確定單元
為了更清楚地說明本發明實施例的技術方案,下面將對實施例描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本發明的一些實施例,對於本領域普通技術人員來講,在不付出進步性勞動的前提下,還可以根據這些圖式獲得其它的圖式。
圖1示出本說明書揭露的一個實施例的實施場景示意圖;
圖2示出根據一個實施例的優化損傷檢測結果的方法流程圖;
圖3a示出車輛損傷圖片的一個示例;
圖3b示出目標檢測演算法識別出的多個候選損傷區域的例子;
圖3c示出經過優化的損傷檢測結果;
圖4示出根據一個實施例的預測模型的結構圖;
圖5示出根據一個實施例的優化裝置的示意性方塊圖。
Claims (16)
- 一種優化損傷檢測結果的方法,包括:獲取車輛損傷圖片;將所述車輛損傷圖片輸入損傷識別模型,所述損傷識別模型採用目標檢測演算法,從所述車輛損傷圖片中識別出包含損傷對象的多個候選損傷區域和損傷對象的損傷類別;提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域,其中,所述預測模型透過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,用於示出多個真實損傷區域之間的相似度特徵的特點;所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域,用於示出非損傷區域與真實損傷區域之間的相似度特徵的特點。
- 根據請求項1所述的方法,其中提取所述多個候選損 傷區域中各個候選損傷區域的特徵向量包括:獲取所述車輛損傷圖片經卷積處理的特徵圖;從所述特徵圖中提取各個候選損傷區域對應的特徵向量。
- 根據請求項2所述的方法,其中所述目標檢測演算法基於卷積神經網路;所述獲取所述車輛損傷圖片經卷積處理的特徵圖包括,從所述卷積神經網路的卷積層,獲取所述特徵圖。
- 根據請求項1所述的方法,其中計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵包括:計算所述第一候選損傷區域對應的第一特徵向量,分別與多個其他候選損傷區域對應的多個其他特徵向量的內積,基於多個內積結果確定所述多個相似度特徵。
- 根據請求項1所述的方法,其中所述目標檢測演算法基於訓練樣本集預先訓練;所述正樣本和負樣本選自所述訓練樣本集。
- 根據請求項1所述的方法,其中所述預測模型為線性迴歸模型。
- 根據請求項1所述的方法,還包括,在確定第一候選損傷區域為異常區域的情況下,將第一候選損傷區域從損傷檢測結果中排除。
- 一種優化損傷檢測結果的裝置,包括:獲取單元,配置為獲取車輛損傷圖片;識別單元,配置為將所述車輛損傷圖片輸入損傷識別模型,所述損傷識別模型採用目標檢測演算法,從所述車輛損傷圖片中識別出包含損傷對象的多個候選損傷區域和損傷對象的損傷類別;提取單元,配置為提取所述多個候選損傷區域中各個候選損傷區域的特徵向量;計算單元,配置為基於各個候選損傷區域的特徵向量,計算所述多個候選損傷區域中任意的第一候選損傷區域與多個其他候選損傷區域的多個相似度特徵;確定單元,配置為將所述多個相似度特徵輸入預定的預測模型,根據預測模型的輸出結果,確定第一候選損傷區域是否為異常區域,其中,所述預測模型透過正樣本和負樣本預先訓練,所述正樣本包括,多個標註為真實損傷的損傷區域,用於示出多個真實損傷區域之間的相似度特徵的特點;所述負樣本包括,多個標註為真實損傷的損傷區域和至少一個標註為非損傷的區域,用於示出非損傷區域與真實損傷區域之間的相似度特徵的特點。
- 根據請求項8所述的裝置,其中所述提取單元配置為:獲取所述車輛損傷圖片經卷積處理的特徵圖;從所述特徵圖中提取,各個候選損傷區域對應的特徵向量。
- 根據請求項9所述的裝置,其中所述目標檢測演算法基於卷積神經網路;所述提取單元配置為,從所述卷積神經網路的卷積層,獲取所述特徵圖。
- 根據請求項8所述的裝置,其中所述計算單元配置為:計算所述第一候選損傷區域對應的第一特徵向量,分別與多個其他候選損傷區域對應的多個其他特徵向量的內積,基於多個內積結果確定所述多個相似度特徵。
- 根據請求項8所述的裝置,其中所述目標檢測演算法基於訓練樣本集預先訓練;所述正樣本和負樣本選自所述訓練樣本集。
- 根據請求項8所述的裝置,其中所述預測模型為線性迴歸模型。
- 根據請求項8所述的裝置,還包括排除單元,配置為在確定第一候選損傷區域為異常區域的情況下,將第一候選損傷區域從損傷檢測結果中排除。
- 一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行請求項1至7中任一項的所述的方法。
- 一種計算設備,包括儲存器和處理器,其特徵在於,所述儲存器中儲存有可執行代碼,所述處理器執行所述可執行代碼時,實現請求項1至7中任一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811015506.4A CN110569837B (zh) | 2018-08-31 | 2018-08-31 | 优化损伤检测结果的方法及装置 |
CN201811015506.4 | 2018-08-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202011258A TW202011258A (zh) | 2020-03-16 |
TWI729405B true TWI729405B (zh) | 2021-06-01 |
Family
ID=68772390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108119295A TWI729405B (zh) | 2018-08-31 | 2019-06-04 | 優化損傷檢測結果的方法及裝置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11010838B2 (zh) |
CN (1) | CN110569837B (zh) |
TW (1) | TWI729405B (zh) |
WO (1) | WO2020046960A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106990894B (zh) * | 2017-03-21 | 2020-08-11 | 北京小米移动软件有限公司 | 智能设备的控制方法及装置 |
CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
US11580800B2 (en) * | 2018-11-08 | 2023-02-14 | Verizon Patent And Licensing Inc. | Computer vision based vehicle inspection report automation |
US10885625B2 (en) * | 2019-05-10 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Recognizing damage through image analysis |
US10783643B1 (en) | 2019-05-27 | 2020-09-22 | Alibaba Group Holding Limited | Segmentation-based damage detection |
CN115668250A (zh) | 2020-01-03 | 2023-01-31 | 易识有限公司 | 确定对损坏车辆的喷漆要求的方法 |
CN112766481B (zh) * | 2020-03-13 | 2023-11-24 | 腾讯科技(深圳)有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
CN111461225B (zh) * | 2020-04-01 | 2022-04-01 | 支付宝(杭州)信息技术有限公司 | 客户聚类系统及其方法 |
CN111666973B (zh) * | 2020-04-29 | 2024-04-09 | 平安科技(深圳)有限公司 | 车辆损伤图片处理方法、装置、计算机设备及存储介质 |
CN111723690B (zh) * | 2020-06-03 | 2023-10-20 | 北京全路通信信号研究设计院集团有限公司 | 一种电路设备状态监测方法和系统 |
CN111860304B (zh) * | 2020-07-17 | 2024-04-30 | 北京百度网讯科技有限公司 | 一种图像标注方法、电子装置、设备及存储介质 |
US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
CN112966730A (zh) * | 2021-03-01 | 2021-06-15 | 创新奇智(上海)科技有限公司 | 车辆伤损识别方法、装置、设备及存储介质 |
US20230011330A1 (en) * | 2021-07-09 | 2023-01-12 | At&T Intellectual Property I, L.P. | Device condition determination |
CN114048775B (zh) * | 2021-11-10 | 2022-07-05 | 哈尔滨工业大学 | 线性相关结构损伤诊断指标的核函数显式映射重构方法 |
CN116226430B (zh) * | 2023-05-08 | 2023-07-07 | 深圳市拓保软件有限公司 | 一种增量式高精度图像过滤方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6233364B1 (en) * | 1998-09-18 | 2001-05-15 | Dainippon Screen Engineering Of America Incorporated | Method and system for detecting and tagging dust and scratches in a digital image |
CN107092922A (zh) * | 2017-03-13 | 2017-08-25 | 平安科技(深圳)有限公司 | 车损识别方法及服务器 |
TW201740338A (zh) * | 2016-04-11 | 2017-11-16 | 鴻海精密工業股份有限公司 | 車輛損傷定價系統及方法 |
CN107392218A (zh) * | 2017-04-11 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6644973B2 (en) | 2000-05-16 | 2003-11-11 | William Oster | System for improving reading and speaking |
JP2006098151A (ja) * | 2004-09-29 | 2006-04-13 | Dainippon Screen Mfg Co Ltd | パターン検査装置およびパターン検査方法 |
US7536304B2 (en) | 2005-05-27 | 2009-05-19 | Porticus, Inc. | Method and system for bio-metric voice print authentication |
US9298979B2 (en) | 2008-01-18 | 2016-03-29 | Mitek Systems, Inc. | Systems and methods for mobile image capture and content processing of driver's licenses |
US8180629B2 (en) * | 2008-07-10 | 2012-05-15 | Trigent Softward Ltd. | Automatic pattern generation in natural language processing |
CN101561379B (zh) * | 2009-05-13 | 2011-06-29 | 清华大学 | 一种用于结构损伤检测的敲击扫描方法 |
US9082235B2 (en) | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
US9066125B2 (en) | 2012-02-10 | 2015-06-23 | Advanced Biometric Controls, Llc | Secure display |
US8705836B2 (en) | 2012-08-06 | 2014-04-22 | A2iA S.A. | Systems and methods for recognizing information in objects using a mobile device |
CN103778600B (zh) * | 2012-10-25 | 2019-02-19 | 北京三星通信技术研究有限公司 | 图像处理系统 |
US9147127B2 (en) | 2013-03-15 | 2015-09-29 | Facebook, Inc. | Verification of user photo IDs |
US9202119B2 (en) | 2013-10-18 | 2015-12-01 | Daon Holdings Limited | Methods and systems for determining user liveness |
JP6287047B2 (ja) * | 2013-10-22 | 2018-03-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9607138B1 (en) | 2013-12-18 | 2017-03-28 | Amazon Technologies, Inc. | User authentication and verification through video analysis |
US10320807B2 (en) | 2014-02-25 | 2019-06-11 | Sal Khan | Systems and methods relating to the authenticity and verification of photographic identity documents |
US9646227B2 (en) | 2014-07-29 | 2017-05-09 | Microsoft Technology Licensing, Llc | Computerized machine learning of interesting video sections |
CA3186147A1 (en) | 2014-08-28 | 2016-02-28 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
US9619696B2 (en) | 2015-04-15 | 2017-04-11 | Cisco Technology, Inc. | Duplicate reduction for face detection |
US9794260B2 (en) | 2015-08-10 | 2017-10-17 | Yoti Ltd | Liveness detection |
US20170060867A1 (en) | 2015-08-31 | 2017-03-02 | Adfamilies Publicidade, SA | Video and image match searching |
US10065441B2 (en) | 2015-09-01 | 2018-09-04 | Digimarc Corporation | Counterfeiting detection using machine readable indicia |
WO2017059576A1 (en) | 2015-10-09 | 2017-04-13 | Beijing Sensetime Technology Development Co., Ltd | Apparatus and method for pedestrian detection |
US11144889B2 (en) * | 2016-04-06 | 2021-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
GB2554361B8 (en) | 2016-09-21 | 2022-07-06 | Emergent Network Intelligence Ltd | Automatic image based object damage assessment |
CN106845496B (zh) * | 2016-12-30 | 2019-02-12 | 首都师范大学 | 精细目标识别方法和系统 |
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
CN107424150A (zh) * | 2017-07-27 | 2017-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的道路破损检测方法及装置 |
-
2018
- 2018-08-31 CN CN201811015506.4A patent/CN110569837B/zh active Active
-
2019
- 2019-06-04 TW TW108119295A patent/TWI729405B/zh active
- 2019-08-26 US US16/550,991 patent/US11010838B2/en active Active
- 2019-08-27 WO PCT/US2019/048372 patent/WO2020046960A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6233364B1 (en) * | 1998-09-18 | 2001-05-15 | Dainippon Screen Engineering Of America Incorporated | Method and system for detecting and tagging dust and scratches in a digital image |
TW201740338A (zh) * | 2016-04-11 | 2017-11-16 | 鴻海精密工業股份有限公司 | 車輛損傷定價系統及方法 |
CN107092922A (zh) * | 2017-03-13 | 2017-08-25 | 平安科技(深圳)有限公司 | 车损识别方法及服务器 |
CN107392218A (zh) * | 2017-04-11 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
Srimal Jayawardena: "image based automatic vehicle damage detection Srimal Jayawardena", 2013/12/11(http://hdl.handle.net/1885/11072) * |
Also Published As
Publication number | Publication date |
---|---|
US11010838B2 (en) | 2021-05-18 |
CN110569837B (zh) | 2021-06-04 |
CN110569837A (zh) | 2019-12-13 |
TW202011258A (zh) | 2020-03-16 |
WO2020046960A1 (en) | 2020-03-05 |
US20200074560A1 (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI729405B (zh) | 優化損傷檢測結果的方法及裝置 | |
TWI742382B (zh) | 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 | |
Li et al. | Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network | |
TWI703510B (zh) | 車輛損壞識別方法、裝置及計算設備 | |
TWI726364B (zh) | 電腦執行的車輛定損方法及裝置 | |
WO2021046951A1 (zh) | 图像识别方法、系统及存储介质 | |
TWI698804B (zh) | 最佳化損傷識別結果的方法及裝置 | |
WO2020238256A1 (zh) | 基于弱分割的损伤检测方法及装置 | |
WO2021057069A1 (zh) | 计算机执行的车辆定损方法及装置 | |
US11574395B2 (en) | Damage detection using machine learning | |
US20200380692A1 (en) | Segmentation-based damage detection | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
Fu et al. | Facial anatomical landmark detection using regularized transfer learning with application to fetal alcohol syndrome recognition | |
WO2023035538A1 (zh) | 车辆损伤的检测方法、装置、设备及存储介质 | |
Evstafev et al. | Surface Defect Detection and Recognition Based on CNN | |
CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
Iraldi et al. | Damage classification on roads using machine learning | |
CN116309245B (zh) | 基于深度学习的地下排水管道缺陷智能检测方法与系统 | |
CN116434087B (zh) | 基于goa-svm协同算法与无人机的混凝土裂缝识别方法及装置 | |
Mugunthan | Early prediction of fire accident in petroleum industries by statistical machine learning algorithm | |
CN117034980A (zh) | 一种破损二维码的识别方法 | |
Chen | Development of image recognition system for steel defects detection | |
Xi-Xing et al. | A YOLOv5s-GC-based surface defect detection method of strip steel | |
CN117151138A (zh) | 一种破损码的生成方法、装置及计算机设备 | |
CN115392662A (zh) | 一种基于图像数据的质量鉴别分等级管理系统及方法 |