TWI635467B - 車輛檢測的方法及裝置 - Google Patents

車輛檢測的方法及裝置 Download PDF

Info

Publication number
TWI635467B
TWI635467B TW106128491A TW106128491A TWI635467B TW I635467 B TWI635467 B TW I635467B TW 106128491 A TW106128491 A TW 106128491A TW 106128491 A TW106128491 A TW 106128491A TW I635467 B TWI635467 B TW I635467B
Authority
TW
Taiwan
Prior art keywords
vehicle
training
level
model
module
Prior art date
Application number
TW106128491A
Other languages
English (en)
Other versions
TW201812718A (zh
Inventor
王健宗
馬進
黃章成
屠昕
劉銘
李佳琳
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of TW201812718A publication Critical patent/TW201812718A/zh
Application granted granted Critical
Publication of TWI635467B publication Critical patent/TWI635467B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本發明提供一種車輛檢測的方法及裝置，該方法包括：先將包含車輛訊號的待檢測圖片進行初步處理得到基本特徵訊號，再輸入到預先訓練生成的And-Or模型中以獲取各層級關鍵節點，將各層級關鍵節點關聯後作為較佳的演算分支，可根據各層級關鍵節點所對應的位置參數和圖形範本得到車輛位置訊號以及車輛佈局關係，本發明利用And-Or模型對車輛進行檢測識別，能處理具有複雜場景的圖片，並對圖片中車輛訊號達到高效率的識別。

Description

車輛檢測的方法及裝置
本發明關於影像處理技術領域，特別是關於一種車輛檢測的方法及裝置。
目前，對車輛資訊的識別一般是藉由自動化的監管系統對車輛資訊圖片中的目標物體進行檢測來實現的，例如檢測車輛資訊圖片中的車牌等。
然而，由於現實車輛場景存在多樣性、以及車輛間遮擋關係的無規則或可見部位比例的不可控等因素，現行的車輛資訊的識別工作往往會遇到較多干擾，識別效果不佳。
此外，傳統的車輛資訊的識別工作往往是採用簡單的人工設定特徵的模式來進行的，在處理一些複雜場景時，識別工作的效率較低。
本發明的目的是提供一種車輛檢測的方法及裝置，在進行安全監控下所獲取的車輛狀態清晰影像資訊，對該等車輛資訊圖片中的目標物體進行檢測，進而得到最優化的識別準確率。
本發明之車輛檢測的方法，其步驟包括：S1，在提取模組接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊；S2，藉由訓練模組將該基本特徵資訊輸入到預先訓練生成 的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的該各層級節點作為關鍵節點輸出；S3，藉由關聯模組將輸出的該關鍵節點進行關聯，以將關聯的該各層級關鍵節點作為較佳的演算分支；S4，藉由轉化模組將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的該各層級關鍵節點對應的該圖形範本；S5，藉由輸出模組根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並輸出。
在一較佳實施例中，層級至少包括以下三個：車輛連通區域層級、每一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級。
在一較佳實施例中，該步驟S2還包括：S21，藉由獲取單元將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點；S22，藉由分解單元在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示；S23，藉由抽取單元在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，每一輛車對應的區域以Or節點表示；S24，藉由組織單元在該車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用And節點表示並進行組織；S25，藉由輸出單元將各Or節點及各And節點作為關鍵節點輸出。
在一較佳實施例中，該步驟S2之前，該方法還包括：S01， 藉由獲取模組，獲取預設數量的帶有車輛資訊的車輛圖片作為And-Or模型的訓練樣本圖片；S02，藉由框定模組，提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對該訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域；S03，藉由生成模組，利用通過框定處理後的該訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的該And-Or模型；S04，藉由測試模組，將測試集中的每張訓練樣本圖片輸入到訓練生成的該And-Or模型中以進行測試，若測試的準確率大於等於預設閾值，則訓練結束。
在一較佳實施例中，該步驟S04之後，該方法還包括：若測試的準確率小於預設閾值，則提示增加該訓練樣本圖片的數量。
本發明之車輛檢測的裝置，該車輛檢測的裝置包括：一提取模組，用於在接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊；一訓練模組，用於將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的該各層級節點作為關鍵節點輸出；一關聯模組，用於將輸出的該關鍵節點進行關聯，以將關聯的該各層級關鍵節點作為較佳的演算分支；一轉化模組，用於將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的該各層級關鍵節點對應的該圖形範本；一輸出模組，用於根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並 輸出。
在一較佳實施例中，該層級至少包括以下三個：車輛連通區域層級、每一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級。
在一較佳實施例中，該訓練模組包括：一獲取單元，用於將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點；一分解單元，用於在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示；一抽取單元，用於在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，該每一輛車對應的區域以Or節點表示；一組織單元，用於在該車輛內部的各局部部件組成區域層級，對於該每一輛車的各個局部部件區域分別用And節點表示並進行組織；一輸出單元，用於將該各Or節點及該各And節點作為關鍵節點輸出。
在一較佳實施例中，該車輛檢測的裝置還包括：一獲取模組，用於獲取預設數量的帶有車輛資訊的車輛圖片作為And-Or模型的訓練樣本圖片；一框定模組，用於提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域；一生成模組，用於利用通過框定處理後的該訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的And-Or模型；一測試模組，用於將測試集中的每張訓練樣本圖片輸入到訓練生成的And-Or模型中 以進行測試，若測試的準確率大於等於預設閾值，則訓練結束。
在一較佳實施例中，該車輛檢測的裝置還包括：一增加模組，用於若測試的準確率小於預設閾值，則提示增加該訓練樣本圖片的數量，觸發該框定模組以繼續訓練生成用於進行圖片檢測的And-Or模型。
本發明的有益效果是：本發明首先將包含車輛資訊的待檢測圖片進行初步處理得到基本特徵資訊，然後將其輸入到預先訓練生成的And-Or模型中以獲取各層級關鍵節點，將各層級關鍵節點關聯後作為一較佳的演算分支，對於每一演算分支，在獲取其各層級關鍵節點的圖形範本及轉化各層級的關鍵節點的位置參數後，可以根據各層級關鍵節點對應的位置參數和圖形範本得到車輛位置資訊以及車輛佈局關係，本實施例利用And-Or模型對車輛進行檢測識別，能夠處理具有複雜場景的圖片，並對圖片中的車輛資訊進行有效的識別、識別效率高。
S1~S5‧‧‧步驟
S21~S25‧‧‧步驟
S01~S04‧‧‧步驟
101‧‧‧提取模組
102‧‧‧訓練模組
103‧‧‧關聯模組
104‧‧‧轉化模組
105‧‧‧輸出模組
201‧‧‧獲取模組
202‧‧‧框定模組
203‧‧‧生成模組
204‧‧‧測試模組
第1圖係本發明車輛檢測的方法之第一實施例的流程示意圖；第2圖係第1圖所示步驟S2的流程示意圖；第3圖係本發明車輛檢測的方法之第二實施例的流程示意圖；第4圖係本發明車輛檢測的裝置之第一實施例的結構示意圖；第5圖係本發明車輛檢測的裝置之第二實施例的結構示意圖。
以下結合附圖對本發明的原理和特徵進行描述，所舉實施例只用於解釋本發明，並非用於限定本發明的範圍。
請參閱第1圖，係本發明車輛檢測的方法一實施例的流程示意圖，該車輛檢測的方法包括以下步驟。
步驟S1，藉由提取模組101，在接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊。
本實施例的車輛檢測的方法可以應用於具有複雜場景下的交通安全監控、汽車生產及汽車保險等領域，利用具有圖片拍攝功能的車輛檢測的裝置在這些場景下捕獲圖片，當捕獲到包含車輛資訊的圖片後，以該圖片作為待檢測圖片，並通過一些預定的演算法來提取其基本特徵資訊。
於本實施例中，該預定的演算法為影像處理的一些基本演算法，例如為圖像邊緣檢測演算法等，該基本特徵資訊為可以直接輸入至And-Or模型的圖片資訊，例如為圖片中各部分的位置或相互關係等。在一較佳實施例中，本實施例可以利用方向梯度長條圖(Histogram of Oriented Gradient,HOG)演算法獲取該待檢測圖片的梯度邊緣資訊，然後再採用K-means聚類演算法獲取各經梯度邊緣後的圖片的聚類中心或者採用DPM(Deformable Parts Model)演算法獲取各經梯度邊緣後的圖片各部分的相互位置關係等。
步驟S2，藉由訓練模組102，將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的該各層級節點作為關鍵節點輸出。
於本實施例中，該And-Or模型為預先採用大量的該包含車輛資訊的圖片進行訓練得到的，將上述提取得到的該基本特徵資訊輸入至 該預先訓練生成的And-Or模型，通過該預先訓練生成的And-Or模型對輸入的該基本特徵資訊進行學習，在學習過程中，首先得到根節點，然後基於該根節點可以得到該各個層級對應的節點，然後將該各個層級對應的節點作為關鍵節點輸出。
本實施例的該預先訓練生成的And-Or模型中，較佳的層級至少包括三個，即為車輛連通區域層級、每一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級。當然層級也可以少於三個或者多於三個。
步驟S3，藉由關聯模組103，將輸出的該關鍵節點進行關聯，以將關聯的該各層級關鍵節點作為較優的演算分支。
於本實施例中，在該關鍵節點輸出後，將輸出的該關鍵節點進行關聯。其中，可以以上述的根節點為基礎將該關鍵節點進行關聯，具體地，可以先將每一層級中的該關鍵節點進行關聯，例如將同一層級中的關鍵節點的依據位置關係進行關聯，以確定同一層級中的各關鍵節點的相對位置；然後，將該各層級的關鍵節點依據位置關係進行關聯，例如將不同層級中的關鍵節點的位置進行關聯，以確定不同層級中的各關鍵節點的相對位置，該關鍵節點進行關聯後，可以勾勒出該待檢測圖片各部分的架構，然後將關聯的該各層級關鍵節點作為上述預先訓練生成的And-Or模型在學習過程中的較佳的演算分支，以進行下一步操作。
步驟S4，藉由轉化模組104，將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的各層級關鍵節點對應的該 圖形範本。
於本實施例中，將較佳的演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，以得到該待檢測圖片中各部分的具體位置。
另外，對於每一較優的演算分支中的各個層級，可以根據預定的該各層級關鍵節點與該圖形範本的關聯關係確定出每個層級關鍵節點對應的該圖形範本，例如某一層級的關鍵節點為橢圓形，則所關聯的圖形範本為橢圓。該圖形範本為通過對不同車輛從不同角度觀看時各部分所形成的線條或者圖形，通過提取這些線條或圖形以形成大量的圖形範本，該圖形範本具有一個或者多個節點，即該圖形範本與該節點相關聯。
步驟S5，藉由輸出模組105，根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並輸出。
於本實施例中，如果已經得到該各層級關鍵節點對應的該位置參數(即得到待檢測圖片中各部分的具體位置)以及對應的圖形範本，則可以將該各層級關鍵節點對應的該圖形範本置於與該位置參數對應的位置，最終得到該待檢測圖片中該車輛位置資訊以及該車輛佈局關係，即得到每一輛的具體位置及多輛車(對於待檢測圖片有多輛車時而言)之間的佈局關係。
與習知技術相比，本實施例首先將包含車輛資訊的待檢測圖片進行初步處理得到基本特徵資訊，然後將其輸入到預先訓練生成的And-Or模型中以獲取各層級關鍵節點，將各層級關鍵節點關聯後作為一較 佳的演算分支，對於每一演算分支，在獲取其各層級關鍵節點的圖形範本及轉化各層級的關鍵節點的位置參數後，可以根據各層級關鍵節點對應的位置參數和圖形範本得到車輛位置資訊以及車輛佈局關係，本實施例利用And-Or模型對車輛進行檢測識別，能夠處理具有複雜場景的圖片，並對圖片中的車輛資訊進行有效的識別、識別效率高。
在一較佳的實施例中，請同時參閱第1圖及第2圖所示，在上述第1圖之實施例的基礎上，上述步驟S2還包括以下步驟。
步驟S21，藉由獲取單元，將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點。
步驟S22，藉由分解單元，在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示。
步驟S23，藉由抽取單元，在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，該每一輛車對應的區域以Or節點表示。
步驟S24，藉由組織單元，在該車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用And節點表示並進行組織。
步驟S25，藉由輸出單元，將各Or節點及各And節點作為關鍵節點輸出。
本實施例中，上述層級至少包括車輛連通區域層級、每一 輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級為例進行說明。在將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中可以獲取到該車輛全域區域，即對應於待檢測圖片中包含所有車輛的區域所形成的區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點。
在該車輛連通區域層級，基於根節點對各個車輛連通區域進行分解，例如分解出第一輛車與第二輛車的連通區域，直至將所有的車輛的車輛連通區域分解出來，各個車輛連通區域分別以不同的And節點表示。
在該每一輛車的分佈位置區域層級，通過上述的車輛連通區域層級分解出來的車輛連通區域，對每一輛車對應的區域進行抽取，以抽取得到每一輛車所在的區域，每一輛車對應的區域以Or節點表示。
在抽取出每一輛車對應的區域後，在車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用And節點表示並進行組織。最後，將各Or節點及各And節點作為關鍵節點輸出。
在一較佳的實施例中，請同時參閱第1圖及第3圖所示，在上述第1圖的實施例的基礎上，該步驟S2之前，該方法還包括以下步驟：
步驟S01，藉由獲取模組201，獲取預設數量的帶有車輛資訊的車輛圖片作為And-Or模型的訓練樣本圖片；
步驟S02，藉由框定模組202，提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對該訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域；
步驟S03，藉由生成模組203，利用通過框定處理後的訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的And-Or模型。
步驟S04，藉由測試模組204，將該測試集中的每張訓練樣本圖片輸入到訓練生成的該And-Or模型中以進行測試，若測試的準確率大於等於預設閾值，則訓練結束。
於本實施例中，在訓練生成And-Or模型前，獲取預設數量的帶有車輛資訊的車輛圖片作為該And-Or模型的訓練樣本圖片，例如訓練樣本圖片為50萬張。提取訓練樣本圖片中預設比例的訓練樣本圖片作為該訓練集，例如提取其中的70%的訓練樣本圖片作為該訓練集，剩餘的30%作為該測試集。在訓練時，首先對該訓練集中的每張訓練樣本圖片框定出該車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域，然後，利用通過框定處理後的該訓練樣本圖片訓練And-Or模型，在該過程中，And-Or模型主要是從三個方面獲取和學習車輛資訊：第一是根據框定資訊學習車輛空間佈局的上下文關係，第二是根據框定資訊學習車輛的遮擋關係，第三是根據框定資訊對車輛可視部分進行學習。在訓練生成And-Or模型後，將該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中以進行測試，以測試準確率。如果測試的準確率大於等於預設閾值，例如大於等於0.95，則訓練成功，訓練操作結束，該訓練生成的And-Or模型可以作為後續使用。
較佳的，在上述第3圖所示的實施例的基礎上，該步驟S04之後，該方法還包括：藉由增加模組，若測試的準確率小於預設閾值，則 提示增加該訓練樣本圖片的數量，返回至步驟S02並迴圈。
於本實施例中，如果該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中後，其測試的準確率大於預設閾值，例如小於0.95，則需要增加該訓練樣本圖片的數量，即增加該訓練集及該測試集的該訓練樣本圖片，例如可以通過向預定終端發送提示資訊，以提示增加該訓練樣本圖片的數量，返回至步驟S02再觸發框定模組202，重新繼續訓練生成用於進行圖片檢測的And-Or模型，直至測試的準確率大於等於預設閾值。
請參閱第4圖所示，第4圖係本發明車輛檢測的裝置一實施例的結構示意圖，該車輛檢測的裝置包括：一提取模組101、一訓練模組102、一關聯模組103、一轉化模組104、一輸出模組105；其詳細結構揭露如下。
該提取模組101，用於在接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊。
於本實施例的車輛檢測的裝置可以應用於具有複雜場景下的交通安全監控、汽車生產及汽車保險等領域，利用具有圖片拍攝功能的車輛檢測的裝置在這些場景下捕獲圖片，當捕獲到包含車輛資訊的圖片後，以該圖片作為待檢測圖片，並通過一些預定的演算法來提取其基本特徵資訊。
於本實施例中，該預定的演算法為影像處理的一些基本演算法，例如為圖像邊緣檢測演算法等，該基本特徵資訊為可以直接輸入至And-Or模型的圖片資訊，例如為圖片中各部分的位置或相互關係等。較佳地，本實施例可以利用方向梯度長條圖(Histogram of Oriented Gradient, HOG)演算法獲取待檢測圖片的梯度邊緣資訊，然後再採用K-means聚類演算法獲取各經梯度邊緣後的圖片的聚類中心或者採用DPM(Deformable Parts Model)演算法獲取各經梯度邊緣後的圖片各部分的相互位置關係等。
該訓練模組102，用於將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的各層級節點作為關鍵節點輸出。
於本實施例中，該And-Or模型為預先採用大量的該包含車輛資訊的圖片進行訓練得到的，將上述提取得到的基本特徵資訊輸入至該預先訓練生成的And-Or模型，通過該預先訓練生成的And-Or模型對輸入的該基本特徵資訊進行學習，在學習過程中，首先得到根節點，然後基於該根節點可以得到各個層級對應的節點，然後將該各個層級對應的節點作為關鍵節點輸出。
於本實施例的該預先訓練生成的And-Or模型中，較佳地上述層級至少包括三個，即為車輛連通區域層級、每一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級。當然層級也可以少於三個或者多於三個。
該關聯模組103，用於將輸出的該關鍵節點進行關聯，以將關聯的該各層級關鍵節點作為較佳的演算分支。
於本實施例中，在該關鍵節點輸出後，將輸出的該關鍵節點進行關聯。其中，可以以上述的根節點為基礎將該關鍵節點進行關聯，具體地，可以先將每一層級中的該關鍵節點進行關聯，例如將同一層級中 的該關鍵節點的依據位置關係進行關聯，以確定同一層級中的該各關鍵節點的相對位置；然後，將各層級的該關鍵節點依據位置關係進行關聯，例如將不同層級中的該關鍵節點的位置進行關聯，以確定不同層級中的該各關鍵節點的相對位置，該關鍵節點進行關聯後，可以勾勒出待檢測圖片各部分的架構，然後將關聯的該各層級關鍵節點作為上述預先訓練生成的And-Or模型在學習過程中的較佳的演算分支，以進行下一步操作。
該轉化模組104，用於將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的該各層級關鍵節點對應的該圖形範本。
於本實施例中，將較佳的演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，以得到該待檢測圖片中各部分的具體位置。
另外，對於每一較佳的演算分支中的各個層級，可以根據該預定的各層級關鍵節點與該圖形範本的關聯關係確定出每個層級關鍵節點對應的圖形範本，例如某一層級的關鍵節點為橢圓形，則所關聯的圖形範本為橢圓。該圖形範本為通過對不同車輛從不同角度觀看時各部分所形成的線條或者圖形，通過提取這些線條或圖形以形成大量的圖形範本，該圖形範本具有一個或者多個節點，即圖形範本與節點相關聯。
該輸出模組105，用於根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並輸出。
於本實施例中，如果已經得到該各層級關鍵節點對應的該位置參數(即得到待檢測圖片中各部分的具體位置)以及對應的該圖形範本，則可以將該各層級關鍵節點對應的該圖形範本置於與該位置參數對應的位置，最終得到該待檢測圖片中車輛位置資訊以及車輛佈局關係，即得到每一輛的具體位置及多輛車(對於待檢測圖片有多輛車時而言)之間的佈局關係。
在一較佳的實施例中，在上述第4圖的實施例的基礎上，上述訓練模組102還包括以下結構。
一獲取單元，用於將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點。
一分解單元，用於在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示。
一抽取單元，用於在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，每一輛車對應的區域以Or節點表示。
一組織單元，用於在該車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用And節點表示並進行組織。
一輸出單元，用於將各Or節點及各And節點作為關鍵節點輸出。
於本實施例中，上述層級至少包括車輛連通區域層級、每 一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級為例進行說明。在將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中可以獲取到車輛全域區域，即對應於該待檢測圖片中包含所有車輛的區域所形成的區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點。
在該車輛連通區域層級，基於該根節點對各個車輛連通區域進行分解，例如分解出第一輛車與第二輛車的連通區域，直至將所有的車輛的車輛連通區域分解出來，各個車輛連通區域分別以不同的And節點表示。
在該每一輛車的分佈位置區域層級，通過上述的車輛連通區域層級分解出來的車輛連通區域，對每一輛車對應的區域進行抽取，以抽取得到每一輛車所在的區域，該每一輛車對應的區域以Or節點表示。
在抽取出每一輛車對應的區域後，在車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用And節點表示並進行組織。最後，將各Or節點及各And節點作為關鍵節點輸出。
在一較佳的實施例中，請同時參閱第4圖及第5圖所示，在上述第4圖的實施例的基礎上，該車輛檢測的裝置還包括：一獲取模組201、一框定模組202、一生成模組203、一測試模組204；其詳細結構揭露如下。
該獲取模組201，用於獲取預設數量的帶有車輛資訊的車輛圖片作為And-Or模型的訓練樣本圖片；該框定模組202，用於提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對該訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內 部的各局部部件組成區域。
該生成模組203，用於利用通過框定處理後的該訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的And-Or模型；該測試模組204，用於將該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中以進行測試，若測試的準確率大於等於預設閾值，則訓練結束。
於本實施例中，在該訓練生成And-Or模型前，獲取預設數量的帶有車輛資訊的車輛圖片作為And-Or模型的訓練樣本圖片，例如訓練樣本圖片為50萬張。提取該訓練樣本圖片中預設比例的訓練樣本圖片作為該訓練集，例如提取其中的70%的訓練樣本圖片作為該訓練集，剩餘的30%作為該測試集。在訓練時，首先對該訓練集中的每張訓練樣本圖片框定出該車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域，然後，利用通過框定處理後的該訓練樣本圖片訓練And-Or模型，在該過程中，該And-Or模型主要是從三個方面獲取和學習車輛資訊：第一是根據框定資訊學習車輛空間佈局的上下文關係，第二是根據框定資訊學習車輛的遮擋關係，第三是根據框定資訊對車輛可視部分進行學習。在訓練生成And-Or模型後，將該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中以進行測試，以測試準確率。如果測試的準確率大於等於預設閾值，例如大於等於0.95，則訓練成功，訓練操作結束，該訓練生成的And-Or模型可以作為後續使用。
較佳地，在上述第5圖的實施例的基礎上，該車輛檢測的裝置還包括：一增加模組，用於若測試的準確率小於預設閾值，則提示增加 該訓練樣本圖片的數量，例如可以通過向預定終端發送提示資訊，以提示增加該訓練樣本圖片的數量，觸發該框定模組202以繼續訓練生成用於進行圖片檢測的And-Or模型。
於本實施例中，如果該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中後，其測試的準確率小於預設閾值，例如小於0.95，則需要增加該訓練樣本圖片的數量，即增加該訓練集及該測試集的訓練樣本圖片，再觸發上述的框定模組202，以重新進行訓練，直至測試的準確率大於等於預設閾值。
以上所述僅為本發明的較佳實施例之揭露，並不用以此限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。

Claims (6)

  1. 一種車輛檢測的方法，包括：S1，藉由提取模組在接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊；S2，藉由訓練模組將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的該各層級節點作為關鍵節點輸出；S3，藉由關聯模組將輸出的該關鍵節點進行關聯，以將關聯的該各層級關鍵節點作為較佳的演算分支；S4，藉由轉化模組將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的該各層級關鍵節點對應的該圖形範本；以及S5，藉由輸出模組根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並輸出；其中該步驟S2之前，該方法還包括：S01，藉由獲取模組獲取預設數量的帶有車輛資訊的車輛圖片作為該And-Or模型的訓練樣本圖片；S02，藉由框定模組提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對該訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域；S03，藉由生成模組利用通過框定處理後的該訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的And-Or模型；S04，藉由測試模組將該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中以進行測試，若測試的準確率大於等於預設閾值，則訓 練結束；以及S05，藉由增加模組若測試的準確率小於預設閾值，則提示增加該訓練樣本圖片的數量。
  2. 根據申請專利範圍第1項所述之車輛檢測的方法，其中該層級至少包括以下三個：車輛連通區域層級、每一輛車的分佈位置區域層級、及車輛內部的各局部部件組成區域層級。
  3. 根據申請專利範圍第2項所述之車輛檢測的方法，其中該步驟S2還包括：S21，藉由獲取單元將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點；S22，藉由分解單元在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示；S23，藉由抽取單元在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，每一輛車對應的區域以Or節點表示；S24，藉由組織單元在該車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用該And節點表示並進行組織；以及S25，藉由輸出單元將各Or節點及各And節點作為關鍵節點輸出。
  4. 一種車輛檢測的裝置，該裝置包括：一提取模組，用於在接收到包含車輛資訊的待檢測圖片後，通過預定的演算法提取該待檢測圖片的基本特徵資訊；一訓練模組，用於將該基本特徵資訊輸入到預先訓練生成的And-Or模型中，以通過該預先訓練生成的And-Or模型獲取各層級節點，並將獲取的該各層級節點作為關鍵節點輸出；一關聯模組，用於將輸出的該關鍵節點進行關聯，以將關聯的該各層級 關鍵節點作為較佳的演算分支；一轉化模組，用於將該演算分支中的該各層級關鍵節點轉化為該待檢測圖片中的位置參數，並根據預定的該各層級關鍵節點與圖形範本的關聯關係確定出該演算分支中的該各層級關鍵節點對應的該圖形範本；以及一輸出模組，用於根據該演算分支中的該各層級關鍵節點對應的該位置參數和該圖形範本獲取該待檢測圖片中的車輛位置資訊以及車輛佈局關係並輸出；一獲取模組，用於獲取預設數量的帶有車輛資訊的車輛圖片作為該And-Or模型的該訓練樣本圖片；一框定模組，用於提取出預設比例的該訓練樣本圖片作為訓練集，並將剩餘的該訓練樣本圖片作為測試集，並對該訓練集中的每張訓練樣本圖片框定出車輛連通區域、每一輛車的分佈位置區域及車輛內部的各局部部件組成區域；一生成模組，用於利用通過框定處理後的該訓練樣本圖片訓練該And-Or模型，以訓練生成用於進行圖片檢測的該And-Or模型；一測試模組，用於將該測試集中的每張訓練樣本圖片輸入到該訓練生成的And-Or模型中以進行測試，若測試的準確率大於等於預設閾值，則訓練結束；以及一增加模組，用於若測試的準確率小於預設閾值，則提示增加該訓練樣本圖片的數量，觸發該框定模組以繼續訓練生成用於進行圖片檢測的該And-Or模型。
  5. 根據申請專利範圍第4項所述之車輛檢測的裝置，其中該層級至少包括以下三個：車輛連通區域層級、每一輛車的分佈位置區域層級及車輛內部的各局部部件組成區域層級。
  6. 根據申請專利範圍第5項所述之車輛檢測的裝置，其中該訓練模組包括： 一獲取單元，用於將該基本特徵資訊輸入到該預先訓練生成的And-Or模型中，並獲取車輛全域區域，該車輛全域區域以Or節點表示並作為該And-Or模型的根節點；一分解單元，用於在該車輛連通區域層級，基於該根節點分解出各個車輛連通區域，該各個車輛連通區域分別以不同的And節點表示；一抽取單元，用於在該每一輛車的分佈位置區域層級，從該各個車輛連通區域中抽取出每一輛車對應的區域，該每一輛車對應的區域以該Or節點表示；一組織單元，用於在該車輛內部的各局部部件組成區域層級，對於每一輛車的各個局部部件區域分別用該And節點表示並進行組織；以及一輸出單元，用於將該各Or節點及該各And節點作為關鍵節點輸出。
TW106128491A 2016-08-22 2017-08-22 車輛檢測的方法及裝置 TWI635467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610702626.6A CN106355140B (zh) 2016-08-22 2016-08-22 车辆检测的方法及装置
??201610702626.6 2016-08-22

Publications (2)

Publication Number Publication Date
TW201812718A TW201812718A (zh) 2018-04-01
TWI635467B true TWI635467B (zh) 2018-09-11

Family

ID=57843768

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106128491A TWI635467B (zh) 2016-08-22 2017-08-22 車輛檢測的方法及裝置

Country Status (3)

Country Link
CN (1) CN106355140B (zh)
TW (1) TWI635467B (zh)
WO (1) WO2018036277A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355140B (zh) * 2016-08-22 2018-03-02 平安科技（深圳）有限公司 车辆检测的方法及装置
CN107766929B (zh) * 2017-05-05 2019-05-24 平安科技（深圳）有限公司 模型分析方法及装置
CN108647680B (zh) * 2018-04-28 2021-11-12 北京盒子鱼教育科技有限公司 图像定位框检测方法和装置
CN110570388A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 车辆的部件检测方法、装置及设备
CN110091342B (zh) * 2019-05-20 2024-04-26 金瓜子科技发展（北京）有限公司 车况检测方法、装置和检测机器人
CN110135517B (zh) * 2019-05-24 2023-04-07 北京百度网讯科技有限公司 用于获取车辆相似度的方法及装置
CN110991337B (zh) * 2019-12-02 2023-08-25 山东浪潮科学研究院有限公司 一种基于自适应双路检测网络的车辆检测方法
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100048242A1 (en) * 2008-08-19 2010-02-25 Rhoads Geoffrey B Methods and systems for content processing
KR20120030428A (ko) * 2009-06-19 2012-03-28 마이크로소프트 코포레이션 해결기-기반 시각화 프레임워크
US20130201316A1 (en) * 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548231B2 (en) * 2009-04-02 2013-10-01 Siemens Corporation Predicate logic based image grammars for complex visual pattern recognition
CN101645036B (zh) * 2009-09-11 2011-06-01 兰雨晴 基于测试执行机能力度的测试任务自动分配方法
CN101770571B (zh) * 2009-12-29 2013-02-13 北京世纪高通科技有限公司 夜间车辆检测的方法和装置
CN103295021A (zh) * 2012-02-24 2013-09-11 北京明日时尚信息技术有限公司 一种静态图片中车辆特征检测及识别的方法及系统
CN104346833A (zh) * 2014-10-28 2015-02-11 燕山大学 一种基于单目视觉的车辆重构算法
CN106355140B (zh) * 2016-08-22 2018-03-02 平安科技（深圳）有限公司 车辆检测的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100048242A1 (en) * 2008-08-19 2010-02-25 Rhoads Geoffrey B Methods and systems for content processing
KR20120030428A (ko) * 2009-06-19 2012-03-28 마이크로소프트 코포레이션 해결기-기반 시각화 프레임워크
US20130201316A1 (en) * 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers

Also Published As

Publication number Publication date
WO2018036277A1 (zh) 2018-03-01
TW201812718A (zh) 2018-04-01
CN106355140B (zh) 2018-03-02
CN106355140A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
TWI635467B (zh) 車輛檢測的方法及裝置
CN106407981B (zh) 一种车牌识别方法、装置及系统
US10445602B2 (en) Apparatus and method for recognizing traffic signs
Han et al. Deep learning-based workers safety helmet wearing detection on construction sites using multi-scale features
US20130250108A1 (en) Access Control System by Face Recognition in An Automobile
CN105404886A (zh) 特征模型生成方法和特征模型生成装置
KR102223478B1 (ko) 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법
CN101908153B (zh) 低分辨率图像处理中的头部姿态估计的方法
CN111950424A (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN104657724A (zh) 一种交通视频行人检测方法
US9355641B2 (en) Monitoring device using selective attention model and method for monitoring same
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
JP2019079357A (ja) 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法
CN105138951A (zh) 基于图模型表示的人脸画像-照片识别方法
CN113627503A (zh) 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
CN112949469A (zh) 针对人脸篡改图像特点分布的图像识别方法、系统及设备
Soon et al. Malaysian car number plate detection and recognition system
Gupta et al. Number Plate extraction using Template matching technique
Khinchi et al. A review on automatic number plate recognition technology and methods
US20200034649A1 (en) Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method
CN111680640B (zh) 一种基于领域迁移的车型识别方法及系统
CN109785386A (zh) 物体识别定位方法和装置
CN112417974A (zh) 一种公共卫生监控方法
CN105005757B (zh) 一种基于Grassmann流行的车牌字符识别方法
CN111199050B (zh) 一种用于对病历进行自动脱敏的系统及应用