EP4383213B1 - Verfahren und vorrichtung zur erkennung einer anomalie in einem video - Google Patents

Claims (15)

1. Computerimplementiertes Verfahren zum Erkennen mindestens einer Anomalie in einem Video (VID) einer Szene unter Verwendung eines neuronalen Netzes (HSN), das neuronale Netz (HSN) umfassend ein erstes neuronales Subnetz (HN), ein zweites neuronales Subnetz (SN) und einen Koppler (CPL), das Verfahren umfassend:

   - einen Schritt eines Erlangens (S100), unter Verwendung des ersten neuronalen Subnetzes (HN), von ersten Anomaliebewertungen (HS₁-HS_T) für eine Vielzahl von temporären Segmenten (t₁-t_T) des Videos (VID), wobei die ersten Anomaliebewertungen (HS₁-HS_T) repräsentativ für anomale menschliche Aktivitäten sind, das erste subneuronale Netz (HN) Abschnitte von Bildern (k_1,1-k_T,K) des Videos (VID) verwendet, die mit Personen (p₁-p_K) assoziiert sind, die in dem Video (VID) detektiert werden, und die ersten Anomaliebewertungen (HS₁-HS_T) ausgibt;

   - einen Schritt eines Erlangens (S200), unter Verwendung des zweiten neuronalen Subnetzes (SN), von zweiten Anomaliebewertungen (SS₁-SS_T) für die temporären Segmente (t₁-t_T), wobei die zweiten Anomaliebewertungen (SS₁-SS_T) repräsentativ für anomale Ereignisse in der Szene sind, wobei das zweite subneuronale Netz (SN) ganze Bilder des Videos (VID) verwendet und die zweiten Anomaliebewertungen (SS₁-SS_T) ausgibt; und

   - einen Schritt eines Erlangens (S300), unter Verwendung des Kopplers (CPL), von aggregierten Anomaliewerten (AS₁-AS_T) für die temporären Segmente (t₁-t_T) basierend auf einer gewichteten Summe der ersten und der zweiten Anomaliebewertungen (HS₁-HS_T, SS₁-SS_T).
2. Verfahren nach Anspruch 1, wobei die ersten Anomaliebewertungen (HS₁-HS_T) unter Verwendung eines ersten neuronales Faltungsnetzes (HFE), das in dem ersten neuronalen Subnetz (HN) enthalten ist, erlangt werden (S100), wobei als Eingang ein oder mehrere Sätze von Bildabschnitten (k_1,1-k_T,K) der temporären Segmente (t₁-t_T) verwendet werden, wobei der eine oder die mehreren Sätze von Bildabschnitten (k_1,1-k_T,K) jeweils mit Personen (p₁-p_K) assoziiert sind, die in dem Video (VID) erfasst (S120) werden.
3. Verfahren nach Anspruch 2, umfassend einen Schritt eines Bestimmens (S140) von Größen von Merkmalskarten (HF₁-HF_K), die von dem ersten neuronalen Faltungsnetz (HFE) bereitgestellt (S130) und jeweils mit den erfassten Personen (p₁-p_K) assoziiert werden, und wobei die ersten Anomaliebewertungen (HS₁-HS_T) unter Verwendung einer vordefinierten Anzahl dieser Merkmalskarten (HF₁-HF_Ks), deren Größen am größten sind, erlangt werden (S150).
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der Koppler (CPL) ein drittes neuronales Subnetz (SSC) umfasst und die Gewichte (HW₁-HW_T, SW₁-SW_T) der gewichteten Summe unter Verwendung des dritten neuronalen Subnetzes (SSC) erlangt werden (S330), wobei als Eingang latente Darstellungen (HL₁-HL_T, SL₁-SL_T) des Videos (VID) verwendet werden.
5. Verfahren nach Anspruch 4, wobei für eines der temporären Segmente (t_i) die Gewichte (HW_i, SW_i) der gewichteten Summe basierend auf Folgendem erlangt werden (S330):

   - Gewichte auf Segmentebene (HTW_i, STW_i), die unter Verwendung des dritten neuronalen Subnetzes (SSC) erlangt werden (S310) und mit diesem temporären Segment (t_i) assoziiert sind; und

   - Gewichte auf Videoebene (HVW, SVW), die unter Verwendung des dritten neuronalen Subnetzes (SSC) erlangt (S320) und mit dem Video (VID) assoziiert werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, umfassend:

   - einen Schritt des Aufteilens (S210) des Videos (VID) in die temporären Segmente (t₁-t_T); und

   - mindestens einen weiteren Schritt eines Aufteilens (S210) des Videos (VID) in weitere temporäre Segmente (t'₁-t'_2T, t"₁-t"_3T), wobei die temporären Segmente (t₁-t_T) und die weiteren temporären Segmente (t'₁-t'_2T, t"₁-t"_3T) unterschiedliche Längen aufweisen,

   wobei die zweiten Anomaliebewertungen (SS₁-SS_T) unter Verwendung eines zweiten neuronalen Faltungsnetzs (SFE), das in dem zweiten neuronalen Subnetz (SN) enthalten ist, erlangt werden (S200), wobei als Eingang die gesamten Bilder der temporären Segmente (t₁-t_T) und der anderen temporären Segmente (t'₁-t'_2T, t"₁-t"_3T) verwendet werden.
7. Verfahren nach Anspruch 6, umfassend einen Schritt eines Kodierens (S230) von Merkmalskarten (SF_1T, SF_2T, SF_3T), die von dem zweiten neuronalen Faltungsnetz (SFE) für die temporären Segmente (t₁-t_T) und die anderen temporären Segmente (t'₁-t'_2T, t"₁-t"_3T) bereitgestellt werden, in eine kodierte Merkmalskarte (SM) unter Verwendung eines neuronalen Netzes mit langem Kurzzeitgedächtnis (LSTM), und wobei die zweiten Anomaliebewertungen (SS₁-SS_T) unter Verwendung der kodierten Merkmalskarte (SM) erlangt werden (S240).
8. Verfahren nach einem der Ansprüche 1 bis 7, umfassend für eines der temporären Segmente (t_i) des Videos (VID) einen Schritt eines Erkennens (S400) einer Anomalie in diesem temporären Segment (t_i), wenn die jeweilige aggregierte Anomaliebewertung (AS_i) für dieses temporäre Segment (t_i) einen Schwellenwert überschreitet.
9. Computerimplementiertes Verfahren zum Trainieren eines neuronalen Netzes (HSN) zum Erkennen mindestens einer Anomalie in einem Video (VID), wobei das neuronale Netz (HSN) ein erstes neuronales Subnetz (HN), ein zweites neuronales Subnetz (SN) und einen Koppler (CPL) umfasst, das Verfahren umfassend:

   - einen Schritt eines Erlangens (T200) von Anomaliebewertungen (AS_N, AS_A) für temporäre Segmente von Referenzvideos (RV_N, RV_A) unter Verwendung des Verfahrens nach einem der Ansprüche 1 bis 8, wobei die Referenzvideos (RV_N, RV_A) mit Etiketten auf Videoebene markiert sind und normale Videos (RV_N) und Anomalie-Videos (RV_A) beinhalten;

   - einen Schritt eines Auswertens (T300) einer Verlustfunktion (L) unter Verwendung der erlangten Anomaliebewertungen (AS_N) für die normalen Referenzvideos (RV_N) und der erlangten Anomaliebewertungen (AS_A) für die Anomalie-Referenzvideos (RV_A); und

   - einen Schritt eines Aktualisierens (T400) von Parametern des neuronalen Netzes (HSN) zum Minimieren der Verlustfunktion (L).
10. Verfahren nach Anspruch 9, wobei die Verlustfunktion (L) auf einer gewichteten Summe von Folgendem basiert:

    - einer ersten Funktion (LC), umfassend eine Summe der für die normalen Referenzvideos (RV_N) erlangten Anomaliebewertungen (AS_N) minus einer Summe der für die Anomalie-Referenzvideos (RV_A) erlangten Anomaliebewertungen (AS_A); und

    - einer zweiten Funktion (LI), umfasend eine Differenz zwischen einem Fehler, der mit den für die Anomalie-Referenzvideos (RV_A) erlangten Anomaliebewertungen (AS_A) assoziiert ist, und einem Fehler, der mit den für die normalen Referenzvideos (RV_N) erlangten Anomaliebewertungen (AS_N) assoziiert ist.
11. Verfahren nach Anspruch 10, wobei die Verlustfunktion (L) unter Verwendung von Folgendem ausgewertet wird: $$L\left({\mathit{D}}_{\mathit{n}},{\mathit{D}}_{\mathit{a}}\right)={\lambda }_1\cdot L_{\mathrm{ctx}}\left({\mathit{D}}_{\mathit{n}},{\mathit{D}}_{\mathit{a}}\right)+{\lambda }_2\cdot L_{\mathrm{ins}}\left({\mathit{D}}_{\mathit{n}},{\mathit{D}}_{\mathit{a}}\right),$$ $$L_{\mathrm{ctx}}\left({\mathit{D}}_{\mathit{n}},{\mathit{D}}_{\mathit{a}}\right)=\max \left(0,1-{\displaystyle \sum _{i=1}^T{D}_a^i}+{\displaystyle \sum _{i=1}^T{D}_n^i}\right)\mathrm{und}{L}_{\mathrm{ins}}\left({\mathit{D}}_{\mathit{n}},{\mathit{D}}_{\mathit{a}}\right)=‖E_{D_a}-E_{D_n}‖,$$ wobei: L _ctx und L _ins die erste und die zweite Funktion (LC, LI) bezeichnen; λ₁ und λ ₂ positive reelle Koeffizienten sind; T die Anzahl der temporären Segmente ist; $\mathit{Dn}={\left\{D_n^i\right\}}_{1\le i\le T}$ und $\mathit{Da}={\left\{D_a^i\right\}}_{1\le i\le T}$ die Anomaliebewertungen (AS_N, AS_A) sind, die jeweils für die temporären Segmente der normalen Referenzvideos (RV_N) und der anomalen Referenzvideos (RV_A) erlangt werden; und E_Da und E_Dn ausgedrückt sind durch: $$E_{D_a}=\frac{1}{T}{\displaystyle \sum _{i=1}^T{\left(D_a^i-P_a^i\right)}^2},\mathrm{mit}{P}_a^i=\left\{\begin{array}{c}0,\mathrm{if}{D}_a^i\le D_{\mathrm{ref}}\\ 1,\mathrm{if}{D}_a^i>D_{\mathrm{ref}}\end{array}\right.,$$ $$E_{D_n}=\frac{1}{T}{\displaystyle \sum _{i=1}^T{\left(D_n^i-P_n^i\right)}^2},\mathrm{mit}{P}_n^i=0,$$ mit $$D_{\mathrm{ref}}=\left(\underset{i}{\max }\left(D_a^i\right)+\underset{i}{\min }\left(D_a^i\right)\right)/2.$$
12. Neuronales Netz (HSN) zum Erkennen von mindestens einer Anomalie in einem Video (VID) einer Szene, das neuronale Netz (HSN) umfassend:

    - ein erstes neuronales Sub-Netz (HN), das konfiguriert ist, um erste Anomaliebewertungen (HS₁-HS_T) für eine Vielzahl von temporären Segmenten (t₁-t_T) des Videos (VID) zu erlangen (S100), wobei die ersten Anomaliebewertungen (HS₁-HS_T) repräsentativ für anomale menschliche Aktivitäten sind, das erste subneuronale Netz (HN) Abschnitte von Bildern (k_1,1-k_T,K) des Videos (VID) verwendet, die mit Personen (p₁-p_K) assoziiert sind, die in dem Video (VID) detektiert werden, und die ersten Anomaliebewertungen (HS₁-HS_T) ausgibt;

    - ein zweites neuronales Sub-Netz (SN), das konfiguriert ist, um zweite Anomaliebewertungen (SS₁-SS_T) für die temporären Segmente (t₁-t_T) zu erlangen (S200), wobei die zweiten Anomaliebewertungen (SS₁-SS_T) repräsentativ für anomale Ereignisse in der Szene sind, wobei das zweite subneuronale Netz (SN) ganze Bilder des Videos (VID) verwendet und die zweiten Anomaliebewertungen (SS₁-SS_T) ausgibt; und

    - einen Koppler (CPL), der konfiguriert ist, um (S300) aggregierte Anomaliebewertungen (AS₁-AS_T) für die temporären Segmente (t₁-t_T) basierend auf einer gewichteten Summe der ersten und der zweiten Anomaliebewertungen (HS₁-HS_T, SS₁-SS_T) zu erlangen.
13. Vorrichtung (APP) zum Erkennen mindestens einer Anomalie in einem Video (VID), die Vorrichtung (APP) umfassend ein neuronales Netz (HSN) nach Anspruch 12.
14. Überwachungssystem (SYS), umfassend: eine Kamera (CAM) zum Erlangen eines Videos (VID);
    und eine Vorrichtung (APP) nach Anspruch 13 zum Erkennen mindestens einer Anomalie in dem Video (VID).
15. Computerprogramm (PROG), umfassend Anweisungen, die, wenn das Programm (PROG) von mindestens einem Prozessor (PROC) ausgeführt wird, den mindestens einen Prozessor (PROC) veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 zu implementieren.