DE102017218851A1 - Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes - Google Patents
Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes Download PDFInfo
- Publication number
- DE102017218851A1 DE102017218851A1 DE102017218851.0A DE102017218851A DE102017218851A1 DE 102017218851 A1 DE102017218851 A1 DE 102017218851A1 DE 102017218851 A DE102017218851 A DE 102017218851A DE 102017218851 A1 DE102017218851 A1 DE 102017218851A1
- Authority
- DE
- Germany
- Prior art keywords
- neural network
- deep neural
- weights
- function
- distribution function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001537 neural Effects 0.000 title claims abstract description 102
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 238000005315 distribution function Methods 0.000 claims description 79
- 238000009826 distribution Methods 0.000 claims description 24
- 238000009827 uniform distribution Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 2
- 210000002569 neurons Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 210000000225 Synapses Anatomy 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2R,3R,4S,5R)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound data:image/svg+xml;base64,PD94bWwgdmVyc2lvbj0nMS4wJyBlbmNvZGluZz0naXNvLTg4NTktMSc/Pgo8c3ZnIHZlcnNpb249JzEuMScgYmFzZVByb2ZpbGU9J2Z1bGwnCiAgICAgICAgICAgICAgeG1sbnM9J2h0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnJwogICAgICAgICAgICAgICAgICAgICAgeG1sbnM6cmRraXQ9J2h0dHA6Ly93d3cucmRraXQub3JnL3htbCcKICAgICAgICAgICAgICAgICAgICAgIHhtbG5zOnhsaW5rPSdodHRwOi8vd3d3LnczLm9yZy8xOTk5L3hsaW5rJwogICAgICAgICAgICAgICAgICB4bWw6c3BhY2U9J3ByZXNlcnZlJwp3aWR0aD0nMzAwcHgnIGhlaWdodD0nMzAwcHgnIHZpZXdCb3g9JzAgMCAzMDAgMzAwJz4KPCEtLSBFTkQgT0YgSEVBREVSIC0tPgo8cmVjdCBzdHlsZT0nb3BhY2l0eToxLjA7ZmlsbDojRkZGRkZGO3N0cm9rZTpub25lJyB3aWR0aD0nMzAwLjAnIGhlaWdodD0nMzAwLjAnIHg9JzAuMCcgeT0nMC4wJz4gPC9yZWN0Pgo8cGF0aCBjbGFzcz0nYm9uZC0wIGF0b20tMCBhdG9tLTEnIGQ9J00gMjg2LjQsMTUzLjcgTCAyODAuNiwxNTAuNScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMCBhdG9tLTAgYXRvbS0xJyBkPSdNIDI4MC42LDE1MC41IEwgMjc0LjksMTQ3LjMnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTEgYXRvbS0xIGF0b20tMicgZD0nTSAyNjEuNywxNDcuNiBMIDI1Ni4xLDE1MS4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xIGF0b20tMSBhdG9tLTInIGQ9J00gMjU2LjEsMTUxLjAgTCAyNTAuNSwxNTQuNCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMiBhdG9tLTIgYXRvbS0zJyBkPSdNIDI1MC41LDE1NC40IEwgMjUwLjksMTc1LjEnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTIgYXRvbS0yIGF0b20tMycgZD0nTSAyNDYuNCwxNTcuNSBMIDI0Ni43LDE3Mi4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zNyBhdG9tLTM3IGF0b20tMicgZD0nTSAyMzIuNCwxNDQuMyBMIDI1MC41LDE1NC40JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zIGF0b20tMyBhdG9tLTQnIGQ9J00gMjUwLjksMTc1LjEgTCAyMzMuMSwxODUuOCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtNCBhdG9tLTQgYXRvbS01JyBkPSdNIDIzMy4xLDE4NS44IEwgMjMzLjIsMTkyLjUnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTQgYXRvbS00IGF0b20tNScgZD0nTSAyMzMuMiwxOTIuNSBMIDIzMy40LDE5OS4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC02IGF0b20tNCBhdG9tLTcnIGQ9J00gMjMzLjEsMTg1LjggTCAyMTUuMCwxNzUuNycgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtNiBhdG9tLTQgYXRvbS03JyBkPSdNIDIzMi40LDE4MC42IEwgMjE5LjcsMTczLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTUgYXRvbS01IGF0b20tNicgZD0nTSAyMjYuOSwyMTAuNCBMIDIyMS4zLDIxMy44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC01IGF0b20tNSBhdG9tLTYnIGQ9J00gMjIxLjMsMjEzLjggTCAyMTUuOCwyMTcuMicgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtNyBhdG9tLTcgYXRvbS04JyBkPSdNIDIxNS4wLDE3NS43IEwgMjE0LjYsMTU1LjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTggYXRvbS04IGF0b20tOScgZD0nTSAyMTQuNiwxNTUuMCBMIDE5Ni41LDE0NS4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zNiBhdG9tLTggYXRvbS0zNycgZD0nTSAyMTQuNiwxNTUuMCBMIDIzMi40LDE0NC4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zNiBhdG9tLTggYXRvbS0zNycgZD0nTSAyMTkuNCwxNTcuMCBMIDIzMS44LDE0OS41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC05IGF0b20tOSBhdG9tLTEwJyBkPSdNIDE5Ni41LDE0NS4wIEwgMTc4LjcsMTU1LjcnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI5IGF0b20tOSBhdG9tLTMwJyBkPSdNIDE5Ni41LDE0NS4wIEwgMTk2LjEsMTI0LjMnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTEwIGF0b20tMTAgYXRvbS0xMScgZD0nTSAxNzguNywxNTUuNyBMIDE3My4wLDE1Mi41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMCBhdG9tLTEwIGF0b20tMTEnIGQ9J00gMTczLjAsMTUyLjUgTCAxNjcuMiwxNDkuMycgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzQyODRGNDtzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTEgYXRvbS0xMSBhdG9tLTEyJyBkPSdNIDE1NC4wLDE0OS42IEwgMTQ4LjQsMTUzLjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTExIGF0b20tMTEgYXRvbS0xMicgZD0nTSAxNDguNCwxNTMuMCBMIDE0Mi45LDE1Ni4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMiBhdG9tLTEyIGF0b20tMTMnIGQ9J00gMTQyLjksMTU2LjMgTCAxMjQuNywxNDYuMycgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTIgYXRvbS0xMiBhdG9tLTEzJyBkPSdNIDEzOC4xLDE1OC41IEwgMTI1LjQsMTUxLjQnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM4IGF0b20tMTIgYXRvbS0yMCcgZD0nTSAxNDIuOSwxNTYuMyBMIDE0My4wLDE2My4xJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOCBhdG9tLTEyIGF0b20tMjAnIGQ9J00gMTQzLjAsMTYzLjEgTCAxNDMuMSwxNjkuOScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzQyODRGNDtzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTMgYXRvbS0xMyBhdG9tLTE0JyBkPSdNIDEyNC43LDE0Ni4zIEwgMTIzLjQsMTQwLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTEzIGF0b20tMTMgYXRvbS0xNCcgZD0nTSAxMjMuNCwxNDAuNiBMIDEyMi4xLDEzNC44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC00MSBhdG9tLTEzIGF0b20tMTcnIGQ9J00gMTI0LjcsMTQ2LjMgTCAxMDcuMCwxNTcuMCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTQgYXRvbS0xNCBhdG9tLTE1JyBkPSdNIDExMi45LDEyNS41IEwgMTA2LjIsMTI0LjknIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE0IGF0b20tMTQgYXRvbS0xNScgZD0nTSAxMDYuMiwxMjQuOSBMIDk5LjQsMTI0LjMnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE0IGF0b20tMTQgYXRvbS0xNScgZD0nTSAxMTAuNSwxMjkuNSBMIDEwNS44LDEyOS4xJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNCBhdG9tLTE0IGF0b20tMTUnIGQ9J00gMTA1LjgsMTI5LjEgTCAxMDEuMSwxMjguNicgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTUgYXRvbS0xNSBhdG9tLTE2JyBkPSdNIDk5LjQsMTI0LjMgTCA5Ni44LDEzMC41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNSBhdG9tLTE1IGF0b20tMTYnIGQ9J00gOTYuOCwxMzAuNSBMIDk0LjIsMTM2LjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE2IGF0b20tMTYgYXRvbS0xNycgZD0nTSA5Ny41LDE0OC43IEwgMTAyLjIsMTUyLjknIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE2IGF0b20tMTYgYXRvbS0xNycgZD0nTSAxMDIuMiwxNTIuOSBMIDEwNy4wLDE1Ny4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gNzEuMSwxNDguMSBMIDc3LjksMTQ3LjYgTCA3Ny41LDE0NS42IFonIHN0eWxlPSdmaWxsOiMzQjQxNDM7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gNzcuOSwxNDcuNiBMIDgzLjgsMTQzLjAgTCA4NC44LDE0Ny4xIFonIHN0eWxlPSdmaWxsOiM0Mjg0RjQ7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gNzcuOSwxNDcuNiBMIDc3LjUsMTQ1LjYgTCA4My44LDE0My4wIFonIHN0eWxlPSdmaWxsOiM0Mjg0RjQ7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMTA3LjAsMTU3LjAgTCAxMDcuMSwxNjMuOCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTcgYXRvbS0xNyBhdG9tLTE4JyBkPSdNIDEwNy4xLDE2My44IEwgMTA3LjIsMTcwLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE3IGF0b20tMTcgYXRvbS0xOCcgZD0nTSAxMTEuMiwxNTkuMCBMIDExMS4yLDE2My43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMTExLjIsMTYzLjcgTCAxMTEuMywxNjguNCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzQyODRGNDtzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTggYXRvbS0xOCBhdG9tLTE5JyBkPSdNIDExNC4wLDE4MS40IEwgMTE5LjcsMTg0LjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE4IGF0b20tMTggYXRvbS0xOScgZD0nTSAxMTkuNywxODQuNiBMIDEyNS41LDE4Ny43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMTI1LjUsMTg3LjcgTCAxMzEuMSwxODQuNCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMTkgYXRvbS0xOSBhdG9tLTIwJyBkPSdNIDEzMS4xLDE4NC40IEwgMTM2LjcsMTgxLjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTE5IGF0b20tMTkgYXRvbS0yMCcgZD0nTSAxMjUuMCwxODMuMiBMIDEyOC45LDE4MC44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMTI4LjksMTgwLjggTCAxMzIuOSwxNzguNScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzQyODRGNDtzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjEgYXRvbS0yMSBhdG9tLTIyJyBkPSdNIDcxLjEsMTQ4LjEgTCA2My4xLDE2Ny4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOSBhdG9tLTI4IGF0b20tMjEnIGQ9J00gNjEuNiwxMzkuOCBMIDY2LjQsMTQ0LjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM5IGF0b20tMjggYXRvbS0yMScgZD0nTSA2Ni40LDE0NC4wIEwgNzEuMSwxNDguMScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjIgYXRvbS0yMiBhdG9tLTIzJyBkPSdNIDYzLjEsMTY3LjIgTCA0Mi40LDE2NS40JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yOCBhdG9tLTIyIGF0b20tMjknIGQ9J00gNjQuNywxNzEuMyBMIDY1LjksMTcwLjUnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI4IGF0b20tMjIgYXRvbS0yOScgZD0nTSA2Ni40LDE3NS40IEwgNjguNywxNzMuOScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6I0U4NDIzNTtzdHJva2Utd2lkdGg6MS4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjggYXRvbS0yMiBhdG9tLTI5JyBkPSdNIDY4LjAsMTc5LjQgTCA3MS42LDE3Ny4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMyBhdG9tLTIzIGF0b20tMjQnIGQ9J00gMzkuMiwxNjguMSBMIDQwLjIsMTY5LjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTIzIGF0b20tMjMgYXRvbS0yNCcgZD0nTSAzNS45LDE3MC44IEwgMzguMCwxNzIuNicgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6I0U4NDIzNTtzdHJva2Utd2lkdGg6MS4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjMgYXRvbS0yMyBhdG9tLTI0JyBkPSdNIDMyLjYsMTczLjUgTCAzNS43LDE3Ni4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yNCBhdG9tLTIzIGF0b20tMjUnIGQ9J00gNDIuNCwxNjUuNCBMIDM3LjcsMTQ1LjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI1IGF0b20tMjUgYXRvbS0yNicgZD0nTSAzNy43LDE0NS4yIEwgMTkuNSwxMzUuMiBMIDE3LjksMTM5LjAgWicgc3R5bGU9J2ZpbGw6IzNCNDE0MztmaWxsLXJ1bGU6ZXZlbm9kZDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MTsnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI3IGF0b20tMjUgYXRvbS0yOCcgZD0nTSAzNy43LDE0NS4yIEwgNDMuMywxNDEuOCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjcgYXRvbS0yNSBhdG9tLTI4JyBkPSdNIDQzLjMsMTQxLjggTCA0OC45LDEzOC41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yNiBhdG9tLTI2IGF0b20tMjcnIGQ9J00gMTguNywxMzcuMSBMIDE3LjksMTMxLjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI2IGF0b20tMjYgYXRvbS0yNycgZD0nTSAxNy45LDEzMS4yIEwgMTcuMiwxMjUuMycgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6I0U4NDIzNTtzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMzAgYXRvbS0zMCBhdG9tLTMxJyBkPSdNIDE5Ni4xLDEyNC4zIEwgMjEzLjgsMTEzLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMwIGF0b20tMzAgYXRvbS0zMScgZD0nTSAxOTYuNiwxMTkuMSBMIDIwOS4wLDExMS42JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC00MCBhdG9tLTMwIGF0b20tMzUnIGQ9J00gMTk2LjEsMTI0LjMgTCAxNzguMCwxMTQuMicgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMzEgYXRvbS0zMSBhdG9tLTMyJyBkPSdNIDIxMy44LDExMy42IEwgMjEzLjUsOTIuOScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMzUgYXRvbS0zMSBhdG9tLTM2JyBkPSdNIDIxMy44LDExMy42IEwgMjMyLjAsMTIzLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMyIGF0b20tMzIgYXRvbS0zMycgZD0nTSAyMTMuNSw5Mi45IEwgMTk1LjMsODIuOCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6Mi4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMzIgYXRvbS0zMiBhdG9tLTMzJyBkPSdNIDIwOC43LDk1LjAgTCAxOTYuMCw4OC4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoyLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zMyBhdG9tLTMzIGF0b20tMzQnIGQ9J00gMTk1LjMsODIuOCBMIDE3Ny42LDkzLjUnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM0IGF0b20tMzQgYXRvbS0zNScgZD0nTSAxNzcuNiw5My41IEwgMTc4LjAsMTE0LjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM0IGF0b20tMzQgYXRvbS0zNScgZD0nTSAxODEuOCw5Ni42IEwgMTgyLjEsMTExLjEnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjIuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+Cjx0ZXh0IHg9JzI2NS43JyB5PScxNDcuOCcgY2xhc3M9J2F0b20tMScgc3R5bGU9J2ZvbnQtc2l6ZTo4cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojRTg0MjM1JyA+TzwvdGV4dD4KPHRleHQgeD0nMjMxLjAnIHk9JzIxMC42JyBjbGFzcz0nYXRvbS01JyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiNFODQyMzUnID5PPC90ZXh0Pgo8dGV4dCB4PScxNTguMScgeT0nMTQ5LjgnIGNsYXNzPSdhdG9tLTExJyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiM0Mjg0RjQnID5OPC90ZXh0Pgo8dGV4dCB4PScxNTguMScgeT0nMTQyLjUnIGNsYXNzPSdhdG9tLTExJyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiM0Mjg0RjQnID5IPC90ZXh0Pgo8dGV4dCB4PScxMTcuNicgeT0nMTMwLjMnIGNsYXNzPSdhdG9tLTE0JyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiM0Mjg0RjQnID5OPC90ZXh0Pgo8dGV4dCB4PSc4OC44JyB5PScxNDcuNicgY2xhc3M9J2F0b20tMTYnIHN0eWxlPSdmb250LXNpemU6OHB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzQyODRGNCcgPk48L3RleHQ+Cjx0ZXh0IHg9JzEwNC45JyB5PScxODEuOScgY2xhc3M9J2F0b20tMTgnIHN0eWxlPSdmb250LXNpemU6OHB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzQyODRGNCcgPk48L3RleHQ+Cjx0ZXh0IHg9JzE0MC43JyB5PScxODEuMicgY2xhc3M9J2F0b20tMjAnIHN0eWxlPSdmb250LXNpemU6OHB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzQyODRGNCcgPk48L3RleHQ+Cjx0ZXh0IHg9JzIxLjEnIHk9JzE4NS4yJyBjbGFzcz0nYXRvbS0yNCcgc3R5bGU9J2ZvbnQtc2l6ZTo4cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojRTg0MjM1JyA+SDwvdGV4dD4KPHRleHQgeD0nMjYuNCcgeT0nMTg1LjInIGNsYXNzPSdhdG9tLTI0JyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiNFODQyMzUnID5PPC90ZXh0Pgo8dGV4dCB4PScxMy42JyB5PScxMjAuNycgY2xhc3M9J2F0b20tMjcnIHN0eWxlPSdmb250LXNpemU6OHB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9JzE5LjQnIHk9JzEyMC43JyBjbGFzcz0nYXRvbS0yNycgc3R5bGU9J2ZvbnQtc2l6ZTo4cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojRTg0MjM1JyA+SDwvdGV4dD4KPHRleHQgeD0nNTMuMCcgeT0nMTM4LjcnIGNsYXNzPSdhdG9tLTI4JyBzdHlsZT0nZm9udC1zaXplOjhweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiNFODQyMzUnID5PPC90ZXh0Pgo8dGV4dCB4PSc3MS4zJyB5PScxODkuMScgY2xhc3M9J2F0b20tMjknIHN0eWxlPSdmb250LXNpemU6OHB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9Jzc3LjAnIHk9JzE4OS4xJyBjbGFzcz0nYXRvbS0yOScgc3R5bGU9J2ZvbnQtc2l6ZTo4cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojRTg0MjM1JyA+SDwvdGV4dD4KPC9zdmc+Cg== data:image/svg+xml;base64,PD94bWwgdmVyc2lvbj0nMS4wJyBlbmNvZGluZz0naXNvLTg4NTktMSc/Pgo8c3ZnIHZlcnNpb249JzEuMScgYmFzZVByb2ZpbGU9J2Z1bGwnCiAgICAgICAgICAgICAgeG1sbnM9J2h0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnJwogICAgICAgICAgICAgICAgICAgICAgeG1sbnM6cmRraXQ9J2h0dHA6Ly93d3cucmRraXQub3JnL3htbCcKICAgICAgICAgICAgICAgICAgICAgIHhtbG5zOnhsaW5rPSdodHRwOi8vd3d3LnczLm9yZy8xOTk5L3hsaW5rJwogICAgICAgICAgICAgICAgICB4bWw6c3BhY2U9J3ByZXNlcnZlJwp3aWR0aD0nODVweCcgaGVpZ2h0PSc4NXB4JyB2aWV3Qm94PScwIDAgODUgODUnPgo8IS0tIEVORCBPRiBIRUFERVIgLS0+CjxyZWN0IHN0eWxlPSdvcGFjaXR5OjEuMDtmaWxsOiNGRkZGRkY7c3Ryb2tlOm5vbmUnIHdpZHRoPSc4NS4wJyBoZWlnaHQ9Jzg1LjAnIHg9JzAuMCcgeT0nMC4wJz4gPC9yZWN0Pgo8cGF0aCBjbGFzcz0nYm9uZC0wIGF0b20tMCBhdG9tLTEnIGQ9J00gODAuNiw0My4wIEwgNzkuMSw0Mi4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0wIGF0b20tMCBhdG9tLTEnIGQ9J00gNzkuMSw0Mi4yIEwgNzcuNSw0MS4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xIGF0b20tMSBhdG9tLTInIGQ9J00gNzMuNiw0MS40IEwgNzIuMSw0Mi4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xIGF0b20tMSBhdG9tLTInIGQ9J00gNzIuMSw0Mi4zIEwgNzAuNiw0My4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yIGF0b20tMiBhdG9tLTMnIGQ9J00gNzAuNiw0My4yIEwgNzAuNyw0OS4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yIGF0b20tMiBhdG9tLTMnIGQ9J00gNjkuNCw0NC4xIEwgNjkuNSw0OC4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zNyBhdG9tLTM3IGF0b20tMicgZD0nTSA2NS41LDQwLjQgTCA3MC42LDQzLjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMgYXRvbS0zIGF0b20tNCcgZD0nTSA3MC43LDQ5LjAgTCA2NS43LDUyLjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTQgYXRvbS00IGF0b20tNScgZD0nTSA2NS43LDUyLjAgTCA2NS44LDUzLjknIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTQgYXRvbS00IGF0b20tNScgZD0nTSA2NS44LDUzLjkgTCA2NS44LDU1LjknIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTYgYXRvbS00IGF0b20tNycgZD0nTSA2NS43LDUyLjAgTCA2MC43LDQ5LjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTYgYXRvbS00IGF0b20tNycgZD0nTSA2NS41LDUwLjYgTCA2Mi4wLDQ4LjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTUgYXRvbS01IGF0b20tNicgZD0nTSA2My45LDU5LjAgTCA2Mi40LDU5LjknIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTUgYXRvbS01IGF0b20tNicgZD0nTSA2Mi40LDU5LjkgTCA2MC45LDYwLjgnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTcgYXRvbS03IGF0b20tOCcgZD0nTSA2MC43LDQ5LjIgTCA2MC41LDQzLjQnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTggYXRvbS04IGF0b20tOScgZD0nTSA2MC41LDQzLjQgTCA1NS41LDQwLjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM2IGF0b20tOCBhdG9tLTM3JyBkPSdNIDYwLjUsNDMuNCBMIDY1LjUsNDAuNCcgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6MS4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMzYgYXRvbS04IGF0b20tMzcnIGQ9J00gNjEuOSw0My45IEwgNjUuNCw0MS45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC05IGF0b20tOSBhdG9tLTEwJyBkPSdNIDU1LjUsNDAuNiBMIDUwLjUsNDMuNicgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6MS4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjkgYXRvbS05IGF0b20tMzAnIGQ9J00gNTUuNSw0MC42IEwgNTUuNCwzNC44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMCBhdG9tLTEwIGF0b20tMTEnIGQ9J00gNTAuNSw0My42IEwgNDguOSw0Mi43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMCBhdG9tLTEwIGF0b20tMTEnIGQ9J00gNDguOSw0Mi43IEwgNDcuNCw0MS45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMSBhdG9tLTExIGF0b20tMTInIGQ9J00gNDMuNSw0Mi4wIEwgNDIuMCw0Mi45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMSBhdG9tLTExIGF0b20tMTInIGQ9J00gNDIuMCw0Mi45IEwgNDAuNSw0My44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMiBhdG9tLTEyIGF0b20tMTMnIGQ9J00gNDAuNSw0My44IEwgMzUuNCw0MS4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMiBhdG9tLTEyIGF0b20tMTMnIGQ9J00gMzkuMSw0NC40IEwgMzUuNiw0Mi40JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOCBhdG9tLTEyIGF0b20tMjAnIGQ9J00gNDAuNSw0My44IEwgNDAuNSw0NS43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOCBhdG9tLTEyIGF0b20tMjAnIGQ9J00gNDAuNSw0NS43IEwgNDAuNSw0Ny42JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMyBhdG9tLTEzIGF0b20tMTQnIGQ9J00gMzUuNCw0MS4wIEwgMzUuMSwzOS43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xMyBhdG9tLTEzIGF0b20tMTQnIGQ9J00gMzUuMSwzOS43IEwgMzQuOCwzOC41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC00MSBhdG9tLTEzIGF0b20tMTcnIGQ9J00gMzUuNCw0MS4wIEwgMzAuNCw0NC4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNCBhdG9tLTE0IGF0b20tMTUnIGQ9J00gMzIuMSwzNS4xIEwgMzAuMiwzNS4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNCBhdG9tLTE0IGF0b20tMTUnIGQ9J00gMzAuMiwzNS4wIEwgMjguMywzNC44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNCBhdG9tLTE0IGF0b20tMTUnIGQ9J00gMzEuNCwzNi4zIEwgMzAuMSwzNi4xJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNCBhdG9tLTE0IGF0b20tMTUnIGQ9J00gMzAuMSwzNi4xIEwgMjguOCwzNi4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNSBhdG9tLTE1IGF0b20tMTYnIGQ9J00gMjguMywzNC44IEwgMjcuNiwzNi41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNSBhdG9tLTE1IGF0b20tMTYnIGQ9J00gMjcuNiwzNi41IEwgMjYuOCwzOC4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNiBhdG9tLTE2IGF0b20tMTcnIGQ9J00gMjguMCw0MS44IEwgMjkuMiw0Mi45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNiBhdG9tLTE2IGF0b20tMTcnIGQ9J00gMjkuMiw0Mi45IEwgMzAuNCw0NC4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gMjAuNCw0MS41IEwgMjIuMyw0MS4zIEwgMjIuMiw0MC44IFonIHN0eWxlPSdmaWxsOiMzQjQxNDM7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gMjIuMyw0MS4zIEwgMjMuOSw0MC4wIEwgMjQuMiw0MS4yIFonIHN0eWxlPSdmaWxsOiM0Mjg0RjQ7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMCBhdG9tLTIxIGF0b20tMTYnIGQ9J00gMjIuMyw0MS4zIEwgMjIuMiw0MC44IEwgMjMuOSw0MC4wIFonIHN0eWxlPSdmaWxsOiM0Mjg0RjQ7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiM0Mjg0RjQ7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMzAuNCw0NC4wIEwgMzAuNCw0NS45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMzAuNCw0NS45IEwgMzAuNSw0Ny44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMzEuNiw0NC41IEwgMzEuNiw0NS45JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xNyBhdG9tLTE3IGF0b20tMTgnIGQ9J00gMzEuNiw0NS45IEwgMzEuNiw0Ny4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOCBhdG9tLTE4IGF0b20tMTknIGQ9J00gMzIuNSw1MC44IEwgMzQuMCw1MS43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOCBhdG9tLTE4IGF0b20tMTknIGQ9J00gMzQuMCw1MS43IEwgMzUuNiw1Mi42JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMzUuNiw1Mi42IEwgMzcuMSw1MS43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMzcuMSw1MS43IEwgMzguNiw1MC43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMzUuNCw1MS4zIEwgMzYuNSw1MC43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0xOSBhdG9tLTE5IGF0b20tMjAnIGQ9J00gMzYuNSw1MC43IEwgMzcuNiw1MC4wJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojNDI4NEY0O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMSBhdG9tLTIxIGF0b20tMjInIGQ9J00gMjAuNCw0MS41IEwgMTguMSw0Ni44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOSBhdG9tLTI4IGF0b20tMjEnIGQ9J00gMTcuOSwzOS40IEwgMTkuMiw0MC40JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0zOSBhdG9tLTI4IGF0b20tMjEnIGQ9J00gMTkuMiw0MC40IEwgMjAuNCw0MS41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMiBhdG9tLTIyIGF0b20tMjMnIGQ9J00gMTguMSw0Ni44IEwgMTIuMyw0Ni4zJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yOCBhdG9tLTIyIGF0b20tMjknIGQ9J00gMTguNiw0Ny45IEwgMTguOSw0Ny43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yOCBhdG9tLTIyIGF0b20tMjknIGQ9J00gMTkuMCw0OS4wIEwgMTkuNyw0OC42JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yOCBhdG9tLTIyIGF0b20tMjknIGQ9J00gMTkuNCw1MC4xIEwgMjAuNCw0OS41JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMyBhdG9tLTIzIGF0b20tMjQnIGQ9J00gMTEuNSw0Ny4wIEwgMTEuOCw0Ny4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMyBhdG9tLTIzIGF0b20tMjQnIGQ9J00gMTAuNiw0Ny43IEwgMTEuMiw0OC4yJyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yMyBhdG9tLTIzIGF0b20tMjQnIGQ9J00gOS44LDQ4LjQgTCAxMC43LDQ5LjEnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI0IGF0b20tMjMgYXRvbS0yNScgZD0nTSAxMi4zLDQ2LjMgTCAxMS4wLDQwLjcnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTI1IGF0b20tMjUgYXRvbS0yNicgZD0nTSAxMS4wLDQwLjcgTCA1LjksMzcuOSBMIDUuNSwzOC45IFonIHN0eWxlPSdmaWxsOiMzQjQxNDM7ZmlsbC1ydWxlOmV2ZW5vZGQ7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjE7JyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yNyBhdG9tLTI1IGF0b20tMjgnIGQ9J00gMTEuMCw0MC43IEwgMTIuNSwzOS43JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojM0I0MTQzO3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yNyBhdG9tLTI1IGF0b20tMjgnIGQ9J00gMTIuNSwzOS43IEwgMTQuMCwzOC44JyBzdHlsZT0nZmlsbDpub25lO2ZpbGwtcnVsZTpldmVub2RkO3N0cm9rZTojRTg0MjM1O3N0cm9rZS13aWR0aDoxLjBweDtzdHJva2UtbGluZWNhcDpidXR0O3N0cm9rZS1saW5lam9pbjptaXRlcjtzdHJva2Utb3BhY2l0eToxJyAvPgo8cGF0aCBjbGFzcz0nYm9uZC0yNiBhdG9tLTI2IGF0b20tMjcnIGQ9J00gNS43LDM4LjQgTCA1LjUsMzcuMScgc3R5bGU9J2ZpbGw6bm9uZTtmaWxsLXJ1bGU6ZXZlbm9kZDtzdHJva2U6IzNCNDE0MztzdHJva2Utd2lkdGg6MS4wcHg7c3Ryb2tlLWxpbmVjYXA6YnV0dDtzdHJva2UtbGluZWpvaW46bWl0ZXI7c3Ryb2tlLW9wYWNpdHk6MScgLz4KPHBhdGggY2xhc3M9J2JvbmQtMjYgYXRvbS0yNiBhdG9tLTI3JyBkPSdNIDUuNSwzNy4xIEwgNS40LDM1LjgnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiNFODQyMzU7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMwIGF0b20tMzAgYXRvbS0zMScgZD0nTSA1NS40LDM0LjggTCA2MC4zLDMxLjgnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMwIGF0b20tMzAgYXRvbS0zMScgZD0nTSA1NS41LDMzLjQgTCA1OS4wLDMxLjMnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTQwIGF0b20tMzAgYXRvbS0zNScgZD0nTSA1NS40LDM0LjggTCA1MC4zLDMyLjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMxIGF0b20tMzEgYXRvbS0zMicgZD0nTSA2MC4zLDMxLjggTCA2MC4yLDI2LjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM1IGF0b20tMzEgYXRvbS0zNicgZD0nTSA2MC4zLDMxLjggTCA2NS40LDM0LjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMyIGF0b20tMzIgYXRvbS0zMycgZD0nTSA2MC4yLDI2LjAgTCA1NS4xLDIzLjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMyIGF0b20tMzIgYXRvbS0zMycgZD0nTSA1OC45LDI2LjYgTCA1NS4zLDI0LjYnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTMzIGF0b20tMzMgYXRvbS0zNCcgZD0nTSA1NS4xLDIzLjIgTCA1MC4yLDI2LjInIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM0IGF0b20tMzQgYXRvbS0zNScgZD0nTSA1MC4yLDI2LjIgTCA1MC4zLDMyLjAnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+CjxwYXRoIGNsYXNzPSdib25kLTM0IGF0b20tMzQgYXRvbS0zNScgZD0nTSA1MS40LDI3LjAgTCA1MS40LDMxLjEnIHN0eWxlPSdmaWxsOm5vbmU7ZmlsbC1ydWxlOmV2ZW5vZGQ7c3Ryb2tlOiMzQjQxNDM7c3Ryb2tlLXdpZHRoOjEuMHB4O3N0cm9rZS1saW5lY2FwOmJ1dHQ7c3Ryb2tlLWxpbmVqb2luOm1pdGVyO3N0cm9rZS1vcGFjaXR5OjEnIC8+Cjx0ZXh0IHg9JzczLjgnIHk9JzQzLjInIGNsYXNzPSdhdG9tLTEnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9JzY0LjAnIHk9JzYwLjgnIGNsYXNzPSdhdG9tLTUnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9JzQzLjYnIHk9JzQzLjgnIGNsYXNzPSdhdG9tLTExJyBzdHlsZT0nZm9udC1zaXplOjZweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiM0Mjg0RjQnID5OPC90ZXh0Pgo8dGV4dCB4PSc0My42JyB5PSczOC41JyBjbGFzcz0nYXRvbS0xMScgc3R5bGU9J2ZvbnQtc2l6ZTo2cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojNDI4NEY0JyA+SDwvdGV4dD4KPHRleHQgeD0nMzIuMycgeT0nMzguMycgY2xhc3M9J2F0b20tMTQnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzQyODRGNCcgPk48L3RleHQ+Cjx0ZXh0IHg9JzI0LjInIHk9JzQzLjInIGNsYXNzPSdhdG9tLTE2JyBzdHlsZT0nZm9udC1zaXplOjZweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiM0Mjg0RjQnID5OPC90ZXh0Pgo8dGV4dCB4PScyOC43JyB5PSc1Mi44JyBjbGFzcz0nYXRvbS0xOCcgc3R5bGU9J2ZvbnQtc2l6ZTo2cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojNDI4NEY0JyA+TjwvdGV4dD4KPHRleHQgeD0nMzguOCcgeT0nNTIuNicgY2xhc3M9J2F0b20tMjAnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzQyODRGNCcgPk48L3RleHQ+Cjx0ZXh0IHg9JzIuOScgeT0nNTMuNycgY2xhc3M9J2F0b20tMjQnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPkg8L3RleHQ+Cjx0ZXh0IHg9JzYuNycgeT0nNTMuNycgY2xhc3M9J2F0b20tMjQnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9JzMuMicgeT0nMzUuNicgY2xhc3M9J2F0b20tMjcnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPk88L3RleHQ+Cjx0ZXh0IHg9JzcuMycgeT0nMzUuNicgY2xhc3M9J2F0b20tMjcnIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPkg8L3RleHQ+Cjx0ZXh0IHg9JzE0LjInIHk9JzQwLjcnIGNsYXNzPSdhdG9tLTI4JyBzdHlsZT0nZm9udC1zaXplOjZweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiNFODQyMzUnID5PPC90ZXh0Pgo8dGV4dCB4PScxOS4zJyB5PSc1NC44JyBjbGFzcz0nYXRvbS0yOScgc3R5bGU9J2ZvbnQtc2l6ZTo2cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojRTg0MjM1JyA+TzwvdGV4dD4KPHRleHQgeD0nMjMuNCcgeT0nNTQuOCcgY2xhc3M9J2F0b20tMjknIHN0eWxlPSdmb250LXNpemU6NnB4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6I0U4NDIzNScgPkg8L3RleHQ+Cjwvc3ZnPgo= COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000003044 adaptive Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Computing arrangements based on biological models using neural network models
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Computing arrangements based on biological models using neural network models
- G06N3/04—Architectures, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Computing arrangements based on biological models using neural network models
- G06N3/04—Architectures, e.g. interconnection topology
- G06N3/0472—Architectures, e.g. interconnection topology using probabilistic elements, e.g. p-rams, stochastic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Computing arrangements based on biological models using neural network models
- G06N3/04—Architectures, e.g. interconnection topology
- G06N3/049—Temporal neural nets, e.g. delay elements, oscillating neurons, pulsed inputs
Abstract
Die Erfindung betrifft ein Verfahren (30) zur Erstellung eines tiefen neuronalen Netzes (10). Das tiefe neuronale Netz (10) weist eine Mehrzahl von Schichten (12) und Verbindungen (13) mit Gewichten auf und die Gewichte im erstellten neuronalen Netz nur vorgebbare diskrete Werte aus einer vorgebbaren Liste diskreter Werte annehmen können, umfassend die Schritte: Bereitstellen zumindest einer Trainingseingangsgröße für das tiefe neuronale Netz (10); Ermitteln einer eine Kostenfunktion charakterisierenden Größe, die eine erste Größe umfasst, die eine Abweichung einer abhängig von der bereitgestellten Trainingseingangsgröße ermittelten Ausgangsgröße des tiefen neuronalen Netzes zu einer vorgebbaren Soll-Ausgangsgröße charakterisiert, und wobei die die Kostenfunktion charakterisierende Größe ferner wenigstens eine Bestrafungsgröße umfasst, die eine Abweichung eines Wertes einer der Gewichte von wenigstens einem von zumindest zwei der vorgebbaren diskreten Werten charakterisiert; Anlernen des tiefen neuronalen Netzes (10). Die Erfindung betrifft ferner ein Computerprogramm und eine Vorrichtung zum Ausführen des erfindungsgemäßen Verfahrens (30) und ein maschinenlesbares Speicherelement, auf dem das Computerprogramm gespeichert ist.
Description
- Technisches Gebiet
- Die Erfindung betrifft ein Verfahren zur Erstellung eines tiefen neuronalen Netzes, ein Computerprogramm und eine Vorrichtung, die jeweils eingerichtet sind, das Verfahren auszuführen.
- Stand der Technik
- Die
US 5,119,469 offenbart ein neuronales Netzwerksystem mit einer Vielzahl von Synapsen und einer adaptiven Gewichtsschaltung zum Einstellen der Gewichte jeder Synapse. Das neuronale Netzwerksystem wird sukzessive mit einer Serie von Trainingsdaten durch systematisches Einstellen der Gewichte zur Mustererkennung angelernt. - Vorteile der Erfindung
- Das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 hat demgegenüber den Vorteil, dass die Gewichte der Verbindungen des tiefen neuronalen Netzes derart ermittelt werden, dass diese einen vorgebbaren diskreten Wert aus einer Liste mit diskreten Werten annehmen. Durch die diskreten Werte der Gewichte des erstellten tiefen neuronalen Netzes kann eine Reduktion des benötigten Speicherplatzes zum Abspeichern des tiefen neuronalen Netzes erzielt werden. Denn die Gewichte können, beispielsweise anhand eines Indexes des diskreten Werts aus der Liste abgespeichert werden. Dadurch muss nicht mehr jeder Wert eines jeden Gewichtes einzeln mit hoher Genauigkeit abgespeichert werden, sondern es ist ausreichend, wenn jeweils nur ein Index des Wertes des Gewichts und die vorgebbare Liste mit diskreten Werten und deren Indices abgespeichert werden. Dies führt dazu, dass das erstellte tiefe neuronale Netz einen geringeren Speicherplatzbedarf aufweist. Des Weiteren wird eine Komprimierung der Darstellung des tiefen neuronalen Netzes mittels dieses Verfahrens erzielt. Denn die Werte der Gewichte des erstellten tiefen neuronalen Netzes sind nicht mehr kontinuierlich, sondern die Gewichte können nur eine gewisse Anzahl an vorgebbaren diskrete Werte annehmen. Dies führt dazu, dass das tiefe neuronale Netz durch eine geringere Anzahl an unterschiedlichen Gewichten charakterisiert wird und eine komprimierte Darstellung erzielt werden kann. Ein weiterer Vorteil des Verfahrens ist, dass durch die diskreten Werte der Gewichte die Anzahl der Rechenoperationen, insbesondere Multiplikationen, die durchgeführt werden müssen, um eine Ausgangsgröße des tiefen neuronalen Netzes zu ermitteln, unter Ausnutzung des Distributivgesetzes reduziert werden können. Da die Werte der Gewichte nur vorgebbare unterschiedliche diskrete Werte annehmen können, können die Gewichte, die den gleichen diskreten Wert aufweisen, mittels des Distributivgesetzes ausgeklammert werden, wodurch die Anzahl der Multiplikation und der Rechenaufwand zur Ermittlung des Ergebnisses signifikant reduziert werden können.
- Offenbarung der Erfindung
- In einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Erstellung eines tiefen neuronalen Netzes. Das tiefe neuronale Netz weist eine Mehrzahl von Schichten und Verbindungen mit Gewichten auf. Die Gewichte im erstellten tiefen neuronalen Netz können nur vorgebbare diskrete Werte aus einer vorgebbaren Liste diskreter Werte annehmen. Das Verfahren umfasst die folgenden Schritte:
- - Bereitstellen zumindest einer Trainingseingangsgröße für das tiefe neuronale Netz.
- - Ermitteln einer eine Kostenfunktion charakterisierenden Größe. Die die Kostenfunktion charakterisierende Größe umfasst dabei eine erste Größe, die eine Abweichung einer abhängig von der bereitgestellten Trainingseingangsgröße ermittelten Ausgangsgröße des tiefen neuronalen Netzes zu einer vorgebbaren Soll-Ausgangsgröße charakterisiert. Ferner umfasst die die Kostenfunktion charakterisierende Größe wenigstens eine Bestrafungsgröße, die eine Abweichung eines Wertes einer der Gewichte von wenigstens einem von zumindest zwei der vorgebbaren diskreten Werten charakterisiert.
- - Anlernen des tiefen neuronalen Netzes derart, dass das tiefe neuronale Netz abhängig von der Trainingseingangsgröße des tiefen neuronalen Netzes ein Objekt detektiert. Beim Anlernen des tiefen neuronalen Netzes wird wenigstens ein Wert eines der Gewichte abhängig von der die Kostenfunktion charakterisierenden Größe angepasst.
- - Abbilden der Werte der Gewichte auf jeweils einen in der vorgebbaren Liste enthaltenen diskreten Wert. Der Vorteil dieses Verfahrens ist, dass anhand der diskreten Werte der Gewichte das erzeugte tiefe neuronale Netz komprimiert gespeichert werden kann und dass die Rechenoperationen zur Ermittlung der Ausgangsgröße des tiefen neuronalen Netzes effizient durchgeführt werden können.
- Die vorgebbare Liste diskreter Werte kann eine Liste mit einer Mehrzahl von vorgebbaren diskreten Werten sein, wobei jedem Eintrag der Liste ein Index zugeordnet ist. Unter einem Abbilden der Werte auf jeweils einen diskreten Wert wird verstanden, dass einem jeden Gewicht abhängig von dessen Wert und den vorgebbaren diskreten Werten der vorgebbaren Liste diskreter Werte ein Wert aus der vorgebbaren Liste diskreter Werte zugeordnet wird. Wenn Beispielsweise der Wert eines der Gewichte innerhalb eines vorgebbaren Toleranzbereichs um einen der zumindest zwei vorgebbaren diskreten Werten liegt, wird als Wert dieses Gewichtes derjenige vorgebbare diskrete Wert, innerhalb dessen Toleranzbereichs der Wert des Gewichtes liegt, zugeordnet, insbesondere als Wert zugehörig zu diesem Gewicht gespeichert. Die Toleranzbereiche der jeweiligen zumindest zwei vorgebbaren diskreten Werte überschneiden sich vorzugsweise nicht. Andernfalls wäre optional ein Auswahlmechanismus vorzusehen, der aufgrund der Toleranzbereiche denjenigen zulässigen diskreten Wert auswählt, der dem Gewicht zugeordnet werden kann.
- Unter einem Objekt kann hierbei ein in der Trainingseingangsgröße codiertes Merkmal verstanden werden, welches von dem tiefen neuronalen Netz dekodiert und genutzt werden kann, um das Objekt in der Trainingseingangsgröße zu detektieren.
- Besonders vorteilhaft ist, wenn die Bestrafungsgröße eine Abweichung einer a-Posteriori-Verteilungsfunktion eines der Gewichte von einer a-Priori-Verteilungsfunktion der vorgebbaren diskreten Werte dieses Gewichtes charakterisiert. Dabei kann die a-Priori-Verteilungsfunktion eine angenommene Verteilungsfunktion der vorgebbaren diskreten Werte eines Gewichtes oder von allen Gewichten sein bevor die Trainingsgröße gesehen wurde. Eine Verteilungsfunktion kann beispielsweise die Auftrittswahrscheinlichkeitsverteilung der jeweiligen möglichen Werte eines der Gewichte charakterisieren. Die a-Posteriori-Verteilungsfunktion gibt dabei die Verteilung der Werte eines der Gewichte an und kann, insbesondere initial, beliebig gewählt werden, da diese während des Anlernens des tiefen neuronalen Netzes angepasst wird. Die genaue Form der a-Posteriori-Verteilungsfunktion ergibt sich nach dem Anlernen unter Verwendung der Trainingsgröße.
- Ebenfalls besonders vorteilhaft ist, wenn die a-Priori-Verteilungsfunktion für eine vorgebbare Untermenge der Gewichte des neuronalen Netzes abhängig von einer Topologie eines mit dieser vorgebbaren Untermenge assoziierten Teils des tiefen neuronalen Netzes gewählt wird. Der assoziierte Teil des tiefen neuronalen Netzes sind diejenigen Schichten und Verbindungen, denen die Gewichte aus der Untermenge zugeordnet sind. Dies weist den Vorteil auf, dass, wenn mehrere Gewichte zu einem Filter zusammengefasst werden können, diesen Gewichten die gleiche a-Priori-Verteilungsfunktion zugeordnet werden kann. Aus bereits bekannten erstellten tiefen neuronalen Netzen kann eine Information über die Verteilung der Gewichtwerte wiederverwendet werden. Daraus können z.B. a-Priori-Verteilungsfunktionen abgeleitet werden, die den Filtern zugeordnet werden, wodurch beispielsweise Filter einfacher und schneller gelernt werden können und das Anlernen gezielter durchgeführt werden kann. Ein weiterer Vorteil ist, dass durch die Verwendung derselben a-Priori-Verteilungsfunktion für die Untermenge, wirksamer redundante Filter bzw. Gewichte entfernt werden können, da diese anhand der gleichen a-Priori-Verteilungsfunktion einen ähnlichen diskreten Wert nach dem Anlernen aufweisen können.
- Weiterhin ist es besonders vorteilhaft, wenn die Bestrafungsfunktion eine gewichtete Aufsummierung von ermittelten Abweichungen charakterisiert. Es wird jeweils eine Abweichung der a-Posteriori-Verteilungsfunktion eines der Gewichte zu der a-Priori-Verteilungsfunktion an jeweils einer Position, die jeweils einem der vorgebbaren diskreten Werte zugeordnet ist, ermittelt und diese Abweichung wird anhand einer Gewichtungsfunktion, die diesem jeweiligen vorgebbaren diskreten Wert zugeordnet ist, gewichtet.
- Zugeordnet kann insbesondere bedeuten, dass die Gewichtungsfunktion um diesen jeweiligen vorgebbaren diskreten Wert zentriert ist. Beispielsweise kann die Gewichtungsfunktion, insbesondere eine Gaußglockenkurve, symmetrisch um den jeweiligen vorgebbaren diskreten Wert zentriert sein. Damit kann die Abweichung der a-Priori-Verteilungsfunktion zu der a-Posteriori-Verteilungsfunktion stückweise ermittelt werden und anschießend die ermittelten Abweichungen geeignet gewichtet und überlagert werden, wodurch die Abweichung der zwei Verteilungsfunktionen zuverlässig angenähert wird.
- Vorteilhaft ist, wenn die ermittelten Abweichungen jeweils eine ermittelte Abweichung der a-Posteriori-Verteilungsfunktion zu einer Log-Uniform-Verteilungsfunktion ist und diese ermittelte Abweichung an jeweils eine der Positionen einer der zumindest zwei vorgebbaren diskreten Werten verschobenen wird und anhand der Gewichtungsfunktion, die diesem jeweiligen vorgebbaren diskreten Wert zugeordnet ist, gewichtet wird.
- Ebenso vorteilhaft ist, wenn eine der ermittelten Abweichungen anhand von einem vorgebbaren Wert, insbesondere dem Wert „1“, abzüglich der Summe der jeweiligen Gewichtungsfunktionen gewichtet wird. Dies hat den Vorteil, dass die ermittelten Abweichungen auch in großer Entfernung zu den ermittelten Abweichungen der anderen vorgebbaren diskreten Werten, eine zuverlässige Approximierung durchgeführt werden kann.
- Weiterhin ist es vorteilhaft, wenn eine Abweichung der a-Posteriori-Verteilungsfunktion von der a-Priori-Verteilungsfunktion anhand von einer Approximation einer Kullback-Leibler Divergenz zwischen der a-Posteriori-Verteilungsfunktion und der a-Priori-Verteilungsfunktion ermittelt wird.
- In einer weiteren Ausführungsform des Verfahrens, kann beim Anlernen des tiefen neuronalen Netzes eine der a-Posteriori-Verteilungsfunktionen abhängig von der Kostenfunktion angepasst werden, wobei das Gewicht, welches durch die angepasste a-Posteriori-Verteilungsfunktion charakterisiert wird, abhängig von der angepassten a-Posteriori-Verteilungsfunktion angepasst wird.
- Ebenso kann in einer weiteren Ausführungsform des Verfahrens zumindest einer der zumindest zwei vorgebbaren diskreten Werte der Wert „0“ sein. Vorteilhaft ist, wenn die Gewichte, die nach dem Anlernen des tiefen neuronalen Netz auf den diskreten Wert „0“ abgebildet wurden, entfernt werden. Dies hat den Vorteil, dass nach dem Anlernen des tiefen neuronalen Netzes diese Gewichte ohne Beeinträchtigung der Leistungsfähigkeit des tiefen neuronalen Netzes entfernt werden können und damit eine zusätzliche Komprimierung des tiefen neuronalen Netzes, aber auch eine zusätzliche Reduktion des Rechenaufwands und des Speicherplatzbedarfs erreicht werden kann.
- Vorteilhaft ist, wenn die a-Posteriori-Verteilungsfunktionen anhand jeweils einer Normalverteilung charakterisiert ist.
- Weiterhin ist es vorteilhaft, wenn die Abfolge der Schritte des Ermittelns der die Kostenfunktion charakterisierenden Größe und des Anlernens des tiefen neuronalen Netzes mehrfach wiederholt wird, bis ein Abbruchkriterium erfüllt ist. Das Abbruchkriterium kann zum Beispiel eine vorgebbare Anzahl an Wiederholungen der Abfolge der Schritte sein. Optional kann als Abbruchkriterium definiert sein, dass die die Kostenfunktion charakterisierende Größe kleiner als eine vorgebbare Größe sein muss und/oder die Gewichte jeweils einen Wert der zumindest zwei vorgebbaren diskreten Werten angenommen haben bzw. sich innerhalb eines vorgebbaren Bereichs um einen der zumindest zwei vorgebbaren diskreten Werte befinden.
- Vorteilhaft ist auch, wenn eine jede Schicht jeweils einen Schwellenwert aufweist, wobei die Bestrafungsgröße zusätzlich eine Abweichung eines Schwellenwertes von wenigstens weiteren zumindest zwei vorgebbaren diskreten Werten charakterisiert, wobei beim Anlernen des tiefen neuronalen Netzes, einer der Schwellenwerte abhängig von der die Kostenfunktion charakterisierenden Größe angepasst wird. Unter einem Schwellenwert wird ein Wert verstanden, welcher eine Übertragungsfunktion der Neuronen dieser Schicht charakterisiert. Die Übertragungsfunktion ermittelt abhängig von einer Eingangsgröße und einer vorgebbaren Funktion eine Ausgangsgröße. Dabei können die oben genannten unterschiedlichen Ausführungsformen des Verfahrens auch für die Anpassung der Schwellenwerte der Schichten zu diskreten Schwellenwerten beim Erstellen des tiefen neuronalen Netzes verwendet werden. Hierfür muss nur das Wort „Gewicht“ aller oben genannten Verfahrensschritte mit dem Wort „Schwellenwert“ ausgetauscht werden.
- In einer vorteilhaften Weiterentwicklung des Verfahrens, wird nach dem Anlernen des tiefen neuronalen Netzes, eine Eingangsgröße des tiefen neuronalen Netzes ermittelt. Ein Objekt wird dann mittels des angelernten tiefen neuronalen Netzes abhängig von der ermittelten Eingangsgröße detektiert und vorteilhafterweise wird eine zumindest teilautonome Maschine anschließend abhängig von dem detektierten Objekt angesteuert. Eine zumindest teilautonome Maschine kann zum Beispiel ein Roboter, insbesondere ein Fahrzeug, sein. Denkbar ist auch, dass das Verfahren verwendet werden kann, um tiefe neuronale Netze zu erstellen, die auf einer mobilen Recheneinheit betrieben werden können. Eine mobile Recheneinheit, insbesondere Mobiltelefone oder Kameras, sind durch einen limitierten Speicherplatz, begrenzte Rechenleistung und eingeschränkter Energieversorgung, gekennzeichnet. Das tiefe neuronale Netz kann neben der Objektdetektion alternativ zum Beispiel zur Klassifikation, semantische Segmentierung oder Regression erstellt, angelernt und/oder verwendet werden.
- In einem weiteren Aspekt betrifft die Erfindung ein Computerprogramm, welches Befehle umfasst, die beim Ausführen auf einem Computer bewirken, dass eines der oben genannten Verfahren ausgeführt wird und ferner ein maschinenlesbares Speicherelement, auf welchem das Computerprogramm gespeichert ist.
- In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung, die eingerichtet ist, jeden Schritt eines der Verfahren auszuführen.
- Ausführungsbeispiele der vorliegenden Erfindung sind in den beiliegenden Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Dabei zeigen:
- Figurenliste
-
-
1 eine schematische Darstellung eines Systems mit einem tiefen neuronalen Netz zur Detektion eines Objektes; -
2A eine schematische Darstellung einer a-Priori-Verteilungsfunktion, die eine Mehrzahl von vorgebbaren diskreten Werte charakterisiert; -
2B eine schematische Darstellung einer a-Posteriori-Verteilungsfunktion eines Gewichts; -
3 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Verfahrens; -
4 eine schematische Darstellung der Verteilung und zeitlichen Entwicklung der Werte der Gewichte beim Anlernen eines beispielhaft verwendeten tiefen neuronalen Netzes mit zwei vollvermaschten Schichten und zwei Faltungsschichten. -
1 zeigt eine schematische Darstellung einer Ausführungsform eines Systems (01 ) zur Detektion eines Objektes und zur Ansteuerung einer zumindest teilautonomen Maschine abhängig vom detektieren Objekt. Das System (01 ) umfasst eine Mehrzahl von in Reihe miteinander verbundenen Komponenten (14 ,10 ,15 ). Die Komponente (14 ) ist eine Erfassungseinheit, welche eine Eingangsgröße für das tiefe neuronale Netz (10 ) erfasst und diese dem tiefen neuronalen Netz (10 ) bereitstellt. Der Ausgang des tiefen neuronalen Netzes (10 ) ist mit einer Steuereinheit (15 ) verbunden. Die Steuereinheit (15 ) ist dafür eingerichtet, abhängig von der Ausgangsgröße des tiefen neuronalen Netzes (10 ) eine Steuergröße zu ermitteln, um damit beispielsweise einen Roboter, insbesondere ein Fahrzeug, zu steuern. Des Weiteren umfasst das System (01 ) eine Recheneinheit (16 ), welche ein Speicherelement (17 ) aufweist. Die Recheneinheit (16 ) kann mit dem tiefen neuronalen Netz (10 ) verbunden sein. - Das tiefe neuronale Netz (
10 ) besteht aus einer Mehrzahl von Schichten (12 ), die jeweils eine Mehrzahl von Neuronen (11 ) umfassen. Die Neuronen (11 ) besitzen jeweils wenigstens einen Eingang und einen Ausgang. Das Neuron ermittelt eine Ausgangsgröße abhängig von einer Übertragungsfunktion, insbesondere einer parametrisierbaren ReLu-Funktion oder einer Sigmoidfunktion, und der Eingangsgröße des Neuron (11 ). Die Neuronen einer vorgebbaren Schicht (12 ) sind mittels Verbindungen (13 ) mit den Neuronen einer nachfolgenden Schicht verbunden. Beispielsweise können die Ausgänge jedes der Neuronen der vorgebbaren Schicht (12 ) mit allen Eingängen der Neuronen (11 ) der unmittelbar nachfolgenden Schicht verbunden sein, wie dies in1 im rechten Teil des tiefen neuronalen Netz (10 ) schematisch dargestellt ist und im Folgenden als vollvermaschte Schicht (englisch: „fully connected“) bezeichnet wird. Denkbar ist aber auch, dass nicht jeder Ausgang eines Neurons einer Schicht mit jedem Eingang eines Neurons einer der nachfolgenden Schicht verbunden ist, wie dies im linken Teil des tiefen neuronalen Netzes (10 ) dargestellt ist. Ebenso ist denkbar, dass der Ausgang eines Neurons mit einem Eingang eines Neurons einer nicht unmittelbar nachfolgenden Schicht (z.B. eine „shortcut connection/skip connection“) oder mit einer vorhergehenden Schicht verbunden ist. Es sei angemerkt, dass dies nicht in1 dargestellt ist. - Jeder Verbindung (
13 ) ist ein Gewicht zugewiesen. Mittels dieses Gewichtes, wird die Ausgangsgröße eines Neurons gewichtet und als Eingangsgröße für das nachfolgende Neuron bereitgestellt. Bevorzugt hat jedes Gewicht einen Wert zwischen einschließlich -1 und 1 und die Ausgangsgröße des Neurons wird durch eine Multiplikation mit diesem Wert gewichtet und kann dann als Eingangsgröße des mit der Verbindung (13 ) verbundenen Neurons verwendet werden. -
2A zeigt eine schematische Darstellung einer möglichen a-Priori-Verteilungsfunktion (20), welche die Auftrittswahrscheinlichkeit p(w) der vorgebbaren diskreten Werte w (21 ) beschreibt. Die a-Priori-Verteilungsfunktion (20 ) ist eine Verteilungsfunktion, welche eine getroffene Annahme über die Verteilung der Gewichtswerte beschreibt. Die Annahme kann beispielhaft sein, dass die Werte w eines Gewichts nur diskret und gleichverteilt sind. Wie in2A gezeigt, wird hier angenommen, dass das Gewicht nur 3 unterschiedliche diskrete Werte (21 ) annehmen kann und diesen jeweils eine Auftrittswahrscheinlichkeit (22 ) zugeordnet ist. In einer alternativen Ausführungsform können auch zwei oder mehr als drei unterschiedliche diskrete Werte (21 ) durch die a-Priori-Verteilungsfunktion (20 ) beschrieben werden. Vorteilhaft ist, wenn ein vorgebbarer diskreter Wert (21 ) gleich „0“ ist, welches ein einfaches Entfernen redundanter Gewichte ermöglicht. Ein Gewicht, welches den Wert „0“ annimmt, ist dabei redundant, da die Information der Eingangsgröße durch eine Multiplikation mit „0“ verloren geht. Eine Stufenbreite (23 ), d.h. eine Distanz zwischen zwei vorgebbaren diskreten Werten, kann beliebig groß gewählt werden. Die Stufenbreite (23 ) ist aber bevorzugt proportional zu einer Anzahl der verwendeten Bits zur Darstellung der vorgebbaren diskreten Werte in der Recheneinheit (16 ). - Die a-Priori-Verteilungsfunktion (
20 ) kann im Folgenden dazu verwendet werden, um das tiefe neuronale Netz (10 ) anzulernen, sodass die Werte der Gewichte, insbesondere ausschließlich, einen der vorgebbaren diskreten Werte annehmen. -
-
2B zeigt eine schematische Darstellung einer a-Posteriori-Verteilungsfunktion (24 ). Die a-Posteriori-Verteilungsfunktion (24 ) ist vorzugsweise eine Normalverteilung und kann zu Beginn des Verfahrens, insbesondere zufällig, initialisiert werden. Die a-Posteriori-Verteilungsfunktion (24 ) beschreibt die Auftrittswahrscheinlichkeitq(w) eines Wertes w eines Gewichtes. Während des Anlernens des tiefen neuronalen Netzes (10 ) kann die a-Posteriori-Verteilungsfunktion (24 ) angepasst werden, sodass sich diese einem geeigneten Wertw des Gewichtes annähert für die verwendete Trainingsgröße. Ein geeigneter Wertw eines Gewichtes ist dadurch charakterisiert, dass das tiefe neuronale Netz (10 ) anhand des geeigneten Wertesw des Gewichtes die vorgegebene Aufgabe, insbesondere einer Detektion eines Objektes in der Eingangsgröße des tiefen neuronalen Netzes (10 ), zuverlässig löst.2B zeigt eine beispielhaft initialisierte a-Posteriori-Verteilungsfunktion (25a ), welche während des Anlernens des tiefen neuronalen Netzes (10 ) angepasst wird. Diese angepasste a-Posteriori-Verteilungsfunktion (25b ) beschreibt dann die Auftrittswahrscheinlichkeitq(w) des Wertesw des Gewichts, nachdem eine Trainingsgröße zum Anlernen des tiefen neuronalen Netzes (10 ) verwendet wurde. -
3 zeigt eine schematische Darstellung eines Ablaufdiagramms einer Ausführungsform des Verfahrens (30 ) zur Erstellung eines tiefen neuronalen Netzes, bei welchem die Gewichte nach Erstellen des tiefen neuronalen Netzes einen Wert einer vorgebbaren Liste vorgebbaren diskreten Werten aufweisen. - Das Verfahren (
30 ) beginnt mit Schritt31 . In Schritt31 wird dem tiefen neuronalen Netz (10 ) eine Trainingseingangsgröße bereitgestellt. Nachdem die Trainingsgröße bereitgestellt wurde, kann optional die a-Posteriori-Verteilungsfunktion (24 ) der Gewichte, insbesondere zufällig, initialisiert werden. Ebenso kann in Schritt31 die a-Priori-Verteilungsfunktion (20 ) aufgestellt werden. Bevorzugt wird jedem Gewicht des tiefen neuronalen Netzes (10 ) jeweils eine a-Priori-Verteilungsfunktion (20 ) und eine a-Posteriori-Verteilungsfunktion (24 ) zugeordnet. Das Aufstellen der a-Priori-Verteilungsfunktion (20 ) kann beispielhaft durchgeführt werden, in dem aus bereits angelernten tiefen neuronalen Netzen beispielhaft für ähnliche Anwendungsgebiete die Verteilung der Werte der Gewichte erfasst werden, um daraus die a-Priori-Verteilungsfunktion (20 ) abzuleiten. Das Ableiten der a-Priori-Verteilungsfunktion (20 ) kann z.B. mittels einer Clusteranalyse der Gewichtswerte und einer Betrachtung der Häufigkeit des Auftretens der unterschiedlichen Gewichtswerte durchgeführt werden. Die ermittelten Clusterzentren nach der Clusteranalyse können als vorgebbare diskrete Werte genutzt werden und diesen kann jeweils eine Auftrittswahrscheinlichkeit anhand der Betrachtung der Häufigkeit des Auftretens der jeweiligen Werte zugeordnet werden, was bspw. durch die a-Priori-Verteilungsfunktion charakterisiert werden kann. Alternativ kann die a-Priori-Verteilungsfunktion (20 ) anhand einer Liste mit vorgebbaren diskreten Werten (21 ) und deren, insbesondere angenommenen oder abgeschätzten, Auftrittswahrscheinlichkeit p(w) aufgestellt werden. Alternativ kann die a-Priori-Verteilungsfunktion (20 ) beispielsweise wie oben in (Gl. 1) gezeigt, gewählt werden oder als eine Log-Uniform-Verteilungsfunktion gewählt werden. Die a-Priori-Verteilungsfunktion (20 ) kann entweder für jedes Gewicht des tiefen neuronalen Netzes (10 ) verwendet werden, oder es können mehrere unterschiedliche a-Priori-Verteilungsfunktion (20 ) für jeweils eine ausgewählte Untermenge der Gewichte des tiefen neuronalen Netzes (10 ) verwendet werden. - Nachdem Schritt
31 abgeschlossen wurde, folgt Schritt32 . In Schritt32 wird in Abhängigkeit der Gewichte und der ermittelten Ausgangsgröße des tiefen neuronalen Netzes (10 ) und einer vorgebbaren Soll-Ausgangsgröße des tiefen neuronalen Netzes (10 ) eine erste Größe einer Kostenfunktion ermittelt. - Da die Gewichte in diesem Ausführungsbeispiel des Verfahrens anhand von Verteilungsfunktionen beschrieben sind, kann zum Beispiel die erste Größe mit einer Kreuzentropie-Fehlerfunktion
LD,1 ermittelt werden:D eine richtige Soll-Ausgangsgrößey ermittelt wurde. - Zusätzlich wird zu der ersten Größe der Kostenfunktion in Schritt
32 eine Bestrafungsgröße ermittelt. Die Bestrafungsgröße charakterisiert dabei eine Abweichung eines Wertes einer der Gewichte von wenigstens einem der vorgebbaren diskreten Werte. Da die Gewichte in diesem Ausführungsbeispiel anhand von Verteilungsfunktion beschrieben werden, kann die Bestrafungsgröße vorzugsweise mittels einer Kullback-Leibler (KL ) Divergenz ermittelt werden. Diese kann beispielsweise mit folgender Formel dargestellt werden:KL Divergenz zwischen der a-Posteriori- Verteilungsfunktionq(w) und der a-Priori-Verteilungsfunktionq(w) ist. - Denkbar ist auch, dass die Bestrafungsgröße durch eine andere mathematische Operation, wie z.B. durch ein mathematisches Distanzmaß (wie u.a. eine Euklidische Distanz) eine Abweichung der Werte der Gewichte zu vorgebbaren diskreten Werten bestimmt wird und/oder mehrere, vornehmlich unterschiedliche, Bestrafungsgrößen ermittelt werden.
- Abhängig von der Wahl der a-Priori-Verteilungsfunktion (
20 ), besitzt die Bestrafungsgröße keine analytisch geschlossene Lösung, diese kann aber approximiert werden. - Wenn die a-Priori-Verteilungsfunktion (
20 ) die Struktur nach (Gl. 1) aufweist und die Abweichung zwischen den beiden Verteilungsfunktionen ermittelt werden soll, kann z.B. dieKL Divergenz geeignet approximiert werden, um die Abweichung zu ermitteln. Die Approximation derKL Divergenz nach (Gl. 3) mit der a-Posteriori-Verteilungsfunktionp(w) nach (Gl. 1) kann mit den nachfolgenden Schritten durchgeführt werden. - Zuerst kann eine Abweichung der a-Posteriori-Verteilungsfunktion (
24 ) zu einer Log-Uniform-Verteilungsfunktion ermittelt werden, beispielsweise mit einer KL-Divergenz zwischen diesen zwei Verteilungsfunktionen. Die Log-Uniform-Verteilungsfunktion kann verwendet werden, da zur Abweichung der Log-Uniform-Verteilungsfunktion zu der a-Posteriori-Verteilungsfunktion (24 ) Verfahren in der Literatur bekannt sind, wie z.B. ein Monte-Carlo-Sampling. Anschließend kann die ermittelte Abweichung an die Position der jeweiligen diskreten Werte verschoben werden. Diese verschobenen Abweichungen stellen dabei jeweils eine stückweise ermittelte Abweichung der gesamten Abweichung der a-Priori-Verteilungsfunktion (20 ) zu der a-Posteriori-Verteilungsfunktion (24 ) dar. Danach wird jede verschobene Abweichung mittels einer Gewichtungsfunktion, insbesondere einer Gaußglockenfunktion, die um die Position des vorgebbaren diskreten Werts zentriert ist, gewichtet. Nach der Gewichtung mit der jeweiligen Gewichtungsfunktion der einzelnen Abweichungen, werden diese nach einer vorgebbaren Gewichtung gewichtet aufsummiert. Bevorzugt wird für die vorgebbare Gewichtung der Erwartungswert der a-Posteriori-Verteilungsfunktion (24 ) gewählt. Diese gewichtete Summation der einzelnen Abweichungen entspricht einer approximiertenKL Divergenz der a-Priori-Verteilungsfunktion (20 ) und der a-Posteriori-Verteilungsfunktion (24 ) nach (Gl. 3). - Um die Approximation der
KL Divergenz mit einer höheren Genauigkeit durchzuführen, kann zum Beispiel eine der Gewichtungsfunktion einer ermitteltenKL Divergenz anderweitig gewählt werden. Bevorzugt hat diese Gewichtungsfunktion die Struktur, dass von einem vorgebbaren Wert, insbesondere „1“, die Summe der verwendeten Gewichtungsfunktion abgezogen wird. - Nachdem die
KL Divergenz ermittelt wurde, wird eine Summation der ersten Größe nach (Gl. 2) und der Bestrafungsgröße nach (Gl. 3) durchgeführt. Diese Summation stellt dann eine die Kostenfunktion charakterisierende Größe dar. Denkbar ist aber auch, dass die erste Größe nach (Gl. 2) und die Bestrafungsgröße nach (Gl. 3) durch andere mathematische Operationen miteinander verknüpft werden können. Wenn mehrere Bestrafungsgrößen ermittelt wurden, können diese ebenfalls in der die Kostenfunktion charakterisierende Größe berücksichtig werden. - Wenn Schritt
32 mit der Ermittlung der die Kostenfunktion charakterisierenden Größe beendet wurde, folgt Schritt33 . In Schritt33 wird das tiefe neuronale Netz (10 ) angelernt. Beim Anlernen des tiefen neuronalen Netzes (10 ) werden die Werte der Gewichte ermittelt, sodass das tiefe neuronale Netz (10 ) beispielhaft Objekte in der Eingangsgröße des tiefen neuronalen Netzes (10 ) detektieren kann. Dabei werden, abhängig von der die Kostenfunktion charakterisierenden Größe, die Werte der Gewichte angepasst, sodass das tiefe neuronale Netz (10 ) Objekte detektieren kann. Bevorzugt wird mit einem Optimierungsverfahren, insbesondere einem Gradientenabstiegsverfahren, eine Änderungsgröße der Gewichte ermittelt, sodass nach Berücksichtigung der Änderungsgröße bei zumindest einer Mehrzahl der Gewichte, die die Kostenfunktion charakterisierende Größe minimiert wird. Denkbar ist auch, dass die a-Posteriori-Verteilungsfunktion abhängig von der die Kostenfunktion charakterisierenden Größe angepasst wird und die Werte der Gewichte abhängig von der angepassten a-Posteriori-Verteilungsfunktion (24 ) angepasst werden, insbesondere durch Verwenden des Erwartungswertes der a-Posteriori-Verteilungsfunktion (24 ) als angepassten Wert des Gewichtes. Wenn die a-Posteriori-Verteilungsfunktion (24 ) eine Normalverteilung ist, kann abhängig von der ermittelten Änderungsgröße, der Erwartungswert und die Standardabweichung der Normalverteilung angepasst werden. Durch Anpassung des Erwartungswertes und der Standardabweichung der Normalverteilung, kann diese nach Verwendung der Trainingsgröße zum Anlernen des tiefen neuronalen Netzes (10 ) die Auftrittswahrscheinlichkeiten geeigneter Werte dieses Gewichts beschreiben. - Nach Schritt
33 wird Schritt34 eingeleitet. In Schritt34 werden die Werte der Gewichte abgespeichert. Wenn der Wert eines der Gewichte einen Wert ähnlich zu einem vorgebbaren diskreten Wert aus der Liste diskreter Werte aufweist, wird der diskrete Wert aus der Liste diskreter Werte als Wert dieses Gewichts abgespeichert. Unter ähnlich wird verstanden, dass, wenn der Wert eines der Gewichte näher zu einem von zwei vorgebbaren diskreten Werten liegt, der Wert dieses Gewichtes ähnlich zu dem näher liegenden diskreten Wert ist. Wenn der Wert eines der Gewichte nur einen vorgebbaren diskreten Wert als nächstliegenden Wert aufweist, kann dieser ähnlich zu diesem vorgebbaren diskreten Wert sein. - Bevorzugt wird der diskrete Wert des Gewichtes in Form eines Indexes des diskreten Wertes gespeichert, wobei jedem vorgebbaren diskreten Wert aus der Liste diskreter Werte ein Index zugeordnet ist. Dadurch kann die Speicherung des Wertes dieses Gewichtes durch die Abspeicherung des Indexes durchgeführt werden. Damit muss nur die Liste mit diskreten Werten mit einer hohen Genauigkeit abgespeichert werden, während die Werte der Gewichte in Form eines Indexes mit geringen Speicheraufwand abgespeichert werden können.
- In einem weiteren Ausführungsbeispiel des Verfahrens (
30 ) ist denkbar, dass nach Beendigung des Schrittes34 ein nachfolgender Schritt eingeleitet wird. In diesem nachfolgenden Schritt kann mittels der Erfassungseinheit (14 ) eine Eingangsgröße dem tiefen neuronalen Netz (10 ) bereitgestellt werden. Anschließend wird in diesem Schritt mittels des tiefen neuronalen Netzes (10 ) in Abhängigkeit der bereitgestellten Eingangsgrößen und den Gewichten eine Ausgangsgröße ermittelt. Diese Ausgangsgröße kann von der Steuerungseinheit (15 ) verwendet werden, um eine Steuerungsgröße zu ermitteln. Mit dieser Steuerungsgröße kann zum Beispiel ein Roboter, insbesondere ein Fahrzeug, angesteuert werden. - Nachdem das Verfahren (
30 ) mit dem Schritt34 abgeschlossen wurde, kann in einem weiteren Ausführungsbeispiel das Verfahren (30 ) zyklisch wieder mit einem der Schritte31 ,32 oder Schritt33 eingeleitet werden. Alternativ kann auch die Abfolge der Schritte31 ,32 ,33 zyklisch durchgeführt werden, bis ein vorgebbares Abbruchkriterium erfüllt ist. Anschließend kann Schritt34 ausgeführt werden. - In einer weiteren alternativen Ausführungsform des Verfahrens (
30 ) kann alternativ die Initialisierung der a-Posteriori-Verteilungsfunktion (24 ) auf Basis eines bereits erstellten tiefen neuronalen Netzes durchgeführt werden. Beispielsweise kann die Verteilung der Werte der Gewichte des bereits erstellten tiefen neuronalen Netz verwendet werden, um daraus zumindest eine geeignete a-Posteriori-Verteilungsfunktion eines der Gewichte abzuleiten. Dies hat den vorteilhaften Effekt, dass beim, insbesondere erneuten, Anlernen des, insbesondere bereits erstellten, tiefen neuronalen Netzes mit dieser a-Posteriori-Verteilungsfunktion, nach Durchführung der oben genannten Schritte des Verfahrens (30 ) ein komprimiertes tiefes neuronales Netz vorliegen kann. -
4 zeigt eine schematische Darstellung einer Verteilung und einer zeitlichen Entwicklung der Werte aller Gewichte beim Verwenden des Verfahrens des Ausführungsbeispiels zur Erstellung eines tiefen neuronalen Netzes mit vier Schichten. Zwei der Schichte sind vollvermaschte Schichten (dense_1 ,dense_2 ) und die restlichen Schichten sind Faltungsschichten (conv_1 ,conv_2 ). Die oberen vier Diagramme (40 ) zeigen dabei jeweils auf derx -Achse den Wertw der Gewichte der jeweiligen Schicht und auf dery -Achse ist die Bestrafungsgröße, in4 als „loss“ bezeichnet, eingetragen. Der „loss“ gibt hierbei einen Wert der Bestrafungsgröße abhängig von dem Wertw des Gewichtes an. Für jeden der drei vorgebbaren diskreten Werte (-0.2,0,0.2) ist jeweils in grau der Verlauf einer stückweise ermittelten und mit einer Gewichtungsfunktion gewichtetenKL Divergenz (41 ) nach Schritt32 dargestellt. Je weiter der Wert des Gewichtes von einem vorgebbaren diskreten Wert (-0,2,0,0,2) entfernt ist, desto größer wird der Wert der Bestrafungsgröße. Ebenso sind in den Diagrammen (40 ,43 ) durch die gewichtete Überlagerung der verschobenenKL Divergenzen (41 ) in grau ein möglicher Verlauf der Bestrafungsgröße entlang des Wertesw der Gewichte eingezeichnet. Die einzelnen Werte der Gewichte sind jeweils durch Punkte (42 ) in die oberen vier Diagramme (40 ) eingetragen. Da diese Diagramme nach der Initialisierung des tiefen neuronalen Netzes (10 ) aufgenommen wurden und dieses zufällig initialisiert wurde, sind die Werte der Gewichte zufällig verteilt. Nachdem das Verfahren ausgeführt wurde, sind die unteren vier Diagramme (43 ) aufgenommen worden. Wie in4 dargestellt, zeigen die unteren vier Diagramme (43 ), dass die Werte der Gewichte die vorgebbaren diskreten Werte (-0,2,0,0,2) annehmen. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- US 5119469 [0002]
Claims (14)
- Verfahren (30) zur Erstellung eines tiefen neuronalen Netzes (10), wobei das tiefe neuronale Netz (10) eine Mehrzahl von Schichten (12) und Verbindungen (13) mit Gewichten aufweist, und die Gewichte im erstellten tiefen neuronalen Netz nur vorgebbare diskrete Werte aus einer vorgebbaren Liste diskreter Werte annehmen können, umfassend die Schritte: - Bereitstellen zumindest einer Trainingseingangsgröße für das tiefe neuronale Netz (10); - Ermitteln einer eine Kostenfunktion charakterisierenden Größe, wobei die die Kostenfunktion charakterisierende Größe eine erste Größe umfasst, die eine Abweichung einer abhängig von der bereitgestellten Trainingseingangsgröße ermittelten Ausgangsgröße des tiefen neuronalen Netzes zu einer vorgebbaren Soll-Ausgangsgröße charakterisiert, und wobei die die Kostenfunktion charakterisierende Größe ferner wenigstens eine Bestrafungsgröße umfasst, die eine Abweichung eines Wertes eines der Gewichte von wenigstens einem von zumindest zwei der vorgebbaren diskreten Werte charakterisiert; - Anlernen des tiefen neuronalen Netzes (10) derart, dass das tiefe neuronale Netz (10) abhängig von der Trainingseingangsgröße des tiefen neuronalen Netzes (10) ein Objekt detektiert, wobei beim Anlernen des tiefen neuronalen Netzes wenigstens ein Wert eines der Gewichte abhängig von der die Kostenfunktion charakterisierenden Größe angepasst wird; und - Abbilden der Werte der Gewichte auf jeweils einen in der vorgebbaren Liste enthaltenen diskreten Wert.
- Verfahren nach
Anspruch 1 , wobei die Bestrafungsgröße eine Abweichung einer a-Posteriori-Verteilungsfunktion (24) eines der Gewichte von einer a-Priori-Verteilungsfunktion (20) der vorgebbaren diskreten Werte dieses Gewichtes, charakterisiert. - Verfahren nach
Anspruch 2 , wobei die a-Priori-Verteilungsfunktion (24) für eine vorgebbare Untermenge der Gewichte des neuronalen Netzes (10) abhängig von einer Topologie eines mit dieser vorgebbaren Untermenge assoziierten Teils des tiefen neuronalen Netzes (10) gewählt wird. - Verfahren nach einem der
Ansprüche 2 oder3 , wobei die Bestrafungsfunktion eine gewichtete Aufsummierung von ermittelten Abweichungen charakterisiert, wobei jeweils eine Abweichung der a-Posteriori-Verteilungsfunktion (24) eines der Gewichte zu der a-Priori-Verteilungsfunktion (20) an jeweils einer Position, die jeweils einem der vorgebbaren diskreten Werte zugeordnet ist, ermittelt wird und diese ermittelte Abweichung anhand einer Gewichtungsfunktion gewichtet wird, die diesem jeweiligen vorgebbaren diskreten Wert zugeordnet ist. - Verfahren nach
Anspruch 4 , wobei die ermittelten Abweichungen jeweils eine ermittelte Abweichung der a-Posteriori-Verteilungsfunktion zu einer Log-Uniform-Verteilungsfunktion ist, wobei diese ermittelte Abweichung an jeweils eine der Positionen einer der zumindest zwei vorgebbaren diskreten Werten verschobenen wird und anhand der Gewichtungsfunktion, die diesem jeweiligen vorgebbaren diskreten Wert zugeordnet ist, gewichtet wird. - Verfahren nach einem der
Ansprüche 4 oder5 , wobei eine der ermittelten Abweichungen anhand von einem vorgebbaren Wert abzüglich der Summe der jeweiligen Gewichtungsfunktionen gewichtet wird. - Verfahren nach einem der
Ansprüche 2 bis6 , wobei die Abweichung der a-Posteriori-Verteilungsfunktion von der a-Priori-Verteilungsfunktion anhand von einer Approximation einer Kullback-Leibler Divergenz zwischen der a-Posteriori-Verteilungsfunktion und der a-Priori-Verteilungsfunktion, ermittelt wird. - Verfahren nach einem der
Ansprüche 2 bis7 , wobei beim Anlernen des tiefen neuronalen Netzes eine der a-Posteriori-Verteilungsfunktionen abhängig von der Kostenfunktion angepasst wird, wobei das Gewicht, welches durch die angepasste a-Posteriori-Verteilungsfunktion charakterisiert wird, abhängig von der angepassten a-Posteriori-Verteilungsfunktion angepasst wird. - Verfahren nach einem der vorherigen Ansprüche, wobei einer der zumindest zwei der vorgebbaren diskreten Werte der Wert „0“ ist.
- Verfahren nach einem der vorherigen Ansprüche, wobei nach dem Anlernen des tiefen neuronalen Netzes (10), eine Eingangsgröße des tiefen neuronalen Netzes (10) ermittelt wird; ein Objekt mittels des angelernten tiefen neuronalen Netzes (10) abhängig von der ermittelten Eingangsgröße detektiert wird.
- Verfahren nach
Anspruch 10 , wobei eine zumindest teilautonome Maschine abhängig von dem detektierten Objekt angesteuert wird. - Computerprogramm, welches Befehle umfasst, die beim Ausführen auf einem Computer bewirken, dass jeder Schritt des Verfahrens nach einem der
Ansprüche 1 bis11 ausgeführt wird. - Maschinenlesbares Speicherelement (17), welches das Computerprogramm nach
Anspruch 12 umfasst. - Vorrichtung, welche eingerichtet ist, das Verfahren nach einem der
Ansprüche 1 bis11 auszuführen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017218851.0A DE102017218851A1 (de) | 2017-10-23 | 2017-10-23 | Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017218851.0A DE102017218851A1 (de) | 2017-10-23 | 2017-10-23 | Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes |
PCT/EP2018/077995 WO2019081241A1 (de) | 2017-10-23 | 2018-10-15 | Verfahren, vorrichtung und computerprogramm zur erstellung eines tiefen neuronalen netzes |
CN201880068733.5A CN111226234A (zh) | 2017-10-23 | 2018-10-15 | 用于创建深度神经网络的方法、设备和计算机程序 |
KR1020207014397A KR20200069360A (ko) | 2017-10-23 | 2018-10-15 | 딥신경망 조성을 위한 방법 및 장치, 그리고 컴퓨터 프로그램 |
EP18789057.9A EP3701433A1 (de) | 2017-10-23 | 2018-10-15 | Verfahren, vorrichtung und computerprogramm zur erstellung eines tiefen neuronalen netzes |
US16/757,186 US20200342315A1 (en) | 2017-10-23 | 2018-10-15 | Method, device and computer program for creating a deep neural network |
JP2020522718A JP7044873B2 (ja) | 2017-10-23 | 2018-10-15 | ディープニューラルネットワークを作成するための方法、装置及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017218851A1 true DE102017218851A1 (de) | 2019-04-25 |
Family
ID=63896128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017218851.0A Pending DE102017218851A1 (de) | 2017-10-23 | 2017-10-23 | Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes |
Country Status (7)
Country | Link |
---|---|
US (1) | US20200342315A1 (de) |
EP (1) | EP3701433A1 (de) |
JP (1) | JP7044873B2 (de) |
KR (1) | KR20200069360A (de) |
CN (1) | CN111226234A (de) |
DE (1) | DE102017218851A1 (de) |
WO (1) | WO2019081241A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021222136A1 (en) * | 2020-04-28 | 2021-11-04 | Nvidia Corporation | Model predictive control techniques for autonomous systems |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5119469A (en) | 1989-05-17 | 1992-06-02 | United States Of America | Neural network with weight adjustment based on prior history of input signals |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3817866B2 (ja) * | 1996-11-07 | 2006-09-06 | 富士ゼロックス株式会社 | データ変換装置およびその係数決定装置 |
US10417525B2 (en) * | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
JP6600271B2 (ja) * | 2016-03-31 | 2019-10-30 | 株式会社デンソー | 物体認識装置及び物体認識方法 |
-
2017
- 2017-10-23 DE DE102017218851.0A patent/DE102017218851A1/de active Pending
-
2018
- 2018-10-15 US US16/757,186 patent/US20200342315A1/en active Pending
- 2018-10-15 KR KR1020207014397A patent/KR20200069360A/ko active Search and Examination
- 2018-10-15 WO PCT/EP2018/077995 patent/WO2019081241A1/de unknown
- 2018-10-15 JP JP2020522718A patent/JP7044873B2/ja active Active
- 2018-10-15 EP EP18789057.9A patent/EP3701433A1/de active Pending
- 2018-10-15 CN CN201880068733.5A patent/CN111226234A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5119469A (en) | 1989-05-17 | 1992-06-02 | United States Of America | Neural network with weight adjustment based on prior history of input signals |
Non-Patent Citations (6)
Title |
---|
Achille, Alessandro; Soatto, Stefano: Information Dropout: Learning Optimal Representations Through Noisy Computation. In: Computing Research Repository (CoRR), 12.02.2017, S. 1-11. https://arxiv.org/abs/1611.01353v3 [abgerufen am 20.03.2018] * |
BPatG 17 W (pat) 6/06, 09.03.2010 * |
Gal, Yarin; Hron, Jiri; Kendall, Alex: Concrete Dropout. In: Computing Research Repository (CoRR), 22.05.2017, S. 1-14. https://arxiv.org/abs/1705.07832v1 [abgerufen am 20.03.2018] * |
Louizos, Christos; Ullrich, Karen; Welling, Max: Bayesian Compression for Deep Learning. In: Computing Research Repository (CoRR), 24.05.2017, S. 1-17. https://arxiv.org/abs/1705.08665v3 [abgerufen am 20.03.2018] * |
Neklyudov, Kirill [u.a.]: Structured Bayesian Pruning via Log-Normal Multiplicative Noise. In: Computing Research Repository (CoRR), 20.05.2017, S. 1-14. https://arxiv.org/abs/1705.07283v1 [abgerufen am 20.03.2018] * |
Ullrich, Karen; Meeds, Edward; Welling, Max: Soft Weight-Sharing for Neural Network Compression. In: Computing Research Repository (CoRR), 09.05.2017, S. 1-16. https://arxiv.org/abs/1702.04008v2 [abgerufen am 20.03.2018] * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021222136A1 (en) * | 2020-04-28 | 2021-11-04 | Nvidia Corporation | Model predictive control techniques for autonomous systems |
GB2600596A (en) * | 2020-04-28 | 2022-05-04 | Nvidia Corp | Model predictive control techniques for autonomous systems |
Also Published As
Publication number | Publication date |
---|---|
JP2021500670A (ja) | 2021-01-07 |
KR20200069360A (ko) | 2020-06-16 |
US20200342315A1 (en) | 2020-10-29 |
EP3701433A1 (de) | 2020-09-02 |
WO2019081241A1 (de) | 2019-05-02 |
JP7044873B2 (ja) | 2022-03-30 |
CN111226234A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017218889A1 (de) | Unscharf parametriertes KI-Modul sowie Verfahren zum Betreiben | |
DE69333247T2 (de) | Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons | |
DE102013213397A1 (de) | Verfahren und Vorrichtung zum Bereitstellen von Stützstellendaten für ein datenbasiertes Funktionsmodell | |
DE102017218851A1 (de) | Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes | |
DE102015221819A1 (de) | Verfahren und Vorrichtung zum Adaptieren eines datenbasierten Funktionsmodells zur Berechnung in einer Modellberechnungseinheit | |
DE102018206110A1 (de) | Trainingsverfahren | |
WO2020187591A1 (de) | Verfahren und vorrichtung zum ansteuern eines roboters | |
DE102019113958A1 (de) | Verfahren zur Leistungssteigerung eines Fahrzeugsystems mit einem neuronalen Netz zum Steuern einer Fahrzeugkomponente | |
DE102013214967A1 (de) | Verfahren und Vorrichtung zum Adaptieren eines datenbasierten Funktionsmodells | |
DE102019119087A1 (de) | Komponentenbasierte verarbeitung von eingangsgrössen | |
EP3467722A1 (de) | Konfiguration einer kraftfahrzeug-fahrerassistenzvorrichtung mit einem neuronalen netzwerk im laufenden betrieb | |
DE4330847A1 (de) | Vorrichtung und Verfahren zur Datenverarbeitung | |
DE102013225768A1 (de) | Verfahren und Vorrichtung zum Ermitteln eines LOLIMOT-Modells | |
DE202021103700U1 (de) | Vorrichtung zum Erzeugen eines künstlichen neuronalen Netzes | |
DE102019210507A1 (de) | Vorrichtung und computerimplementiertes Verfahren für die Verarbeitung digitaler Sensordaten und Trainingsverfahren dafür | |
DE102019208629A1 (de) | Verfahren, Vorrichtung und Computerprogramm zum Erstellen eines maschinellen Lernsystems | |
DE102018109835A1 (de) | Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes | |
DE102021124252A1 (de) | Neuronale Netzwerksysteme für abstraktes Denken | |
WO2020169416A1 (de) | Quantisiertes training trainierbarer module | |
DE202019103323U1 (de) | Vorrichtung zum Erstellen eines maschinellen Lernsystems | |
DE102018207220A1 (de) | Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion | |
DE102019214308A1 (de) | Schnelles quantisiertes Training trainierbarer Module | |
WO2020193481A1 (de) | Verfahren und vorrichtung für training und herstellung eines künstlichen neuronalen netzes | |
DE102019124018A1 (de) | Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme | |
DE102020211596A1 (de) | Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |