FR3019359A1 - Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique - Google Patents
Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique Download PDFInfo
- Publication number
- FR3019359A1 FR3019359A1 FR1452775A FR1452775A FR3019359A1 FR 3019359 A1 FR3019359 A1 FR 3019359A1 FR 1452775 A FR1452775 A FR 1452775A FR 1452775 A FR1452775 A FR 1452775A FR 3019359 A1 FR3019359 A1 FR 3019359A1
- Authority
- FR
- France
- Prior art keywords
- obstruction
- sector
- disparity
- mono
- disparity map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000013459 approach Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 8
- 238000009833 condensation Methods 0.000 description 5
- 230000005494 condensation Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Claims (9)
- REVENDICATIONS1. Procédé de détermination d'un état d'obstruction d'au moins une caméra dans un système multi-caméras embarqué à bord d'un véhicule comportant les étapes suivantes : - acquisition des images stéréoscopiques successives d'un champ de vue, chaque image stéréoscopique du système multi-caméras étant réalisée à partir d'images gauche et droite (11, 12) produites simultanément et mémorisées numériquement sous forme de pixels, - calcul d'une carte de disparité à partir des images multi-caméras successives, et - calcul d'un taux d'obstruction, caractérisé en ce que le taux d'obstruction est une moyenne pondérée déterminée par les étapes successives suivantes : - partage de la carte de disparité (20) en secteurs (10), - détermination de la densité de chaque secteur (10) par le taux de pixels de disparité estimée valide (108), - détermination d'une probabilité d'obstruction stéréo par secteur (109) de la carte de disparité (20) par comparaison entre la densité de ce secteur (10) et un taux d'obstruction prédéfini, et - détermination (119) d'une moyenne pondérée des probabilités d'obturation des secteurs (10) en fonction d'une pondération (118) de la position de ces secteurs (10) dans la carte de disparité (20).
- 2. Procédé de détermination d'un état d'obstruction selon la revendication 1, dans lequel un filtrage numérique de bruit de disparité (105) est effectué par secteur (10) sur la carte de disparité (20) avant la détermination (108) de densité des secteurs.
- 3. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel le filtrage numérique du bruit de disparité (105) est effectué par l'application d'outils de morphologie mathématique sur la carte de disparité (20).
- 4. Procédé de détermination d'un état d'obstruction selon la revendication 2, dans lequel chaque secteur (10) étant découpé en sous-parties appelées macro-blocs (30), de même dimension et régulièrement répartis dans chaque secteur (10), le filtrage numérique du bruit de disparité (105) est effectué par secteur (10) en mesurant la densité de chaque macro-bloc (30) de ce secteur (10) par son taux de pixels dont la disparitésupérieure à un seuil est estimée valide, la proportion de macro-blocs (30) estimés valides déterminant (108) la densité du secteur (10).
- 5. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel la probabilité d'obstruction stéréo par secteur (10) est déterminée 5 par comparaison (étape 109) entre la proportion de macro-blocs (30) estimés valides dans ce secteur (10) et un taux d'obstruction prédéfini.
- 6. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications précédentes, dans lequel le nombre de secteurs (10) est choisi entre sensiblement 10 et 50. 10
- 7. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications 4 ou 5, dans lequel le nombre de macro-blocs (30) par secteur (10) est choisi entre sensiblement 10 et 100.
- 8. Procédé de détermination d'un état d'obstruction selon l'une quelconque des revendications 4 à 7, dans lequel un test complémentaire d'analyse combinée mono-15 stéréo prévoit les étapes suivantes afin de déterminer la présence d'objet devant une caméra : - sélection (112) d'une des deux images stéréo (11; 12) à analyser, appelé image mono ; - partage (113) de cette image mono (11; 12) en secteurs (10a) de même 20 dimension que ceux (10b) de la carte de disparité (22) pour former une carte mono (32) ; - calcul (114) d'une probabilité d'obstruction mono par secteur (10a) de l'image mono (11; 12) reportée sur la carte mono (32) ; - comparaison des probabilités d'obstruction stéréo et mono, puis fusion (115) entre 25 la carte de disparité (22), dotée des probabilités d'obstruction stéréo (109) par secteur (10b) et la carte mono (32), dotée des probabilités d'obstruction mono (114) par secteur (10a), par affectation à chaque secteur (10b) de la carte de disparité (22) de la probabilité d'obstruction la plus faible, correspondant à la densité la plus élevée, pour élaborer une carte de disparité dite fusionnée (42) ; et 30 - si la probabilité d'obstruction fusionnée est globalement inférieure à la probabilité d'obstruction stéréo (test 116), la caméra correspondant à l'image analysée (11 ; 12) est considérée comme pouvant être obstruée et un traitement est déclenché (117) ;- dans le cas contraire, un objet est considéré comme ayant masqué le champ de vision de la caméra analysée.
- 9. Procédé de détermination d'un état d'obstruction selon la revendication précédente, dans lequel le calcul (114) de la probabilité d'obstruction mono par secteur 5 (10a) est réalisé par une analyse de détection de bord et une détection de points caractéristiques à partir des données de détection.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1452775A FR3019359B1 (fr) | 2014-03-31 | 2014-03-31 | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
DE102015104125.1A DE102015104125A1 (de) | 2014-03-31 | 2015-03-19 | Verfahren zur Bestimmung eines Blindheitszustands von mindestens einer, in einem stereoskopischen System eingebauten Kamera |
US14/673,068 US9269142B2 (en) | 2014-03-31 | 2015-03-30 | Method for determining a state of obstruction of at least one camera installed in a stereoscopic system |
CN201510144352.9A CN104951747B (zh) | 2014-03-31 | 2015-03-30 | 用于确定安装在立体系统中的至少一个摄像机的阻碍状态的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1452775A FR3019359B1 (fr) | 2014-03-31 | 2014-03-31 | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3019359A1 true FR3019359A1 (fr) | 2015-10-02 |
FR3019359B1 FR3019359B1 (fr) | 2017-10-06 |
Family
ID=51261003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1452775A Active FR3019359B1 (fr) | 2014-03-31 | 2014-03-31 | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
Country Status (4)
Country | Link |
---|---|
US (1) | US9269142B2 (fr) |
CN (1) | CN104951747B (fr) |
DE (1) | DE102015104125A1 (fr) |
FR (1) | FR3019359B1 (fr) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180087944A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
US10981505B2 (en) * | 2017-02-28 | 2021-04-20 | Gentex Corporation | Auto switching of display mirror assembly |
DE102017220282A1 (de) * | 2017-11-14 | 2019-05-16 | Robert Bosch Gmbh | Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem |
CN108391036B (zh) * | 2018-03-28 | 2023-07-11 | 东风商用车有限公司 | 一种可检测感知功能降级的车载摄像装置及其检测方法 |
EP3598389A1 (fr) | 2018-07-19 | 2020-01-22 | Thomson Licensing | Procédé de détection d'occlusions dans une image, dispositif et produit programme d'ordinateur correspondants |
CN109490926B (zh) * | 2018-09-28 | 2021-01-26 | 浙江大学 | 一种基于双目相机和gnss的路径规划方法 |
CN113891059B (zh) * | 2019-03-09 | 2024-02-13 | 核心光电有限公司 | 对双摄像机进行立体校准的方法 |
CN111027398A (zh) * | 2019-11-14 | 2020-04-17 | 深圳市有为信息技术发展有限公司 | 行车记录仪视频遮挡检测方法 |
US11120280B2 (en) | 2019-11-15 | 2021-09-14 | Argo AI, LLC | Geometry-aware instance segmentation in stereo image capture processes |
CN116558206B (zh) * | 2023-07-11 | 2023-09-22 | 江苏星星冷链科技有限公司 | 冷柜除霜控制方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2884316A1 (fr) * | 2005-04-11 | 2006-10-13 | Denso Corp | Detecteur de pluie |
US20090180682A1 (en) * | 2008-01-11 | 2009-07-16 | Theodore Armand Camus | System and method for measuring image quality |
EP2293588A1 (fr) * | 2009-08-31 | 2011-03-09 | Robert Bosch GmbH | Procédé d'utilisation d'un agencement de caméra de stéréovision |
US20110311102A1 (en) * | 2010-06-17 | 2011-12-22 | Mcdaniel Michael S | Machine control system utilizing stereo disparity density |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4937030B2 (ja) | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
TWI332453B (en) | 2008-07-21 | 2010-11-01 | Univ Nat Defense | The asynchronous photography automobile-detecting apparatus and method thereof |
WO2010084521A1 (fr) | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | Procédé et appareil d'identification de gouttes de pluie sur un pare-brise |
DE102010002310A1 (de) | 2010-02-24 | 2011-08-25 | Audi Ag, 85057 | Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld |
FR2958774A1 (fr) | 2010-04-08 | 2011-10-14 | Arcure Sa | Procede et systeme de detection de pietons adaptee au contexte industriel |
-
2014
- 2014-03-31 FR FR1452775A patent/FR3019359B1/fr active Active
-
2015
- 2015-03-19 DE DE102015104125.1A patent/DE102015104125A1/de active Pending
- 2015-03-30 CN CN201510144352.9A patent/CN104951747B/zh active Active
- 2015-03-30 US US14/673,068 patent/US9269142B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2884316A1 (fr) * | 2005-04-11 | 2006-10-13 | Denso Corp | Detecteur de pluie |
US20090180682A1 (en) * | 2008-01-11 | 2009-07-16 | Theodore Armand Camus | System and method for measuring image quality |
EP2293588A1 (fr) * | 2009-08-31 | 2011-03-09 | Robert Bosch GmbH | Procédé d'utilisation d'un agencement de caméra de stéréovision |
US20110311102A1 (en) * | 2010-06-17 | 2011-12-22 | Mcdaniel Michael S | Machine control system utilizing stereo disparity density |
Also Published As
Publication number | Publication date |
---|---|
CN104951747B (zh) | 2019-02-22 |
US20150279018A1 (en) | 2015-10-01 |
US9269142B2 (en) | 2016-02-23 |
FR3019359B1 (fr) | 2017-10-06 |
CN104951747A (zh) | 2015-09-30 |
DE102015104125A1 (de) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FR3019359A1 (fr) | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique | |
EP2965287B1 (fr) | Procédé de suivi d'une cible dans une séquence d'images avec prise en compte de la dynamique de la cible | |
CN108028023A (zh) | 信息处理装置、信息处理方法和程序 | |
EP2275971A1 (fr) | Procédé de détection d'un obstacle pour véhicule automobile | |
EP1999484B1 (fr) | Detection d'obstacle | |
WO2009141378A1 (fr) | Procede et systeme d'indexation et de recherche de documents video | |
FR3025898A1 (fr) | Procede et systeme de localisation et de cartographie | |
FR3011368A1 (fr) | Procede et dispositif pour le renforcement de la forme des bords pour l'amelioration visuelle du rendu base sur des images de profondeur d'un flux video en trois dimensions | |
EP1785966B1 (fr) | Procédé d'évaluation, par un véhicule automobile, des caractéristiques d'un élément frontal | |
EP0961227B1 (fr) | Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes | |
WO2011124719A1 (fr) | Procede de detection de cibles dans des images stereoscopiques | |
EP1646967B1 (fr) | Procede de mesure de proximite de deux contours et systeme d'identification automatique de cibles | |
Wang et al. | Object recognition using multi-view imaging | |
EP3069319B1 (fr) | Système et un procédé de caractérisation d'objets d'intérêt présents dans une scène | |
FR3038760A1 (fr) | Detection d'objets par traitement d'images | |
Yang | Vehicle Detection and Classification from a LIDAR equipped probe vehicle | |
EP2769360B1 (fr) | Procédé de localisation d'objets par résolution dans l'espace tridimensionnel de la scène | |
FR3054355B1 (fr) | Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile | |
WO2018069060A1 (fr) | Dispositif de localisation et dispositif de production de données d'intégrité | |
CA2800512C (fr) | Extraction d'un document dans une serie d'images captees | |
Ban et al. | Unsupervised change detection using multitemporal spaceborne SAR data: A case study in Beijing | |
FR3103301A1 (fr) | Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire | |
FR3084864A1 (fr) | Procede de densification d'une carte de profondeurs | |
EP2791687B1 (fr) | Procede et systeme d'auto-calibration d'un dispositif de mesure de vitesse d'un vehicule circulant dans un espace tridimensionnel | |
Hernández et al. | Segmentation et Interpr\'etation de Nuages de Points pour la Mod\'elisation d'Environnements Urbains |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
PLFP | Fee payment |
Year of fee payment: 5 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 8 |
|
PLFP | Fee payment |
Year of fee payment: 9 |
|
PLFP | Fee payment |
Year of fee payment: 10 |
|
TQ | Partial transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR Effective date: 20230424 |
|
PLFP | Fee payment |
Year of fee payment: 11 |