FR3085219A1

FR3085219A1 - Appareil de detection d'objet en mouvement et procede de detection d'objet en mouvement

Info

Publication number: FR3085219A1
Application number: FR1909276A
Authority: FR
Inventors: Takuya Akashi; Uuganbayar Ganbold; Hiroyuki Tomita
Original assignee: Inc National Univ Iwate Univ; Suzuki Motor Corp
Current assignee: Inc National Univ Iwate Univ; Suzuki Motor Corp
Priority date: 2018-08-24
Filing date: 2019-08-19
Publication date: 2020-02-28
Anticipated expiration: 2039-08-19
Also published as: US20200065981A1; DE102019122690A1; FR3085219B1; JP7104916B2; JP2020030768A; US11024042B2

Abstract

[Objet] L'invention concerne un appareil de détection d’objet mobile peu coûteux et sûr et un procédé de détection d'objet mobile qui permettent une détection précise d'un objet mobile à partir d'une image mobile d'une caméra monoculaire à une vitesse élevée. [Moyens pour Résoudre les Problèmes] Une configuration représentative de l'appareil de détection d'objet mobile selon la présente invention est munie d'une unité de détection de ligne d'horizon 124 qui détecte une ligne d'horizon dans une image de trame, une unité de génération d'image de rebords 122 qui génère une image de rebords à partir d'une image de trame, et une unité de détection d'objet mobile 118 qui définit une boîte de détection sur un objet mobile, et l'unité de génération d'image de rebords extrait une image de rebords sous une ligne d'horizon détectée par l'unité de détection de ligne d'horizon, et l'unité de détection d'objet mobile génère un premier plan en combinant la différence entre l'image de rebords sous la ligne d'horizon et une image de fond de l'image de rebords avec la différence entre une image en niveaux de gris et une image de fond de l'image en niveaux de gris. Figure 4

Description

Titre de l’invention : APPAREIL DE DETECTION D'OBJET EN MOUVEMENT ET PROCEDE DE DETECTION D'OBJET EN MOUVEMENT

Domaine technique [0001] La présente invention concerne un appareil de détection d'objet mobile et un procédé de détection d'objet mobile qui permettent une détection précise et à grande vitesse d'un objet mobile à partir d'une image mobile d'une caméra monoculaire.

Technique antérieure [0002] Actuellement, la recherche et le développement d'un grand nombre de technologies de sécurité préventives visant à prévenir la survenance d’accidents de la circulation progresse. A cet égard, un besoin de prévention des accidents de la circulation frontaux entre une automobile et un piéton, un vélo, une autre automobile, etc. aux intersections, etc. Dans les systèmes prévus pour répondre à de tels besoins, il est concevable qu'un capteur embarqué ou qu’un appareil embarqué soit utilisé pour détecter un objet mobile.

[0003] En tant que technologies de reconnaissance d'objets qui utilisent un capteur embarqué, des systèmes existent dans lesquels un appareil auxiliaire tel qu'un capteur de distance à laser est utilisé. Cependant, étant donné que les appareils laser sont coûteux, et qu’un laser intense ne doit pas être pointé sur un corps humain, un problème existe en ce sens qu'il est difficile d'augmenter sa puissance.

[0004] Lors de l'utilisation d'une caméra embarquée, il est concevable d'utiliser un procédé par différence de fond. Le procédé par différence de fond est une technique fiable qui permet un traitement à grande vitesse, et utilise des changements au sein d’une scène dynamique. Cependant, si un objet présente une texture plate, ou que la couleur d'une partie d'un objet est similaire à la couleur du fond, dans certains cas, seule une partie de l'objet peut être détectée.

[0005] Le Document Brevet 1 propose un appareil de traitement d'images qui, s'il existe une pluralité de candidats pour la région à détecter (une partie de face et une partie de pied), spécifie une taille, dans une image capturée, devant être occupée par une région à détecter, et, si un autre candidat est compris dans la gamme de taille, extrait une région obtenue par couplage des candidats et de l'autre candidat en tant que candidat pour être une nouvelle région à détecter.

Problème technique [0006] Cependant, dans la technologie du Document Brevet 1, une taille devant être occupée est spécifiée sur la base des positions des candidats pour une région à détecter, dans une image capturée. Dans ce cas, il est nécessaire de déterminer d'abord la distance jusqu’à la région à détecter. Dans le Document Brevet 1, un appareil de capture d'image est fixé et installé pour surveiller une intersection (paragraphe 0038, Fig. 1). En raison de cette condition contraignante, la distance peut être mesurée à partir d'une position dans une image, mais, dans le cas d'une image d'une caméra embarquée, il est difficile de mesurer la distance.

[0007] En outre, dans le Document Brevet 1, il est nécessaire de déterminer le type d'une région à détecter (si le sujet est une personne ou non), et spécifier une taille à occuper. Une telle détermination est très peu fiable. En outre, dans le Document Brevet 1, une caméra à rayons infrarouges est utilisée, et ainsi une partie dans laquelle une peau est exposée est détectée, mais le manque de fiabilité augmente en fonction du fait que la surface de la peau exposée diffère sensiblement selon l'orientation de la personne, sa tenue et sa coiffure.

[0008] En outre, lors de l'utilisation d'une caméra monoculaire bon marché à la place d'une caméra à rayons infrarouges ou lors de l’utilisation d'un objectif hypergone ou d’un objectif grand-angle afin de prendre une image d'une plage plus large, il est possible que le bruit soit plus élevé que le bruit lors de l’utilisation d’une caméra à rayons infrarouges.

[0009] A cet égard, les demandeurs proposent, dans la demande de brevet japonais n° 2017-178431, un appareil de détection d'objet mobile et un procédé de détection d'objet mobile qui sont peu coûteux et sûrs, et permettent une détection précise et à grande vitesse d'un objet mobile à partir d'une image mobile provenant d'une caméra monoculaire. Par ailleurs, la présente invention vise à fournir un appareil de détection d'objet mobile et un procédé de détection d'objet mobile améliorant encore la demande de brevet japonais n° 2017-178431, et dans lesquels le taux de détection est amélioré. Solution technique [0010] Afin de résoudre les problèmes décrits ci-dessus, une configuration représentative d'un appareil de détection d'objet mobile selon la présente invention comprend une unité d'entrée pour introduire une image mobile, une unité d'acquisition de trame qui extrait en continu une pluralité d'images de trame à partir d'une image mobile, une unité de détection de ligne d'horizon qui détecte une ligne d'horizon dans une image de trame, une unité de génération d'image de rebords qui génère une image de rebords à partir d'une image de trame, et une unité de détection d'objet mobile qui définit une boîte de détection sur un objet mobile, et l'unité de génération d'image de rebords extrait une image de rebords sous la ligne d'horizon détectée par l'unité de détection de ligne d'horizon, et extrait une différence entre l'image de rebords sous la ligne d'horizon et une image de fond de l'image de rebords en utilisant un procédé par différence de fond, et l’unité de détection d'objet mobile convertit une image de trame en une image en niveaux de gris et extrait une différence entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant le procédé par différence de fond, et génère un premier plan par combinaison de la différence entre l'image de rebords sous la ligne d'horizon et l'image de fond de l'image de rebords avec la différence entre l'image en niveaux de gris et de l'image de fond de l'image en niveaux de gris.

[0011] Selon la configuration ci-dessus, il est possible de détecter avec précision la position dans l'image d'une partie dans laquelle l'objet mobile est relié au sol. Ainsi, même si l'objet a une texture plate ou se déplace lentement, l'objet entier peut être détecté comme premier plan, et le taux de détection peut être amélioré. Par conséquent, il est possible de détecter avec précision un objet mobile à partir d'une image mobile d'une caméra monoculaire à vitesse élevée, et la sécurité peut être améliorée à faible coût.

[0012] L'unité de détection d'objet mobile combine de préférence la différence entre l'image de rebords sous la ligne d'horizon et l'image de fond de l'image de rebords avec la différence entre l'image en niveaux de gris et l'image de fond de l'image en niveaux de gris, si la différence entre l'image de rebords sous la ligne d'horizon et l'image de fond de l'image de rebords ne contient que peu de bruit.

[0013] L'unité de génération d'image de rebords extrait de préférence une image de rebords qui est reliée à la ligne d'horizon détectée par l'unité de détection de ligne d'horizon, et l'unité de détection d'objet mobile filtre de préférence le premier plan en utilisant l'image de rebords qui est reliée à la ligne d'horizon. Selon la configuration ci-dessus, la limite entre un bâtiment et une route peut être enlevée en tant que bruit.

[0014] Lorsque l'appareil de détection d'objet mobile se déplace, l'unité de détection d'objet mobile filtre de préférence le premier plan en utilisant l'image de rebords qui est reliée à la ligne d'horizon. Lorsque l’appareil de détection d'objet mobile se déplace, les positions dans l'image d'une route et d’un bâtiment changent, et donc le bruit causé par le procédé par différence de fond augmente. Il est donc possible de réduire le bruit de manière importante en effectuant le filtrage décrit ci-dessus, lorsque l'appareil de détection d'objet mobile se déplace.

[0015] Une autre configuration représentative de l'appareil de détection d'objet mobile selon la présente invention comprend une unité d'entrée pour introduire une image mobile, une unité d'acquisition de trame qui extrait en continu une pluralité d'images de trame à partir d'une image mobile, une unité de détection de ligne d'horizon qui détecte une ligne d’horizon dans une image de trame, une unité de génération d'image de rebords qui génère une image de rebords à partir d'une image de trame, et une unité de détection d'objet mobile qui définit une boîte de détection sur un objet mobile, et l'unité de génération d'image de rebords extrait une image de rebords qui est reliée à la ligne d'horizon détectée par l'unité de détection de ligne d'horizon, et l'unité de détection d'objet mobile convertit une image de trame en une image en niveaux de gris, extrait une différence entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant un procédé par différence de fond et fait de la différence un premier plan, et filtre le premier plan en utilisant l'image de rebords qui est reliée à la ligne d'horizon.

[0016] Une configuration représentative d'un procédé de détection d'objet mobile selon la présente invention comprend une étape d’introduction d’une image mobile, une étape d'extraction en continu d'une pluralité d'images de trame à partir d'une image mobile, une étape d’extraction d’une image de rebords sous une ligne d'horizon à partir d’une image de trame, une étape d’extraction d’une différence entre l'image de rebords sous la ligne d'horizon et une image de fond de l'image de rebords en utilisant un procédé par différence de fond, une étape de conversion d'une image de trame en une image en niveaux de gris et d'extraction d'une différence entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant le procédé par différence de fond, et une étape de génération d'un premier plan par combinaison de la différence entre l'image de rebords sous la ligne d'horizon et l'image de fond de l'image de rebords avec la différence (BDG) entre l'image en niveaux de gris et l'image de fond de l'image en niveaux de gris.

[0017] Selon le procédé ci-dessus, il est possible de détecter avec précision une partie dans laquelle la position dans l'image d'un objet mobile est reliée au sol. Ainsi, même si l'objet a une texture plate ou se déplace lentement, l'objet entier peut être détecté comme premier plan, et le taux de détection peut être amélioré. Des idées techniques similaires à celles de l'appareil de détection d’objet mobile décrit ci-dessus peuvent être appliquées au procédé de détection d'objet mobile.

[0018] Une autre configuration représentative d'un procédé de détection d'objet mobile selon la présente invention comprend une étape d’introduction d’une image mobile, une étape d'extraction en continu d'une pluralité d'images de trame à partir d'une image mobile, une étape d’extraction d’une image de rebords qui est reliée à une ligne d'horizon à partir d'une image de trame, une étape de conversion d'une image de trame en une image en niveaux de gris, d'extraction d'une différence entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant un procédé par différence de fond pour faire de la différence un premier plan, et une étape de filtrage du premier plan en utilisant l'image de rebords qui est reliée à la ligne d'horizon.

[0019] Selon le procédé ci-dessus, la limite entre un bâtiment et la route peut être enlevée en tant que bruit. En particulier, lorsque l'appareil de détection d'objet mobile se déplace, le bruit peut être réduit de manière importante. Des idées techniques similaires à celles de l'appareil de détection d’objet mobile décrit ci-dessus peuvent être appliquées au procédé de détection d'objet mobile.

Avantages apportés [0020] Selon la présente invention, il est possible de détecter avec précision la position dans l'image d'une partie dans laquelle un objet mobile est relié au sol. Ainsi, même si l'objet a une texture plate, ou se déplace lentement, l'objet entier peut être détecté comme premier plan, et le taux de détection peut être amélioré. Par conséquent, il est possible de proposer un appareil de détection d'objet mobile et un procédé de détection d'objet mobile qui soient peu coûteux et sûrs, et de permettre une détection précise et à vitesse élevée d'un objet mobile à partir d'une image mobile d'une caméra monoculaire.

Brève description des dessins [0021] D’autres caractéristiques, détails et avantages de l’invention apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : Fig.l [0022] [fig.l] est un schéma illustrant la configuration générale d'un appareil de détection d'objet mobile selon ce mode de réalisation ;

Fig.2 [0023] [fig-2] est un ordinogramme illustrant un procédé de détection d'objet mobile selon ce mode de réalisation ;

Fig. 3 [0024] [fig.3] est un ordinogramme illustrant une procédure de détection d'un objet mobile ;

Fig. 4 [0025] [fig-4] est un ordinogramme illustrant une procédure d'extraction d'un premier plan ;

Fig. 5 [0026] [fig.5] est un exemple d'image d'un procédé par différence de fond ;

Fig. 6 [0027] [fig.6] est un exemple d'image illustrant la génération d'une image de rebords (E) ;

Fig. 7 [0028] [fig-7] est un exemple d'image illustrant l'extraction d'une image de rebords (BE) sous la ligne d'horizon ;

Fig. 8 [0029] [fig.8] est un exemple d'image illustrant l'extraction d'une différence (DBE) entre l'image de rebords (BE) sous la ligne d'horizon et le fond ;

Fig. 9 [0030] [fig.9] est un exemple d'image illustrant le débruitage d'une image de rebords ;

Fig. 10 [0031] [fig.10] est un exemple d'image illustrant la combinaison d'une différence (RBDBE) entre l'image de rebords (BE) et une image de fond de l'image de rebords (BE) ;

Fig. 11 [0032] [fig.l 1] est un exemple d'image illustrant une image de rebords (CE) qui est reliée à la ligne d'horizon ;

Fig. 12 [0033] [fig. 12] est un exemple d'image illustrant le filtrage d'une image binarisée (BDG’) ;

Fig. 13 [0034] [fig. 13] est un exemple d'image illustrant l’agrandissement et la réduction de premiers plans ;

Fig. 14 [0035] [fig. 14] est un exemple d'image illustrant la définition de boîtes de détection ;

Fig. 15 [0036] [fig. 15] est un autre exemple d'image illustrant l'intégration et la séparation ;

Fig. 16 [0037] [fig. 16] est un exemple d'image illustrant le traitement par filtrage des boîtes de détection ;

Fig. 17 [0038] [fig. 17] est un exemple d'image illustrant la génération d'une image de fond ;

Fig. 18 [0039] [fig. 18] est un exemple d'image illustrant le traitement par filtrage dans lequel la ligne d'horizon est utilisée ;

Fig. 19 [0040] [fig. 19] est un schéma illustrant les conditions et analogues d'un algorithme génétique ;

Fig. 20 [0041] [fig.20] est un ordinogramme de l'algorithme génétique ;

Fig. 21 [0042] [fig.21] est un schéma illustrant une fonction objective de l'algorithme génétique.

Description des modes de réalisation [0043] Un mode de réalisation préféré de la présente invention est décrit ci-dessous en détail en référence aux dessins annexés. Les dimensions, les matériaux, et les autres valeurs spécifiques indiquées dans le mode de réalisation ne sont donnés qu'à des fins d'illustration pour faciliter la compréhension de la présente invention et ne visent pas à limiter la portée de l'invention, sauf indication contraire. Il convient de noter que dans la description et les dessins, les éléments ayant des fonctions ou des structures sensiblement identiques sont désignés par des signes de référence identiques pour éviter toute description redondante de ceux-ci. En outre, les éléments qui ne sont pas directement reliés à la présente invention sont omis.

[0044] Un mode de réalisation d'un appareil de détection d'objet mobile et d’un procédé de détection d'objet mobile selon la présente invention sont décrits. Fig. 1 est un schéma illustrant la configuration générale d'un appareil de détection d'objet mobile 100 selon ce mode de réalisation. Fig. 2 est un ordinogramme illustrant un procédé de détection d'objet mobile selon ce mode de réalisation.

[0045] Comme le montre la Fig. 1(a), l'appareil de détection d'objet mobile 100 est un système embarqué installé dans une automobile 10. A titre d'exemple représentatif, une image mobile prise par une caméra embarquée 12 de l'automobile 10 est introduite dans l'appareil de détection d'objet mobile 100, et un objet mobile est détecté. Les informations concernant l'objet mobile détecté par l'appareil de détection d'objet mobile 100 sont envoyées à un système de freinage 14, un écran (non représenté), et analogues, et sont utilisées par ceux-ci.

[0046] La caméra embarquée 12 est une caméra monoculaire peu coûteuse, et prend une image mobile ordinaire. L'image mobile peut être une image en couleurs ou une image en niveaux de gris (image monochrome). En outre, la caméra embarquée 12 peut également être munie d'un objectif hypergone ou d’un objectif grand-angle. Selon la présente invention, comme cela sera décrit plus loin, un objet mobile peut être détecté avec précision à une vitesse élevée, même à partir d'une image mobile d'une caméra monoculaire, et il est ainsi possible de fournir un appareil de détection d'objet mobile et un procédé de détection d'objet mobile qui soient peu coûteux et sûrs.

[0047] Fig. 1(b) montre la configuration de l'appareil de détection d'objet mobile 100. L'appareil de détection d'objet mobile 100 peut être construit spécifiquement avec un système informatique. La configuration de l'appareil de détection d'objet mobile 100 est décrite ci-dessous en référence à l’ordinogramme montré en Fig. 2.

[0048] Une image mobile prise par la caméra embarquée 12 est introduite dans une unité d'entrée 110 (étape S210). Si l'image mobile est un signal d'image vidéo, une puce d’encodeur vidéo munie d'une borne composite ou d’une borne HDMI (marque déposée) correspond à l'unité d'entrée 110. Si l'image mobile est une donnée numérique encodée, un port USB ou une interface IEEE1394 correspond à l'unité d'entrée 110. Dans les deux cas, il suffit que l'unité d'entrée 110 puisse introduire des données d'une image mobile de sorte que les données puissent être traitées par l'appareil de détection d'objet mobile 100.

[0049] Une unité d'acquisition de trame 112 reçoit en continu une pluralité d'images de trame (images fixes) à partir d'une image mobile qui a été introduite (étape S212). Le traitement spécifique pour l'acquisition de trames à partir d'une image mobile dépend du format de l'image mobile. Par exemple, si l'image mobile est dans un format dans lequel des images fixes sont agencées comme dans MotionJPEG, il suffit simplement d’extraire les trames. On notera que les trames peuvent être extraites à intervalles fixes (par exemple, 0,1s) indépendamment du fps (trames par seconde, de l’anglais « frames per second ») de l'image mobile. Pour ce qui est d’une image mobile soumise à une compression différentielle tels que les MPEG, I des trames d'un GOP (groupe d'images, de l’anglais « group of pictures ») peuvent être extraites en même temps. [0050] Une unité de prétraitement 114 effectue un prétraitement sur les images de trame obtenues (étape S214). Dans ce mode de réalisation, l'image mobile qui est introduite est une image en couleurs, et est convertie en une image en niveaux de gris en tant que prétraitement. On note que, en tant que prétraitement, un débruitage peut également être effectué, ou un traitement de recadrage pour éliminer une région à soumettre à un traitement d'image peut également être effectuée, si besoin.

[0051] Quand une image de trame à traiter est définie comme trame courante, une unité de détection d'objet mobile 118 détecte un objet mobile à partir de la trame courante en utilisant le procédé par différence de fond, et définit une boîte de détection pour l'objet (étape S216). On note que, dans la description qui suit, une trame précédant la trame à traiter est appelée « trame précédente », et la trame subséquente est désignée par « trame suivante ».

[0052] Fig. 3 est un ordinogramme illustrant une procédure (sous-programme) de détection d'un objet mobile et la Fig. 4 est un ordinogramme illustrant une procédure d'extraction d'un premier plan (étape 232).

[0053] Comme le montre la Fig. 4, l'unité de détection d'objet mobile 118 extrait une différence (DG) entre une image en niveaux de gris, qui est la trame courante, et une image de fond de l'image en niveaux de gris (étape S250). Fig. 5 est un exemple d'image du procédé par différence de fond. Dans l'image de la trame courante montrée en Fig. 5(a), une ligne d'horizon se trouve au centre de l'image, et un piéton et un bâtiment sont présents sur le côté droit. De plus, il y a des buissons et une clôture le long de la ligne d'horizon. Dans cette image, le piéton est un objet mobile.

[0054] E'image de fond montrée en Fig. 5(b) est obtenue à partir d'une unité de génération d'image de fond 116 décrite ultérieurement. En outre, dans l'image de fond, un objet mobile est montré, mais la position de celui-ci change progressivement. Si le procédé par différence de fond est appliqué à ces images (une soustraction de luminance est effectuée), des pixels qui indiquent la différence sont extraits, comme dans l'image de différence représentée en Fig. 5(c). Ees pixels qui indiquent la différence constituent le premier plan.

[0055] Ee premier plan extrait en utilisant le procédé par différence de fond a une faible luminance et se trouve dans un état finement fragmenté. Compte tenu de cela, un lissage (traitement de floutage) utilisant un filtre gaussien ou analogue est réalisé de manière à coupler des premiers plans proches, après quoi, une image binarisée (BDG) est générée pour clarification (étape S252).

[0056] L'unité de détection d’objet mobile 118 effectue un traitement d'une image de rebords (E) en parallèle du traitement de l'image en niveaux de gris. Fig. 6 est un exemple d'image illustrant la génération d'une image de rebords (E). Une unité de génération d'image de rebords 122 génère l'image de rebords (E) montrée en Fig. 6(b) (étape S254) par mise à 1 si la valeur de pixel de la différence avec l'un des pixels adjacents dans l'image de trame montrée en Fig. 6(a) est supérieure ou égale à une valeur seuil, et par mise à 0 si la valeur de pixel est inférieure à la valeur seuil. La génération d'une image de rebords est également appelée « traitement d'extraction de contours ».

[0057] Ensuite, l'unité de génération d'image de rebords 122 extrait une image de rebords (BE) sous la ligne d'horizon (étape S256). La ligne d'horizon est détectée à partir de l'image de la trame courante par une unité de détection de ligne d'horizon 124 en utilisant un algorithme génétique. Le traitement pour détecter la ligne d'horizon est décrit plus loin.

[0058] Fig. 7 est un exemple d'image illustrant l'extraction de l’image de rebords (BE) sous la ligne d'horizon. Une ligne d'horizon HL détectée par l'unité de détection de ligne d'horizon 124 est tracée dans l'image de rebords (E) montrée en Fig. 7(a). L'image de rebords (BE) sous la ligne d'horizon HL est ensuite extraite (étape S258), comme illustré en Fig. 7(b).

[0059] Fig. 8 est un exemple d'image illustrant l'extraction de la différence (DBE) entre l'image de rebords (BE) sous la ligne d'horizon et l’image de fond de l’image de rebords (BE). L'unité de génération d’image de fond 116 génère l'image de fond représentée en Fig. 8(b), en utilisant l'image de rebords (BE) sous la ligne d'horizon représentée en Fig. 8(a). L'unité de génération d'image de rebords 122 obtient ensuite la différence (DBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE), comme illustré sur la Fig. 8(c).

[0060] L'image de rebords est brute, et donc la différence (DBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) contient également beaucoup de bruit. Fig. 9 est un exemple d'image illustrant le débruitage d'une image de rebords. L'unité de génération d'image de rebords 122 effectue un traitement de binarisation sur la différence (DBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) représentée sur la Fig. 9(a), et génère une image binarisée (BDBE), comme illustré sur la Fig. 9(b). Un agrandissement et une réduction sont en outre effectués, et une différence débruitée (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE), comme illustré sur la Fig. 9(c), est obtenue (étape S260). L’agrandissement et la réduction sont décrits plus loin en référence à la Fig. 13.

[0061] L'unité de détection d'objet en mouvement 118 combine, avec l'image binarisée (BDG), qui est une image en niveaux de gris, la différence débruitée (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE). Il convient de noter que, bien qu’un débruitage ait été réalisé, la possibilité existe que la différence (RBDBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) contienne encore beaucoup de bruit.

[0062] Compte tenu de cela, l'unité de détection d'objet mobile 118 détermine le degré de bruit de la différence débruitée (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE) (étape S262). Fig. 10 est un exemple d'image illustrant la combinaison d'une différence (RBDBE) entre l'image de rebords (BE) et une image de fond de l'image de rebords (BE). Comme le montre la Fig. 10, si la différence (RBDBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) contient beaucoup de bruit (OUI à l'étape S262), la différence (RBDBE) n’est pas combinée, et l'image binarisée (BDG), qui est une image en niveaux de gris, est utilisée telle quelle en tant qu’imagé binarisée (BDG’) (étape S264). Si la différence (RBDBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) ne contient que peu de bruit (NON à l'étape S262), une image obtenue en combinant, avec l'image binarisée (BDG), qui est une image en niveaux de gris, la différence (RBDBE) entre l'image de rebords (BE) et l'image de fond de l'image de rebords (BE) est utilisée en tant qu’imagé binarisée (BDG’) (étape S266).

[0063] Selon la configuration ci-dessus, il est possible de détecter avec précision la position dans l'image d'une partie dans laquelle un objet mobile est relié au sol. Ainsi, si l'objet a une texture plate, ou se déplace lentement, l'objet entier peut être détecté en tant que premier plan, et le taux de détection peut être amélioré. Par conséquent, il est possible de détecter avec précision un objet mobile à partir d'une image mobile d'une caméra monoculaire à une vitesse élevée, et d’améliorer la sécurité à faible coût.

[0064] L'image binarisée (BDG’) générée comme décrit ci-dessus peut également être définie en tant que premier plan (EF) dans cet état. Toutefois, dans ce mode de réalisation, afin d'améliorer encore le taux de détection, le premier plan est filtré en utilisant l'image de rebords qui est reliée à la ligne d'horizon.

[0065] Dans la description ci-dessus, lors de la génération de l'image de rebords (E) (étape S254), l'unité de détection d'objet mobile 118 extrait l'image de rebords (BE) sous la ligne d'horizon (étape S256). Parallèlement à cela, une image de rebords (CE) qui est reliée à la ligne d'horizon est extraite de l'image de rebords (E) (étape S270).

[0066] Fig. 11 est un exemple d'image illustrant l’image de rebords (CE) qui est reliée à la ligne d'horizon. Fig. 11(a) montre la même image de rebords (E) que dans les Fig. 6(b) et 7(a). Dans cette image de rebords (E), si seuls les pixels qui sont reliés à la ligne d'horizon détectée par l’unité de détection de ligne d'horizon 124 sont extraits, il est possible d'obtenir une image de rebords (CE) qui est reliée à la ligne d'horizon comme illustré en Fig. 11(b). Fig. 11(c) montre un exemple d'une expression conditionnelle pour extraire les pixels.

[0067] L'unité de détection d'objet en mouvement 118 détermine alors si le véhicule 10 se déplace ou non, en d'autres termes, si l'appareil de détection d'objet mobile 100 se déplace ou non (étape S272). Si l’appareil de détection d'objet mobile se déplace, les positions d'image de la route et du bâtiment changent, et donc les positions de leurs contours dévient, et des rebords sont détectés par le procédé par différence de fond. La frontière entre la route et le bâtiment n’est pas un objet mobile, et donc ces rebords sont du bruit.

[0068] Eig. 12 est un exemple d'image illustrant un filtrage de l’image binarisée (BDG’). Comme le montre la Eig. 12, si l'automobile 10 ne se déplace pas (NON à l'étape S272), l'image binarisée (BDG’) est définie comme étant le premier plan (EF) tel quel (étape S276). Si le véhicule 10 se déplace (OUI à l'étape S272), un filtrage est effectué en effectuant une opération ET sur l'image binarisée (BDG’) et l'image de rebords (CE) qui est reliée à la ligne d'horizon (seuls les pixels communs sont conservés) (étape S274).

[0069] Selon la configuration ci-dessus, le rebord de la frontière entre la route et le bâtiment qui apparaît lorsque l'appareil de détection d'objet en mouvement se déplace peut être éliminé en tant que bruit. Il est donc possible de réduire le bruit de manière importante, et, en outre, il est possible d'améliorer encore le taux de détection d'un objet mobile.

[0070] Ensuite, l'unité de détection d’objet mobile 118 effectue un débruitage sur le premier plan (EF) (étape S278). Fig. 13 est un exemple d'image illustrant l’agrandissement et la réduction de premiers plans. Il y a encore des vides et une fragmentation fine, et donc les premiers plans sont agrandis comme le montre la Fig. 13(b), et, par la suite, les premiers plans sont réduits comme illustré en Fig. 13(c) (étape S236).

[0071] L’agrandissement est un traitement dans lequel, lorsque des pixels de fond sont définis comme étant noirs, les pixels de premier plan sont définis comme étant blancs, et qu’un diamètre de filtre est défini comme, par exemple, 5x5, les pixels à l'intérieur du diamètre du filtre centré sur la totalité des pixels blancs sont changés en blanc. La réduction est opposée à l’agrandissement, et est un traitement pour changer les pixels à l'intérieur du diamètre du filtre centré sur l'ensemble des pixels noirs, en noir. Lorsqu’un agrandissement et une réduction sont effectués, les contours de rebords extérieurs retournent à leur position d'origine, mais les vides et la fragmentation (discontinuités) remplis par agrandissement restent à remplir, même si une réduction est effectuée, et ainsi un lissage avec les pixels proches peut être effectué.

[0072] Ici, comme décrit au début, dans le procédé par différence de fond, si un objet a une texture plate, ou la couleur d'une partie d'un objet est similaire à la couleur du fond, il n'y a pas de différence de luminance entre l'image de fond et l'image de la trame courante, et donc il y a des cas où seule une partie de l’objet peut être détectée. Dans ce cas, les premiers plans sont séparés les uns des autres, et ainsi, les premiers plans ne peuvent pas être couplés les uns aux autres uniquement à travers le lissage, l’agrandissement et la réduction décrits ci-dessus. Compte tenu de cela, dans la présente invention, les boîtes candidates sont intégrées et séparées, comme décrit plus loin.

[0073] L'intégration est un traitement de ce qui devrait en réalité être juste un objet mobile déterminé comme ayant été extrait en une pluralité de boîtes de détection en raison d’une détection erronée, et les boîtes de détection sont converties en une seule boîte de détection. La séparation est un traitement pour la détermination de boîtes de détection proches comme étant une pluralité d'objets mobiles proches, et pour leur utilisation en tant que boîtes de détection indépendantes.

[0074] Lig. 14 est un exemple d'image illustrant la définition de boîtes de détection. L'unité de détection d'objet mobile 118 détecte les contours des premiers plans extraits, et définit des trames qui incluent les premiers plans en tant que boîtes candidates primaires 150a à 150f comme illustré en Lig. 14(a) (étape S238). L'unité de détection d'objet mobile 118 obtient ensuite les boîtes de détection de la trame précédente depuis une unité de stockage 120 (étape S240). On note que s'il n'y a encore aucune boîte de détection de la trame précédente dans la trame courante, ce traitement d’intégration et de séparation (étapes S240 à S244) est ignoré.

[0075] L'unité de détection d'objet mobile 118 définit ensuite, parmi les boîtes candidates primaires 150a à 150f représentées en Lig. 14(a), des boîtes candidates primaires qui chevauchent des boîtes de détection 152a à 152c de la trame précédente sur une surface prédéterminée ou plus (par exemple 50% ou plus), comme les boîtes candidates secondaires 154a à 154d, telles qu’illustrées en Lig. 14(b) (étape S242). En Lig. 14(b), les boîtes de détection 152 de la trame précédente sont indiquées par des lignes en traits mixtes, et les boîtes candidates secondaires 154 sont indiquées par des lignes pointillées. Les boîtes candidates primaires 150e et 150f qui ne sont pas devenues des boîtes candidates secondaires, parmi les boîtes candidates primaires 150a à 150f, sont considérées comme étant des boîtes de détection en tant que telles (une « boîte de détection » n’est pas une candidate).

[0076] L'unité de détection d'objet mobile 118 groupe les boîtes candidates secondaires qui chevauchent les boîtes de détection 152 de la trame précédente, parmi les boîtes candidates secondaires 154. Les boîtes candidates secondaires 154a et 154b chevauchent la boîte de détection 152a de la trame précédente positionnée sur la gauche de la Lig. 14(b), et sont donc regroupées. Par la suite, les boîtes candidates secondaires 154a et 154b groupées, qui se chevauchent dans la direction d'axe y sur une surface prédéterminée ou plus (par exemple 30% ou plus), sont définies comme étant une boîte de détection intégrée 156a comme illustré en Lig. 14(c). Si les boîtes candidates se condaire groupées 154a et 154b ne se chevauchent pas dans la direction de l'axe y sur la surface prédéterminée ou plus, elles sont définies comme étant des boîtes de détection séparées (indépendantes) (étape S244). On note que « se chevauchent dans la direction de l'axe y sur une surface prédéterminée » est synonyme avec les plages des coordonnées des boîtes dans la direction de l'axe x par chevauchement sur une surface prédéterminée.

[0077] Pour organiser ce qui précède, les trois types de boîtes suivants sont considérés comme des « boîtes de détection ».

- boîtes candidates primaires qui ne sont pas devenues des boîtes candidates secondaires (150e et 150f)

- boîtes candidates secondaires qui ont été intégrées (156a)

- boîtes candidates secondaires qui restent séparées au lieu d'être intégrées (154c et 154d) [0078] On note que s'il y a un grand nombre de boîtes candidates secondaires groupées, des cas existent dans lesquels une pluralité de boîtes de détection intégrées sont définies. Par exemple, si un groupe comprend quatre boîtes candidates secondaires, il existe des cas dans lesquels deux boîtes de détection comportant chacun deux boîtes candidates secondaires intégrées sont définies.

[0079] Fig. 15 est un autre exemple d'image illustrant l'intégration et la séparation, et sont des exemples de traitement lorsque deux piétons qui semblaient se chevaucher se séparent l’un de l’autre. Fig. 15(a) illustre l'image de la trame courante. Les deux piétons marchent sur une route. Fig. 15(b) illustre des premiers plans extraits de la trame courante, et correspond à une partie centrale de la trame courante. Le premier plan de la personne à droite est représenté comme une boîte candidate primaire 150g, tandis que le premier plan de la personne à gauche est représenté comme deux boîtes candidates primaires 150h et 150i qui sont séparées verticalement. Le nombre de blocs des premiers plans des deux piétons est de trois au total. Fig. 15(c) montre un premier plan extrait de la trame précédente et une boîte de détection. Les deux piétons semblaient toujours se chevaucher dans la trame précédente, et donc les deux personnes sont représentées comme une grande boîte de détection 152d.

[0080] Ensuite, comme montré en Fig. 15(d), l'unité de détection d'objet mobile 118 superpose la boîte de détection 152d de la trame précédente sur les boîtes candidates primaires 150, et définit des boîtes candidates primaires 150 qui chevauchent la boîte de détection 152d sur une surface prédéterminée ou plus, comme étant des boîtes candidates secondaires. Dans cet exemple, les trois boîtes candidates primaires 150g à 150i deviennent toutes trois boîtes candidates secondaires 154e à 154g. En outre, les trois boîtes candidates secondaires 154e à 154g chevauchent la boîte de détection 152d de la même trame précédente, et donc celles-ci sont groupées.

[0081] En Fig. 15(d), les boîtes candidates secondaires 154F et 154g se chevauchent l’une l’autre dans la direction de l'axe y sur une surface prédéterminée ou plus, et sont donc définies comme une boîte de détection intégrée 156b comme illustré en Fig. 15(e). Fa boîte candidate secondaire 154e ne chevauche pas la boîte de détection intégrée 156b dans la direction d'axe y sur la surface prédéterminée ou plus, et reste ainsi séparée au lieu d'être intégrée. En conséquence, comme montré en Fig. 15(f), les boîtes de détection respectives (la boîte candidate secondaire 154e et la boîte de détection intégré 156b) sont définies pour les deux piétons. On note que, lors de la détermination du degré de chevauchement, la taille (longueur) dans la direction d'axe x d’une partie dans laquelle deux boîtes candidates se chevauchent peut être comparé à la taille dans la direction d'axe x de l'une des deux boîtes candidates qui est plus faible dans cette direction.

[0082] De cette manière, il est possible d'intégrer de manière appropriée les trois premiers plans, et de définir des boîtes de détection sur les deux objets mobiles. En outre, dans le même temps, une boîte de détection dans la trame précédente peut être séparée en deux boîtes de détection dans la trame courante.

[0083] Fig. 16 est un exemple d'image illustrant le traitement par filtrage des boîtes de détection (étape S246). Fig. 16(a) montre les boîtes de détection après achèvement de l'intégration et de la séparation (voir Fig. 14(c). En Fig. 16(a), le conducteur d'une bicyclette sur la gauche de l'image est défini comme étant la boîte de détection intégrée 156a, et les deux voitures au centre de l'image sont détectées en tant que boîtes candidates secondaire 154c et 154d. En outre, bien que les boîtes candidates primaires 150e et 150f subsistent en tant que boîtes de détection, elles sont extrêmement petites, et peuvent donc être considérées comme du bruit.

[0084] Compte tenu de cela, dans ce mode de réalisation, une unité de filtre 126 supprime les boîtes de détection qui ne satisfont pas à un rapport de surface ou d'aspect prédéterminé, d'une ou plusieurs boîtes de détection détectées dans la trame courante (ASF : en anglais Aera Size Filtering ou Filtrage par taille de surface). Par conséquent, les boîtes de détection extrêmement petites et les boîtes de détection extrêmement longues et minces sont supprimées.

[0085] Dans l'exemple de la Fig. 16 (b), des boîtes de détection extrêmement petites (les boîtes candidates primaires 150e et 150f) sont supprimées par le traitement par filtrage, et la boîte de détection intégrée 156a et les boîtes candidates secondaires 154c et 154d restent. On note que, sur la Fig. 16(b), ces boîtes de détection finales sont superposées sur l'image en niveaux de gris de la trame courante, et non une image binaire, et sont affichées.

[0086] Une image mobile obtenue en effectuant la prise de vue alors que la position de prise de vue est en mouvement, une image d'une caméra monoculaire, et, en outre, l'utilisation d'un objectif hypergone ou d’un objectif grand-angle provoque une augmentation du bruit. Compte tenu de cela, il est possible de supprimer le bruit en effectuant le traitement par filtrage décrit ci-dessus, et d'améliorer la précision de la détection d'un objet mobile.

[0087] L'unité de détection d'objet mobile 118 enregistre les boîtes de détection finales sur lesquelles l'unité de filtre 126 a effectué le traitement par filtrage, dans l'unité de stockage 120 (étape S218). Les boîtes de détection sont stockées en association avec des numéros de trame, et il est possible de lire les boîtes de détection enregistrées pour une image de toute trame. En particulier, comme les boîtes de détection de la trame précédente ont été utilisées pour le traitement d'image de la trame courante dans la description ci-dessus, les boîtes de détection de la trame courante seront utilisées pour le traitement d'image de la trame suivante. En outre, les boîtes de détection qui ont été définies par le dispositif de détection d'objet mobile 100 sont transmises au système de freinage 14, un moniteur (non représenté), etc. par une unité de sortie 130.

[0088] L'unité de génération d'image de fond 116 génère (met à jour) une image de fond pour traiter l'image de la trame suivante (étape S220). Aucun premier plan n’est extrait de la première image de trame parmi une pluralité d'images de trame obtenues par l'unité d'acquisition de trame 112, et la première image de trame est seulement utilisée en tant qu’imagé de fond. Lorsque des premiers plans sont extraits de la deuxième image de trame, la première image de trame est utilisée en tant qu'imagé de fond. Lorsque des premiers plans continuent à être extraits de la troisième image de trame, une image de fond générée (mise à jour) par l'unité de génération d'image de fond 116 est utilisée.

[0089] Fig. 17 est un exemple d'image illustrant la génération d'une image de fond. L'unité de génération d'image de fond 116 combine une image de fond et l'image de la trame courante pour mettre à jour l'image de fond, et définit l'image de fond mise à jour en tant qu'imagé de fond lors du traitement de la trame suivante. A titre d'exemple spécifique, comme le montre la Fig. 17, une image dans laquelle la luminance de la trame courante est réduite à 25% et une image dans laquelle la luminance d'une image de fond est réduite à 75% sont combinées, et une image de fond est produite. En générant séquentiellement (en mettant à jour), une image de fond de cette manière, une image de fond peut être générée, selon le cas, même dans les cas d'une image mobile capturée tout en déplaçant la caméra, et d’une image mobile qui n’est jamais dans un état dans lequel il n'y a pas d'objet mobile.

[0090] En outre, dans le procédé par différence de fond, le coût de calcul pour une mise à jour d'un modèle de fond qui est basé sur l'apprentissage est élevé, et donc il a été considéré comme difficile d'appliquer une telle mise à jour d'un modèle de fond à un traitement d’image mobile à vitesse élevée. Toutefois, la quantité de calculs pour combiner une image de fond passée et l'image de la trame courante comme dans ce mode de réalisation est faible, et il est donc possible d'augmenter l'efficacité relative au coût de calcul du système entier.

[0091] Lorsque la génération d'une image de fond est terminée, il est déterminé s’il existe une image de trame suivante ou non (étape S222). S'il existe une image de trame suivante, la série de traitements décrite ci-dessus est répétée. S'il n'y a pas de trame suivante, la procédure se termine.

[0092] Comme décrit ci-dessus, selon l'appareil de détection d'objet mobile et le procédé de détection d'objet mobile selon ce mode de réalisation, l'intégration et la séparation sont effectués sur des boîtes candidates dans la trame courante, dans la gamme de boîtes candidates qui chevauchent des boîtes de détection de la trame précédente. Il n’est pas nécessaire de déterminer le type ou la distance d'un objet en mouvement, et il est également possible d'effectuer l'intégration et la séparation de boîtes candidates même s'il y a beaucoup de bruit.

[0093] En conséquence, même dans le cas d'une image d'une caméra monoculaire peu coûteuse et d’une image prise par une caméra telle qu'une caméra embarquée pendant qu’elle se déplace, il est possible de définir des boîtes de détection correspondant de manière appropriée à des objets mobiles. En outre, le procédé par différence de fond permet un traitement à vitesse élevée, et, également, le traitement d'intégration et de séparation de boîtes candidates et le traitement par filtrage qui ont été décrits ci-dessus peuvent être effectués à une vitesse élevée. Par conséquent, les objets en mouvement approchant peuvent être détectés avec précision à une vitesse élevée, et la sécurité peut être améliorée.

[0094] En particulier, l'algorithme d'intégration et de séparation est simple, et ainsi, par rapport à un procédé simple de différence de fond conventionnel, l’augmentation de la quantité de calculs est faible en dépit de l’augmentation importante du taux de détection d'un objet mobile. Cette technologique est très pratique, et son avantage technique est suffisamment élevé par rapport aux technologies classiques. En outre, dans la présente invention, seule une caméra monoculaire est utilisée, et la présente invention est ainsi très avantageuse en termes de coûts par rapport aux technologies classiques dans lesquelles une pluralité de caméras, un radar à laser, une caméra infrarouge, etc. sont utilisés.

[0095] La présente invention peut être mise en œuvre dans un système de conduite sûre embarqué pour empêcher les accidents de la circulation frontaux et dans un système de déplacement automatique d'un appareil mobile tel qu'un robot. De plus, aucune limitation n’existe quant aux systèmes installés dans les automobiles, robots, etc., et la présente invention peut également être mise en œuvre dans des systèmes de surveillance qui sont installés de manière fixe et utiliser une caméra de sécurité grand17 angle.

[0096] Dans le mode de réalisation ci-dessus, une description a été faite selon laquelle l'unité de filtre 126 supprime les boîtes de détection qui ne satisfont pas à un ratio de surface ou d'aspect prédéterminé (ASF). A cet égard, une configuration peut également être adoptée dans laquelle, à la place ou en plus de l’ASF, l'unité de détection de ligne d'horizon 124 détecte la ligne d'horizon, et une ou plusieurs boîtes de détection qui ne chevauchent pas la ligne d'horizon selon un ratio prédéterminé, parmi une ou plusieurs boîtes de détection détectées dans la trame courante, sont supprimées (HFF : en anglais « Horizontal Fine Filtering », soit Filtrage de Figne d’Horizontale).

[0097] Fig. 18 est un exemple d'image illustrant un traitement par filtrage en utilisant une ligne d'horizon. Fig. 18(a) montre une image binarisée et des boîtes de détection (sur lesquelles le traitement jusqu’à l'intégration et la séparation a été effectué). Fig. 18(b) représente une boîte de détection soumise à un traitement par filtrage et une image en niveaux de gris de la trame courante sur laquelle la boîte de détection est superposée.

[0098] Comme il ressort de la comparaison de la Fig. 18(a) avec la Fig. 18(b), dans une image mobile prise par une caméra embarquée ou analogue, tandis que la caméra est mobile, la possibilité existe qu'un panneau de signalisation routière et qu'un passage piétons (une boîte de détection 160b du passage piétons) dans une partie inférieure partie de l'image, et des bâtiments, des panneaux publicitaires, un feu de circulation, des câbles électriques, un éclairage public, etc. (une boîte de détection 160c du panneau publicitaire, une boîte de détection 160d du câble électrique et une boîte de détection 160e de l’éclairage public) dans une partie supérieure de l'image soient détectés comme des objets mobiles. Cependant, un corps mobile que l’on souhaite détecter selon la présente invention est un objet qui se déplace sur le sol tel qu’un piéton ou un véhicule (une boîte de détection 160a du véhicule).

[0099] Compte tenu de cela, en tant qu’expression de détermination illustrée en Fig. 18(c), des zones A et B séparées par la ligne d'horizon HF sont obtenues pour toutes les boîtes de détection 160 et les boîtes de détection qui ne chevauchent pas la ligne d'horizon HF selon un ratio prédéterminé sont supprimées. Dans ce mode de réalisation, les boîtes de détection pour lesquelles l'expression de détermination : la-bl/(a + b) <0.6 est vrai sont conservées (Correct = 1), et les autres boîtes de détection sont supprimées (Correct = 0).

[0100] Comme exemple spécifique de l'expression de détermination, puisque a=b lorsque la ligne d'horizon HE passe par le centre d'une boîte de détection, la valeur de l'expression de détermination est égale à 0, Correct = 1, et la boîte de détection 160 reste. Eorsque la ligne d'horizon HE ne chevauche pas une boîte de détection, la valeur de l'expression de détermination est égale à 1, Correct = 0, et la boîte de détection 160 est supprimée.

[0101] On note que, la valeur seuil est définie sur 0,6, par exemple, et la valeur numérique de la valeur seuil peut être déterminée si nécessaire. Par exemple, la valeur seuil peut également être définie sur la-bl/(a + b)<l. Dans ce cas, seule une boîte de détection que la ligne d'horizon HL ne chevauche pas du tout est supprimée.

[0102] De cette manière, il est possible de supprimer une boîte de détection 160 qui n’est pas une boîte de détection d'une unité mobile, via un traitement approprié et à vitesse élevée. En conséquence, il est possible d'augmenter la précision de la détection d'un objet mobile que l’on souhaite détecter, afin d'éviter un danger.

[0103] Diverses technologies pour la détection d'une ligne d'horizon sont envisageables, mais, dans ce mode de réalisation, un algorithme génétique est utilisé pour détecter une ligne d'horizon. Etant donné que l'algorithme génétique est un algorithme de recherche multipoints pour améliorer une solution tout en maintenant une pluralité de solutions qui sont toujours favorables localement, il est possible de rechercher la meilleure solution globalement, et donc l'algorithme génétique est la méthode préférée. Par conséquent, il est possible de détecter avec précision une ligne d'horizon qui est difficile à reconnaître facilement, gênée par les formes d'un bâtiment et de la route.

[0104] Fig. 19 est un schéma illustrant des conditions et analogues d'un algorithme génétique. Pour décrire brièvement la détection d'une ligne d'horizon à décrire cidessous, la ligne frontière entre une surface de route et un autre objet (une structure telle qu'un bâtiment, le ciel, ou analogue) est détectée en utilisant l'algorithme génétique, et est définie en tant que ligne d’horizon. P_; (x_i5 y_;) désigne un i-ième pixel (point) sur la ligne d'horizon. x_; est une coordonnée en x du i-ième point sur la ligne d'horizon. y_; est une coordonnée en y du i-ième point sur la ligne d'horizon, et est représenté en tant que hauteur d'une ligne de base B + constante a + variable bi. En outre, a, b₀, b_b ... b_M sont définis comme des chromosomes de l'algorithme génétique.

[0105] Fig. 20 est un ordinogramme de l'algorithme génétique. L'unité de filtre 126 initialise tout d'abord l'algorithme en utilisant des valeurs initiales prédéterminées (étape S250). Les valeurs initiales de l'algorithme peuvent être définies comme étant le nombre de générations (50), le nombre d'individus initiaux (50), le taux de recoupement (0,7), et le taux de mutation (0,01), par exemple.

[0106] Ensuite, des paramètres temporaires sont affectés à des individus initiaux, et une ligne candidate comme ligne d'horizon est générée (étape S252). Tout en répétant le recoupement et la mutation sur la base de la logique de l'algorithme génétique, le degré d’une correspondance à une fonction objective de la ligne candidate est évalué (étape S254). On note que le recoupement et la mutation dans l'algorithme génétique sont considérés comme étant une technologie connue, et donc une description détaillée de ceux-ci est omise ici.

[0107] Fig. 21 est un schéma illustrant une fonction objective de l'algorithme génétique. Une fonction objective F représente le nombre de pixels Diff (j,x) dont la différence en valeurs de pixels dépasse une valeur seuil, j désigne une largeur d'évaluation, et une plage d'évaluation L est la valeur maximale de j. x désigne une coordonnée x d'une position intermédiaire entre le pixel P, (x_i5 y,) et un pixel Ρ,+Ι (x,+ l, y_;+1). Y_x désigne une fonction de x qui représente la coordonnée y d'un pixel P par interpolation linéaire (équation simple).

[0108] La valeur de pixel (valeur en niveaux de gris) de l’i-ième pixel P, (χ_;,γ_;) est exprimée sous la forme P (χ_;,γ_;). En ce qui concerne la détermination des pixels Diff (j,x) dont les valeurs de pixel sont différentes, 1 est défini si la différence de valeur de pixel IP (x,y_x+j)-P (x,y_x-j)l est supérieure ou égale à une valeur seuil, et 0 est défini si elle est inférieure à la valeur seuil. DiffTB (j,x) égale 1 si les valeurs de pixels (valeur en niveaux de gris) sont différentes d'une valeur seuil ou plus en résultat de la comparaison de valeurs de pixels en des positions séparées dans la direction d'axe y par 2j. Par conséquent, la valeur de la fonction objective F est plus importante lorsque la ligne d'horizon formée par les chromosomes a, b₀, b_b ... b_M est plus proche de la ligne de délimitation entre la surface de la route et un autre objet. En d'autres termes, la détection de la ligne d'horizon en utilisant cet algorithme génétique est une extraction d'un contour du rebord supérieur de la surface de la route.

[0109] De plus, DiffTN et DiffBN dans la fonction d'évaluation F sont respectivement décidés comme résultats de la comparaison des valeurs de pixel des pixels P (x,y_x-j) et P (x,y_x+j) et de ceux qui lui sont adjacents (à côté de ceux-ci). En conséquence, la valeur de la fonction d'évaluation f augmente également lorsque non seulement une ligne horizontale mais aussi un contour (ligne verticale) d'un bâtiment ou analogue est visible. La valeur est plus élevée à l'intersection entre la ligne horizontale et la ligne verticale, en d'autres termes, la valeur est plus élevée à l'intersection entre le bâtiment et le sol. Par conséquent, il est possible d'améliorer la précision de la détection de la ligne d'horizon.

[0110] Lorsque le calcul d'un nombre prédéterminé de générations se termine, l'unité de filtre 126 délivre en sortie une ligne candidate sélectionnée comme étant la ligne d'horizon (étape S256). La ligne d'horizon qui a été délivrée est utilisée pour l'expression de détermination décrite en référence à la Fig. 18(c).

[0111] L'unité de filtre 126 détermine alors s’il y a une trame suivante ou non (étape S258), et s'il y a une trame suivante, répète la détection de la ligne d'horizon en utilisant l'algorithme génétique, et s'il n'y a pas de trame suivante, met fin au traitement de détection de la ligne d'horizon.

[0112] La détection d'une ligne d'horizon en utilisant l'algorithme génétique peut être effectuée sur une image. Dans ce cas, le traitement peut être effectué sur toutes les trames, mais il est possible d'augmenter la vitesse de manière importante en effectuant le traitement sur des trames à chaque instant fixe. De plus, en effectuant le traitement à chaque instant fixe alors qu'il n'y a pas de changement dans l'image, et en effectuant le traitement aussi lorsque l'image change en grande partie, il est possible d'augmenter la vitesse de traitement et d'améliorer la précision.

[0113] En outre, si un capteur d'accélération est installé, ou si un signal d'un capteur d'accélération est reçu à partir d'un système de navigation, le traitement peut également être effectué lorsque la caméra prend un virage ou que la direction de déplacement change entre vers le haut et vers le bas. Par conséquent, il est facile de suivre le changement de la ligne d'horizon, et la précision de détection peut être améliorée.

[0114] En outre, en ce qui concerne la détection d'une ligne d'horizon en utilisant l'algorithme génétique, il est possible d'augmenter la vitesse et d'améliorer la précision en utilisant un résultat de calcul de la trame précédente (l'image de la trame précédente n'est pas utilisée). Plus précisément, un calcul est effectué en utilisant des informations de chromosome de tous les individus de l'algorithme génétique qui comprennent la solution optimale calculée dans la trame précédente, en tant que chromosomes précurseurs d'une population d'individus initiaux (traitement d'image mobile évolutif). En particulier, lors de l'exécution du traitement sur toutes les trames, ou lors de l'exécution du traitement sur des trames définies à des intervalles de temps courts, le déplacement de la ligne d'horizon dans l'image est faible, et ainsi, si le résultat du calcul de la trame précédente est utilisé, une conversion vers la solution optimale prend un temps extrêmement court. Par conséquent, même un CPU (Unité Centrale de Traitement, de l’anglais « Central Processing Unit ») d'un ordinateur embarqué peut effectuer les calculs à une vitesse suffisante pour un traitement en temps réel, et il est possible de détecter en continu la ligne d'horizon.

[0115] Comme décrit ci-dessus, en supprimant les boîtes de détection qui ne chevauchent pas la ligne d'horizon selon un ratio prédéterminé, il est possible d'augmenter la précision de la détection d'un objet mobile. En outre, en utilisant l'algorithme génétique pour la détection d'une ligne d'horizon, il est possible de détecter avec précision la ligne d'horizon.

Application industrielle [0116] La présente invention peut être utilisée comme appareil de détection d'objet mobile et procédé de détection d'objet mobile qui sont peu coûteux et sûrs, et peut détecter avec précision un objet mobile à partir d'une image mobile d'une caméra monoculaire à une vitesse élevée.

Liste des signes de référence [0117] - 10 ... véhicule ;

- 12 ... caméra embarquée ;

- 14 ... système de freinage ;

- 100 ... appareil de détection d'objet mobile ;

- 110 ... unité d'entrée ;

- 112 ... unité d'acquisition de trame ;

- 114 ... unité de prétraitement ;

- 116 ... unité de génération d'image de fond ;

- 118 ... unité de détection d'objet mobile ;

- 120 ... unité de stockage ;

- 122 ... unité de génération d'image de rebords ;

- 124 ... unité de détection de ligne d'horizon ;

- 126 ... unité de filtre ;

- 130 ... unité de sortie ;

- 150 ... boîte candidate primaire ;

- 152 ... boîte de détection de trame précédente ;

- 154 ... boîte candidate secondaire ;

- 156 ... boîte de détection intégrée ;

- 160 ... boîte de détection

Liste des documents cités

Documents brevets [0118] A toute fin utile, le document brevet suivant est cité :

- [Document Brevet 1] Publication de la demande de brevet japonaise non examinée 2010-092353.

Claims

[Revendication 1] [Revendication 2] [Revendication 3]

Revendications

Un appareil de détection d'objet mobile (100) comprenant : une unité d'entrée (110) pour introduire une image mobile ; une unité d'acquisition de trame (112) qui extrait en continu une pluralité d'images de trame à partir d'une image mobile ;

une unité de détection de ligne d'horizon (124) qui détecte une ligne d'horizon (HL) dans une image de trame ;

une unité de génération d'image de rebords (122) qui génère une image de rebords (E) à partir d'une image de trame ; et une unité de détection d'objet mobile (118) qui définit une boîte de détection (152a, 152b, 152c, 152d) sur un objet mobile, dans lequel l'unité de génération d'image de rebords (122) extrait une image de rebords (BE) sous la ligne d'horizon (HL) détectée par l'unité de détection de ligne d'horizon (124), et extrait une différence (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et une image de fond de l'image de rebords (BE) en utilisant un procédé par différence de fond, et l'unité de détection d'objet mobile (118) convertit une image de trame en une image en niveaux de gris et extrait une différence (BDG) entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant le procédé par différence de fond, et génère un premier plan (EF) en combinant la différence (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE) avec la différence (BDG) entre l’image en niveaux de gris et l'image de fond de l'image en niveaux de gris. L'appareil de détection d'objet mobile (100) selon la revendication 1, dans lequel l'unité de détection d'objet mobile (118) combine la différence (RBDBE) entre l'image de rebords sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE) avec la différence (BDG) entre l'image en niveaux de gris et l'image de fond de l'image en niveaux de gris, si la différence (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE) ne contient que peu de bruit.

L'appareil de détection d'objet mobile (100) selon la revendication 1 ou 2, dans lequel l'unité de génération d'image de rebords (122) extrait une image de rebords (CE) qui est reliée à la ligne d'horizon (HL) détectée

par l'unité de détection de ligne d'horizon (124), et l'unité de détection d'objet mobile (118) filtre le premier plan (EF) en utilisant l'image de rebords (CE) qui est reliée à la ligne d'horizon (HL). [Revendication 4] L'appareil de détection d'objet mobile (100) selon la revendication 3, dans lequel, lorsque l'appareil de détection d'objet mobile (100) se déplace, l'unité de détection d'objet mobile (118) filtre le premier plan (EF) en utilisant l'image de rebords (CE) qui est reliée à la ligne d'horizon (HL). [Revendication 5] Un appareil de détection d'objet mobile (100) comprenant : une unité d'entrée (110) pour introduire une image mobile ; une unité d'acquisition de trame (112) qui extrait en continu une pluralité d'images de trame à partir d'une image mobile ; une unité de détection de ligne d'horizon (124) qui détecte une ligne d'horizon (HL) dans une image de trame ; une unité de génération d'image de rebords (122) qui génère une image de rebords (E) à partir d'une image de trame ; et une unité de détection d'objet mobile (118) qui définit une boîte de détection (152a, 152b, 152c, 152d) sur un objet mobile, dans lequel l'unité de génération d'image de rebords (122) extrait une image de rebords (CE) qui est reliée à la ligne d'horizon (HL) détectée par l'unité de détection de ligne d'horizon (124), et l'unité de détection d'objet mobile (118) convertit une image de trame en une image en niveaux de gris, extrait une différence (BDG) entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant un procédé par différence de fond et fait de la différence (BDG) un premier plan (EF), et filtre le premier plan (EF) en utilisant l'image de rebords (CE) qui est reliée à la ligne d'horizon (HL). [Revendication 6] L'appareil de détection d'objet mobile (100) selon la revendication 5, dans lequel, lorsque l'appareil de détection d'objet mobile (100) se déplace, l'unité de détection d'objet mobile (118) filtre le premier plan (EF) en utilisant l'image de rebords (CE) qui est reliée à la ligne d'horizon (HL). [Revendication 7] Un procédé de détection d'objet mobile comprenant : une étape d’introduction d’une image mobile ; une étape d’extraction en continu d’une pluralité d'images de trame à partir d'une image mobile ; une étape d’extraction d’une image de rebords (BE) sous une ligne

[Revendication 8] d'horizon (HL) à partir d'une image de trame ;

une étape d’extraction d’une différence (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et une image de fond de l'image de rebords (BE) en utilisant un procédé par différence de fond ; une étape de conversion d'une image de trame en une image en niveaux de gris et d'extraction d'une différence (BDG) entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant le procédé par différence de fond ; et une étape de génération d'un premier plan (EF) en combinant la différence (RBDBE) entre l'image de rebords (BE) sous la ligne d'horizon (HL) et l'image de fond de l'image de rebords (BE) avec la différence (BDG) entre l’image en niveaux de gris et l'image de fond de l'image en niveaux de gris.

Un procédé de détection d'objet mobile comprenant :

une étape d’introduction d’une image mobile ;

une étape d’extraction en continu d’une pluralité d'images de trame à partir d'une image mobile ;

une étape d’extraction d’une image de rebords (CE) qui est reliée à une ligne d'horizon (HL) à partir d'une image de trame ;

une étape de conversion d'une image de trame en une image en niveaux de gris, d'extraction d'une différence (BDG) entre l'image en niveaux de gris et une image de fond de l'image en niveaux de gris en utilisant un procédé par différence de fond pour faire de la différence (BDG) un premier plan (EF) ; et une étape de filtrage du premier plan (EF) en utilisant l'image de rebords (CE) qui est reliée à la ligne d'horizon (HL).