DE112022000174T5 - Verfahren und System zur binokularenAbstandsmessung abzielend auf Kinder - Google Patents

Verfahren und System zur binokularenAbstandsmessung abzielend auf Kinder Download PDF

Info

Publication number
DE112022000174T5
DE112022000174T5 DE112022000174.7T DE112022000174T DE112022000174T5 DE 112022000174 T5 DE112022000174 T5 DE 112022000174T5 DE 112022000174 T DE112022000174 T DE 112022000174T DE 112022000174 T5 DE112022000174 T5 DE 112022000174T5
Authority
DE
Germany
Prior art keywords
image
face
eye
children
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112022000174.7T
Other languages
English (en)
Inventor
Shuicai HUANG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongsheng Shenzhou Tourism Man Co Ltd
Dongsheng Shenzhou Tourism Management Co Ltd
Zhejiang Lingchuang Network Tech Co Ltd
Zhejiang Lingchuang Network Technology Co Ltd
Original Assignee
Dongsheng Shenzhou Tourism Man Co Ltd
Dongsheng Shenzhou Tourism Management Co Ltd
Zhejiang Lingchuang Network Tech Co Ltd
Zhejiang Lingchuang Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongsheng Shenzhou Tourism Man Co Ltd, Dongsheng Shenzhou Tourism Management Co Ltd, Zhejiang Lingchuang Network Tech Co Ltd, Zhejiang Lingchuang Network Technology Co Ltd filed Critical Dongsheng Shenzhou Tourism Man Co Ltd
Publication of DE112022000174T5 publication Critical patent/DE112022000174T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung stellt ein Verfahren zur binokularen Abstandsmessung abzielend auf Kinder bereit, umfassend die folgenden Schritte: das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge werden erhalten; eine Korrekturverarbeitung wird an dem Zielbereichsbild durchgeführt, um ein korrigiertes Zielbereichsbild zu erhalten; eine Gesichtserfassung wird auf dem korrigierten Zielbereichsbild durchgeführt, um das Gesichtsbild und das Augenbild zu erhalten; das Gesichtsbild wird basierend auf dem voreingestellten Gesichtserkennungsmodell erkannt und es wird beurteilt, ob das Gesichtsbild ein Kindergesicht ist; wenn dies der Fall ist, wird eine Bildkorrektur basierend auf dem erhaltenen Gesichtsbild durchgeführt; das Augenbild wird zur Erkennung in das voreingestellte Erkennungsmodell des menschlichen Auges eingegeben, und es wird beurteilt, ob das menschliche Auge den Bildschirm betrachtet; wenn dies der Fall ist, wird basierend auf den Weltkoordinaten des menschlichen Körpers der Abstand am Augenbild gemessen, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu erhalten. Die Erfindung muss die Größe und das Gewicht von Kindern nicht voreinstellen und hat Vorteile wie lockere Anforderungen an die Kameraplatzierung, hohe Genauigkeit der Datenverarbeitung der binokularen Abstandsmessung und großen gemessenen Abstand, und kann in mehreren Szenen angewendet werden.

Description

  • Gebiet der Erfindung
  • Die Erfindung bezieht sich auf das Gebiet der Bildverarbeitung, insbesondere auf ein Verfahren und ein System zur binokularen Abstandsmessung abzielend auf Kinder.
  • Stand der Technik
  • Gegenwärtig weist die Kurzsichtigkeit von Jugendlichen jeden Alters in China einen Trend zu frühem Beginn, raschem Fortschreiten und tiefem Grad auf. Unvollständigen Statistiken zufolge beträgt das Auftreten von Kurzsichtigkeit bei Grundschülern in China etwa 30 %, bei Schülern der Mittelstufe etwa 60 %, bei Schülern der Oberstufe etwa 80 % und bei College-Studenten sogar 90 %. Reduzierte Outdoor-Aktivitäten, Abhängigkeit von elektronischen Produkten, hohe Schularbeitsbelastung ... Mit den Veränderungen im Lebensstil der Menschen nimmt die Häufigkeit von Kurzsichtigkeit zu. Laut Statistiken der Weltgesundheitsorganisation gibt es derzeit etwa 1,4 Milliarden kurzsichtige Menschen auf der Welt, und fast die Hälfte von ihnen lebt in China.
  • Der Grund für diese Situation liegt in der zunehmenden Häufigkeit oder Dauer der Nutzung elektronischer Produkte. Daher wurden im Stand der Technik immer mehr Technologien oder Verfahren untersucht, wie der Benutzer daran erinnert werden kann, wenn das elektronische Produkt für eine lange Zeit verwendet wird.
  • Die häufig verwendete Lösung besteht darin, die Abstandsmessmethode zu verwenden, um den Abstand zwischen dem menschlichen Körper und dem elektronischen Produkt zu messen, um das elektronische Produkt daran zu erinnern, dass die Nutzungszeit zu lang ist oder die Augen zu nahe am Bildschirm des elektronischen Produkts sind, aber diese Methode hat folgende Mängel:
    • es wird selten verwendet, um Kinder zu messen, selbst wenn es eine Abstandsmessung für Kinder gibt, ist das Ergebnis aufgrund umständlicher Parametereinstellungen ungenau;
    • einige eingestellte Parameter werden nicht rechtzeitig angepasst, wenn sich Größe und Gewicht des Kindes ändern, wodurch die Abstandsmessung fehlschlägt;
    • eine falsche Platzierung der Kamera, z. B. schief oder dergleichen, kann zu falschen Messergebnissen führen.
  • Aufgabe der Erfindung
  • Die vorliegende Erfindung zielt auf die Mängel des Standes der Technik ab und stellt ein Verfahren und System zur binokularen Abstandsmessung abzielend auf Kinder bereit.
  • Um die oben beschriebenen technischen Probleme zu lösen, werden in der vorliegenden Erfindung die folgenden technischen Lösungen gelöst: ein Verfahren zur binokularen Abstandsmessung abzielend auf Kinder, umfassend die folgenden Schritte:
    • das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge werden erhalten;
    • eine Korrekturverarbeitung wird an dem Zielbereichsbild durchgeführt, um ein korrigiertes Zielbereichsbild zu erhalten;
    • eine Gesichtserfassung wird auf dem korrigierten Zielbereichsbild durchgeführt, um das Gesichtsbild und das Augenbild zu erhalten;
    • das Gesichtsbild wird basierend auf dem voreingestellten Gesichtserkennungsmodell erkannt und es wird beurteilt, ob das Gesichtsbild ein Kindergesicht ist;
    • das Augenbild wird zur Erkennung in das voreingestellte Erkennungsmodell des menschlichen Auges eingegeben, und es wird beurteilt, ob das menschliche Auge den Bildschirm betrachtet;
    • wenn dies der Fall ist, wird basierend auf den Weltkoordinaten des menschlichen Körpers der Abstand am Augenbild gemessen, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu erhalten.
  • In einer Weiterbildung ist es vorgesehen, dass das Verfahren auch umfasst, dass es beurteilt wird, ob der Abstand zwischen dem Bildschirm und dem menschlichen Auge größer als der eingestellte Wert ist, und wenn ja, ein Auslösen einer Erinnerung wird durchgeführt, um Kinder daran zu erinnern, dass ihre Sichtlinie zu nahe am Bildschirmterminal ist, und es spielt eine Rolle bei der Überwachung der gesunden Augennutzung von Kindern.
  • In einer Weiterbildung ist es vorgesehen, dass das Bild korrigiert und verarbeitet wird, umfassend eine Parametersammlung, eine Verzerrungsbeseitigung und eine binokularer Korrektur, um korrigierte Bildinformationen zu erhalten, um das Anfangsbild zu korrigieren und klare und genaue Bildinformationen für die nachfolgenden Schritte bereitzustellen.
  • In einer Weiterbildung ist es vorgesehen, dass die Gesichtserfassung die Bildinformationen durch das Gesichtserkennungsmodell verarbeitet, umfassend eine Bilderfassung, eine Personenpositionierung und eine Bildsegmentierung, um das segmentierte Gesichtsbild und das Augenbild zu erhalten.
  • In einer Weiterbildung ist es vorgesehen, dass das Gesichtserkennungsmodell durch die folgenden Schritte erstellt wird:
    • die Trainingsproben werden erhalten, wobei die Trainingsproben Probengesichtsbilder und gekennzeichnete Gesichtsunterscheidungsinformationen umfassen;
    • die Probengesichtsbilder sind Gesichtsbilder im Alter von 4 bis 16 Jahren;
    • das Gesichtsbild der Gesichtstrainingsprobe wird als Eingabe genommen und die Gesichtsunterscheidungsinformationen wird als Ausgabe gekennzeichnet, um ein Gesichtserkennungsmodell durch Training zu erhalten. Dies spielt eine Rolle bei der schnellen und genauen Erkennung von Kindern durch Verwendung der Altersberechnung, ohne dass die Kinderinformationen im Voraus festgelegt werden.
  • In einer Weiterbildung ist es vorgesehen, dass das Erkennungsmodell des menschlichen Auges durch die folgenden Schritte erstellt wird:
    • die Trainingsproben werden erhalten, wobei die Trainingsproben Probenaugenbilder und gekennzeichnete Augenunterscheidungsinformationen umfassen;
    • ein Probenaugenbild ist ein Bild, in dem die Blickrichtung des menschlichen Auges innerhalb von 15 Grad der vier Richtungen nach oben, unten, links und rechts liegt;
    • die Probenaugenbilder wird als Eingabe genommen und die Augenunterscheidungsinformationen wird als Ausgabe gekennzeichnet, um das Erkennungsmodell des menschlichen Auges durch Training zu erhalten, um schnell und genau zu bestimmen, ob der Blick des Kindes auf dem Bildschirm ist.
  • Ein System zur binokularen Abstandsmessung abzielend auf Kinder umfasst ein Bilderfassungsmodul, ein Stereokorrekturmodul, ein Gesichtserfassungsmodul, ein Gesichtsanpassungsmodul, ein Erfassungsmodul für die menschliche Blickrichtung und ein Abstandsmessmodul;
    • das Bilderfassungsmodul wird verwendet, um das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge zu erhalten;
    • das Stereokorrekturmodul wird verwendet, um das Zielbereichsbild zu korrigieren und verarbeiten, um ein korrigiertes Zielbereichsbild zu erhalten;
    • das Gesichtserfassungsmodul wird verwendet, um eine Gesichtserfassung auf dem korrigierten Zielbereichsbild durchzuführen, um das Gesichtsbild und das Augenbild zu erhalten;
    • das Gesichtsanpassungsmodul wird basierend auf den Gesichtsbildern und dem Training von kinderspezifischen Modellen die Gesichtserkennung durchführen;
    • das Erfassungsmodul für die menschliche Blickrichtung wird verwendet, um zu erfassen, ob die Blickrichtung des menschlichen Auges die Richtung des Bildschirms ist;
    • das Abstandsmessmodul wird verwendet, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu messen.
  • In einer Weiterbildung ist es vorgesehen, dass das Bilderfassungsmodul eine binokulare Kamera ist, die zwei in Abständen vorgesehene Kamerasensoren umfasst, wobei die binokulare Kamera Tiefe erkennen kann. Es muss lediglich die Abstandsmessung durch die Parallaxe des linken und rechten Auges realisiert werden, was einerseits die Genauigkeit der Abstandsmessung verbessert und andererseits die Erfassungszeit verkürzt.
  • Die vorliegende Erfindung hat eine bemerkenswerte technische Wirkung aufgrund der übernommenen obigen technischen Lösung:
    • die Ausführungsbeispiele der vorliegenden Erfindung stellen ein Verfahren und ein System zur binokularen Abstandsmessung abzielend auf Kinder bereit, um das Kinder automatisch zu erkennen, den Blickabstand von Kindern auf dem Bildschirm in Echtzeit zu erfassen und eine intelligente Überwachung zu realisieren, wodurch die Kinder zum gesunden Umgang mit Bildschirmterminalgerät angeleitet werden. Verglichen mit den bestehenden technischen Lösungen muss die Erfindung die Größe und das Gewicht von Kindern nicht voreinstellen und hat Vorteile wie keine hohe Anforderungen an die Kameraplatzierung, hohe Genauigkeit der Datenverarbeitung der binokularen Abstandsmessung und großen gemessenen Abstand, und kann in mehreren Szenen angewendet werden.
  • Kurzebeschreibung der Zeichnungen
  • Um die technischen Lösungen der Ausführungsbeispielen der vorliegenden Erfindung oder im Stand der Technik klarer zu erläutern, werden die Zeichnungen, welche für die Beschreibungen in Ausführungsbeispielen oder im Stand der Technik erforderlich sind, im Folgenden kurz beschrieben. Offensichtlich sind die beigefügten Zeichnungen in der folgenden Beschreibung nur einige Ausführungsbeispiele der vorliegenden Erfindung, und für den Durchschnittsfachmann können aus diesen Zeichnungen auch andere Zeichnungen ohne kreative Anstrengung erhalten werden.
    • 1 ist ein Flussblockdiagramm eines Verfahrens zur binokularen Abstandsmessung abzielend auf Kinder, bereitgestellt durch ein Ausführungsbeispiel der vorliegenden Erfindung;
    • 2 ist ein Systemblockdiagramm eines Systems zur binokularen Abstandsmessung abzielend auf Kinder, bereitgestellt durch ein Ausführungsbeispiel der vorliegenden Erfindung.
  • Beschreibung der bevorzugten Ausführungsbeispiele
  • Die vorliegende Erfindung wird weiter unten im Detail in Verbindung mit den Ausführungsbeispielen beschrieben, und die folgenden Ausführungsbeispiele sind Erläuterungen der vorliegenden Erfindung und die vorliegende Erfindung ist nicht auf die folgenden Ausführungsbeispiele beschränkt.
  • Mit Bezug auf 1, stellen die Ausführungsbeispiele der vorliegenden Erfindung ein Verfahren zur binokularen Abstandsmessung abzielend auf Kinder, umfassend die folgenden Schritte:
    • Schritt S 10, das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge werden erhalten.
  • In den Ausführungsbeispielen der vorliegenden Erfindung verwendet die Bilderfassung binokulare Kameras, um Bilder innerhalb eines bestimmten Bereichs von dem Bildschirmterminal zu erfassen, und dann Zielbildinformationen zu erfassen, wobei die Kamera in das Bildschirmterminal integriert oder extern auf dem Bildschirm platziert werden kann. Die Kamera wird mit der Verarbeitungseinheit verbunden, und das aufgenommene Zielbild wird für nachfolgende Verarbeitungsreihen an die Verarbeitungseinheit gesendet. Spezifisch kann die Kamera drahtgebunden oder drahtlos mit der Verarbeitungseinheit verbunden sein, um eine entsprechende Datenübertragung durchzuführen. Die Verarbeitungseinheit kann ein im Bildschirmterminal integrierter Prozessor oder ein Prozessor in der zentralen Steuereinrichtung des Internets der Dinge sein.
  • Schritt S20, eine Korrekturverarbeitung wird an dem Zielbereichsbild durchgeführt, um ein korrigiertes Zielbereichsbild zu erhalten.
  • Bei Stereosicht ist die Position des Objekts in den von den beiden Kameras der binokularen Kamera erfassten Bildern unterschiedlich. Um den Berechnungsaufwand für die Anpassung zu reduzieren, sollten die Abbildungsebenen der beiden Kameras auf der gleichen Ebene liegen, aber es ist offensichtlich schwierig, dieses Ziel nur durch striktes Anordnen der Kameras zu erreichen, und es ist notwendig, eine Stereokalibrierung durch Eliminieren von Verzerrungen durchzuführen. Nachdem die beiden Kameras vertikal ausgerichtet sind, wird beobachtet, dass sich die Objekte auf derselben vertikalen Koordinate befinden (dieselbe Spalte im Bild). Die x-Koordinate muss nur berücksichtigt werden, um die Tiefe zu berechnen, da nahe Objekte einen großen Unterschied auf der x-Achse haben, und um dieses Ziel zu erreichen, muss das Zielbereichsbild entzerrt werden.
  • In den Ausführungsbeispielen der vorliegenden Erfindung umfasst die Bildkorrekturverarbeitung eine Parametersammlung, eine Verzerrungsbeseitigung und eine binokulare Korrektur. Die Parametersammlung besteht darin, eine Big-Data-Berechnung in verschiedenen Winkeln für die Zieldaten durchzuführen und die Parameter der Kamera für die Parametererfassung zu kombinieren. Die Verzerrungsbeseitigung und binokulare Korrektur dient der Eliminierung von Verzerrung und binokularer Korrektur der Bildweltkoordinaten und der Zielschlüsselpunkte durch die Stereokalibrierungsfunktion in OpenCV OpenCV ist eine plattformübergreifende Open-Source-Computer-Vision-Bibliothek, die auf Linux, Windows, Android und anderen Betriebssystemen ausgeführt werden kann und für die Entwicklung von Bildverarbeitungs- und Computer-Vision-Anwendungen verwendet werden kann. Darüber hinaus kann beim Extrahieren von Bildweltkoordinaten und Zielschlüsselpunkten der vertikale Koordinatenabfall als Korrekturbasis zum Normalisieren der Verarbeitungsparameter direkt in den Verarbeitungsalgorithmus eingesetzt werden, wodurch die Wartezeit für die Konvertierung der Stereokalibrierungsfunktion in OpenCV eingespart werden kann und die Verarbeitungsgeschwindigkeit des Algorithmus erhöht werden kann.
  • Schritt S30, eine Gesichtserfassung wird auf dem korrigierten Zielbereichsbild durchgeführt, um das Gesichtsbild und das Augenbild zu erhalten.
  • Der Zweck der Gesichtserfassung besteht dabei darin, einen beliebigen Bildrahmen in Zielbildern zu erhalten. Der Gesichtserfassungsalgorithmus wird verwendet, um die Zielbilder zu durchsuchen, um zu bestimmen, ob es ein menschliches Gesicht in Zielbildern gibt, da die Zielbilder Objekte enthalten kann, die keine menschlichen Gesichter sind, wie etwa Möbel im Haus und andere Teile von Menschen (wie Beine, Schultern und Arme).
  • Die Gesichtserfassung kann für jeden Bildrahmen in Zielbildern durch den eingebauten Gesichtserfassungsalgorithmus der Verarbeitungseinheit durchgeführt werden. Wenn sich ein menschliches Gesicht im Rahmen befindet, werden nachfolgende Schritte wie die Extraktion von Gesichtsmerkmalen durchgeführt. Der Gesichtserfassungsalgorithmus kann mit dem Klassifikator implementiert werden, der mit OpenCV geliefert wird. In den Ausführungsbeispielen der vorliegenden Erfindung wird ein auf yolo basierender Gesichtserfassungsalgorithmus zur Gesichtserfassung verwendet, wobei das Zielbild in 49 Bildblöcke geschnitten und dann jeder Bildblock separat berechnet wird, um die Position des menschlichen Gesichts zu bestimmen, zusätzlich teilt der yolo-basierte Gesichtserfassungsalgorithmus das Zielbild in 49 Bildblöcke, wobei in der anschließenden Merkmalsextraktionsphase wichtige Teile wie Augenlider verfeinert und erfasst werden können, wodurch die Genauigkeit der Extraktion von Gesichtsmerkmalen und der Gesichtsanpassung erhöht wird.
  • In anderen Ausführungsbeispielen wird die Gesichtsposition unter Verwendung eines Histogramms orientierter Gradienten erfasst. Das Zielbild wird zuerst grauskaliert, und dann wird der Gradient der Pixel im Bild berechnet, wobei die Gesichtsposition erfasst und erhalten werden kann, indem das Bild in ein Histogramm orientierter Gradienten umgewandelt wird. Schritt S40, das Gesichtsbild wird basierend auf dem voreingestellten Gesichtserkennungsmodell erkannt und es wird beurteilt, ob das Gesichtsbild ein Kindergesicht ist.
  • In den Ausführungsbeispielen der vorliegenden Erfindung wird das Gesichtserkennungsmodell durch die folgenden Schritte erstellt:
    • die Trainingsproben werden erhalten, wobei die Trainingsproben Probengesichtsbilder und gekennzeichnete Gesichtsunterscheidungsinformationen umfassen;
    • die Probengesichtsbilder sind Gesichtsbilder im Alter von 4 bis 16 Jahren;
    • das Gesichtsbild der Gesichtstrainingsprobe wird als Eingabe genommen und die Gesichtsunterscheidungsinformationen wird als Ausgabe gekennzeichnet, um ein Gesichtserkennungsmodell durch Training zu erhalten.
  • In anderen Ausführungsbeispielen ist es vorgesehen, dass das Gesichtserkennungsmodell erhalten wird, indem die Probengesichtsbilder von 4-12 Jahre alten Gesichtsbildern trainiert werden und die Gesichtsunterscheidungsinformationen gekennzeichnet werden.
  • In diesem Ausführungsbeispiel kann die Gesichtsdatenzusammenfassung mit dem Alter von 4 bis 16 verwendet werden, um die Situation zu vermeiden, dass einige Kinder vom Gesichtserkennungssystem ausgeschlossen werden, weil ihre Gesichter reifer sind und ihr tatsächliches Alter jünger ist als ihr Erscheinungsalter.
  • Unter anderem, wenn Kinder nach jüngeren Altersintervallen getrennt werden müssen, ist eine detailliertere und differenziertere Kontrolle erforderlich, wobei durch Training aller Gesichtsmerkmalswerte im Gesichtsdatensatz dieser in mehrere Gesichtsdatensätze mit unterschiedlichen Intervallen aufgeteilt wird, und dann werden unterschiedliche Berechnungen für Kinder unterschiedlicher Altersgruppen durchgeführt. Spezifisch kann das Gesichtserkennungsverfahren verwendet werden, um Kinder unterschiedlicher Altersgruppen genauer zu identifizieren, indem der euklidische Abstand zwischen dem Zielgesicht und dem Gewichtsvektor jeder Person in der Gesichtsdatenbank berechnet wird.
  • Schritt S50, das Augenbild wird zur Erkennung in das voreingestellte Erkennungsmodell des menschlichen Auges eingegeben, und es wird beurteilt, ob das menschliche Auge den Bildschirm betrachtet.
  • In den Ausführungsbeispielen der vorliegenden Erfindung wird es vorgesehen, dass das Erkennungsmodell des menschlichen Auges durch die folgenden Schritte erstellt wird:
    • die Trainingsproben werden erhalten, wobei die Trainingsproben Probenaugenbilder und gekennzeichnete Augenunterscheidungsinformationen umfassen;
    • ein Probenaugenbild ist ein Bild, in dem die Blickrichtung des menschlichen Auges innerhalb von 15 Grad der vier Richtungen nach oben, unten, links und rechts liegt;
    • die Probenaugenbilder wird als Eingabe genommen und die Augenunterscheidungsinformationen wird als Ausgabe gekennzeichnet, um das Erkennungsmodell des menschlichen Auges durch Training zu erhalten.
  • Durch Eingeben des Augenbildes in das Erkennungsmodell des menschlichen Auges wird beurteilt, ob das Kind den Bildschirm betrachtet.
  • Schritt S60, wenn das menschliche Auge den Bildschirm betrachtet, wird basierend auf den Weltkoordinaten des menschlichen Körpers der Abstand am Augenbild gemessen, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu erhalten, wobei die konkrete Berechnungsformel lautet: Abstand zwischen dem Bildschirm und dem menschlichen Auge = Abstand zwischen linkem und rechtem Auge Brennweite Parallxe des linken und rechten Auges Pixelparameter der Kamera
    Figure DE112022000174T5_0001
    wobei die Parallaxe des linken und rechten Auges sich auf den Unterschied der x-Koordinate für denselben Merkmalspunkt auf dem linken und rechten Bild bezieht;
    es wird beurteilt, ob der Abstand zwischen dem Bildschirm und dem menschlichen Auge größer als der eingestellte Wert ist, und wenn ja, ein Auslösen einer Erinnerung wird durchgeführt.
  • Die Ausführungsbeispiele der vorliegenden Erfindung stellen ein Verfahren zur binokularen Abstandsmessung abzielend auf Kinder bereit, um das Kinder automatisch zu erkennen, den Blickabstand von Kindern auf dem Bildschirm in Echtzeit zu erfassen und eine intelligente Überwachung zu realisieren, wodurch die Kinder zum gesunden Umgang mit Bildschirmterminalgerät angeleitet werden. Verglichen mit den bestehenden technischen Lösungen muss die Erfindung die Größe und das Gewicht von Kindern nicht voreinstellen und hat Vorteile wie keine hohe Anforderungen an die Kameraplatzierung, hohe Genauigkeit der Datenverarbeitung der binokularen Abstandsmessung und großen gemessenen Abstand, und kann in mehreren Szenen angewendet werden.
  • Zusätzlich stellen die Ausführungsbeispiele der vorliegenden Erfindung basierend auf dem oben erwähnten Verfahren zur binokularen Abstandsmessung abzielend auf Kinder auch ein System zur binokularen Abstandsmessung abzielend auf Kinder bereit, wie in 2 gezeigt, wobei das System umfasst: ein Bilderfassungsmodul 100, ein Stereokorrekturmodul 200, ein Gesichtserfassungsmodul 300, ein Gesichtsanpassungsmodul 400, ein Erfassungsmodul für die menschliche Blickrichtung 500 und ein Abstandsmessmodul 600;
    das Bilderfassungsmodul 100 wird verwendet, um das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge zu erhalten;
    das Stereokorrekturmodul 200 wird verwendet, um das Zielbereichsbild zu korrigieren und verarbeiten, um ein korrigiertes Zielbereichsbild zu erhalten;
    das Gesichtserfassungsmodul 300 wird verwendet, um eine Gesichtserfassung auf dem korrigierten Zielbereichsbild durchzuführen, um das Gesichtsbild und das Augenbild zu erhalten;
    das Gesichtsanpassungsmodul 400 erkennt das Gesichtsbild basierend auf dem voreingestellten Gesichtserkennungsmodell und beurteilt, ob das Gesichtsbild ein Kindergesicht ist;
    das Erfassungsmodul 500 für die menschliche Blickrichtung wird verwendet, um zu erfassen, ob die Blickrichtung des menschlichen Auges die Richtung des Bildschirms ist;
    das Abstandsmessmodul 600 wird verwendet, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu messen.
  • In den Ausführungsbeispielen der vorliegenden Erfindung verwendet das Bilderfassungsmodul 100 eine binokulare Kamera mit zwei in Abständen vorgesehenen Kamerasensoren. Die binokulare Kamera kann die Tiefe wahrnehmen, und es muss lediglich die Abstandsmessung durch die Parallaxe des linken und rechten Auges realisiert werden, was einerseits die Genauigkeit der Abstandsmessung verbessert und andererseits die Erfassungszeit verkürzt.
  • Außerdem sollte beachtet werden, dass für die in dieser Beschreibung beschriebenen spezifischen Ausführungsbeispiele die Teile, Formen und Namen von Komponenten unterschiedlich sein können. Alle äquivalenten oder einfachen Änderungen, die gemäß der Struktur, den Merkmalen und Prinzipien des Patentkonzepts der vorliegenden Erfindung vorgenommen werden, sind im Schutzumfang des Patents der vorliegenden Erfindung enthalten. Der Fachmann auf dem Gebiet der vorliegenden Erfindung kann verschiedene Modifikationen oder Ergänzungen an den beschriebenen speziellen Ausführungsbeispielen vornehmen oder sie auf ähnliche Weise ersetzen. Solange es nicht von der Struktur der vorliegenden Erfindung abweicht oder den in den Ansprüchen definierten Umfang überschreitet, gehört es zum Schutzumfang der vorliegenden Erfindung.

Claims (8)

  1. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: Erhalten des Zielbereichsbilds und der Weltkoordinaten des menschlichen Körpers im linken und rechten Auge; Korrigieren und Verarbeiten des Zielbereichsbildes, um ein korrigiertes Zielbereichsbild zu erhalten; Durchführen einer Gesichtserfassung auf dem korrigierten Zielbereichsbild, um das Gesichtsbild und das Augenbild zu erhalten; Erkennen des Gesichtsbildes basierend auf dem voreingestellten Gesichtserkennungsmodell und Beurteilen, ob das Gesichtsbild ein Kindergesicht ist; Eingeben des Augenbildes zur Erkennung in das voreingestellte Erkennungsmodell des menschlichen Auges und Beurteilen, ob das menschliche Auge den Bildschirm betrachtet; wenn dies der Fall ist, Messen basierend auf den Weltkoordinaten des menschlichen Körpers der Abstand am Augenbild, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu erhalten.
  2. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren auch umfasst, dass es beurteilt wird, ob der Abstand zwischen dem Bildschirm und dem menschlichen Auge größer als der eingestellte Wert ist, und wenn ja, ein Auslösen einer Erinnerung wird durchgeführt.
  3. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt des Korrigierens und Verarbeitens des Bildes, umfassend eine Parametersammlung, eine Verzerrungsbeseitigung und eine binokularer Korrektur, um korrigierte Bildinformationen zu erhalten.
  4. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 1, dadurch gekennzeichnet, dass die Gesichtserfassung die Bildinformationen durch das Gesichtserkennungsmodell verarbeitet, umfassend eine Bilderfassung, eine Personenpositionierung und eine Bildsegmentierung, um das segmentierte Gesichtsbild und das Augenbild zu erhalten.
  5. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 1, dadurch gekennzeichnet, dass das Gesichtserkennungsmodell durch die folgenden Schritte erstellt wird: Erhalten der Trainingsproben, wobei die Trainingsproben Probengesichtsbilder und gekennzeichnete Gesichtsunterscheidungsinformationen umfassen; die Probengesichtsbilder sind Gesichtsbilder im Alter von 4 bis 16 Jahren; Nehmen des Gesichtsbildes der Gesichtstrainingsprobe als Eingabe und Kennzeichnen die Gesichtsunterscheidungsinformationen als Ausgabe, um ein Gesichtserkennungsmodell durch Training zu erhalten.
  6. Verfahren zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 1, dadurch gekennzeichnet, dass das Erkennungsmodell des menschlichen Auges durch die folgenden Schritte erstellt wird: Erhalten der Trainingsproben, wobei die Trainingsproben Probenaugenbilder und gekennzeichnete Augenunterscheidungsinformationen umfassen; ein Probenaugenbild ist ein Bild, in dem die Blickrichtung des menschlichen Auges innerhalb von 15 Grad der vier Richtungen nach oben, unten, links und rechts liegt; Nehmen der Probenaugenbilder als Eingabe, Kennzeichnen die Augenunterscheidungsinformationen als Ausgabe, um das Erkennungsmodell des menschlichen Auges durch Training zu erhalten.
  7. System zur binokularen Abstandsmessung abzielend auf Kinder, dadurch gekennzeichnet, dass das System ein Bilderfassungsmodul, ein Stereokorrekturmodul, ein Gesichtserfassungsmodul, ein Gesichtsanpassungsmodul, ein Erfassungsmodul für die menschliche Blickrichtung und ein Abstandsmessmodul umfasst; das Bilderfassungsmodul wird verwendet, um das Zielbereichsbild und die Weltkoordinaten des menschlichen Körpers im linken und rechten Auge zu erhalten; das Stereokorrekturmodul wird verwendet, um das Zielbereichsbild zu korrigieren und verarbeiten, um ein korrigiertes Zielbereichsbild zu erhalten; das Gesichtserfassungsmodul wird verwendet, um eine Gesichtserfassung auf dem korrigierten Zielbereichsbild durchzuführen, um das Gesichtsbild und das Augenbild zu erhalten; das Gesichtsanpassungsmodul erkennt das Gesichtsbild basierend auf dem voreingestellten Gesichtserkennungsmodell und beurteilt, ob das Gesichtsbild ein Kindergesicht ist; das Erfassungsmodul für die menschliche Blickrichtung wird verwendet, um zu erfassen, ob die Blickrichtung des menschlichen Auges die Richtung des Bildschirms ist; das Abstandsmessmodul wird verwendet, um den Abstand zwischen dem Bildschirm und dem menschlichen Auge zu messen.
  8. System zur binokularen Abstandsmessung abzielend auf Kinder nach Anspruch 7, dadurch gekennzeichnet, dass das Bilderfassungsmodul eine binokulare Kamera ist, die zwei in Abständen vorgesehene Kamerasensoren umfasst.
DE112022000174.7T 2021-09-17 2022-08-19 Verfahren und System zur binokularenAbstandsmessung abzielend auf Kinder Pending DE112022000174T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202111092737.7 2021-09-17
CN202111092737.7A CN113808207B (zh) 2021-09-17 2021-09-17 一种目标为儿童的双目测距方法及系统
PCT/CN2022/113464 WO2023040576A1 (zh) 2021-09-17 2022-08-19 一种目标为儿童的双目测距方法及系统

Publications (1)

Publication Number Publication Date
DE112022000174T5 true DE112022000174T5 (de) 2023-11-16

Family

ID=78939590

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112022000174.7T Pending DE112022000174T5 (de) 2021-09-17 2022-08-19 Verfahren und System zur binokularenAbstandsmessung abzielend auf Kinder

Country Status (5)

Country Link
US (1) US20230237682A1 (de)
JP (1) JP2023549865A (de)
CN (1) CN113808207B (de)
DE (1) DE112022000174T5 (de)
WO (1) WO2023040576A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808207B (zh) * 2021-09-17 2024-01-23 东胜神州旅游管理有限公司 一种目标为儿童的双目测距方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN107369305A (zh) * 2017-08-22 2017-11-21 中原工学院 一种儿童视力保护系统及其使用方法
CN110780739B (zh) * 2019-10-18 2023-11-03 天津理工大学 基于注视点估计的眼控辅助输入方法
CN113808207B (zh) * 2021-09-17 2024-01-23 东胜神州旅游管理有限公司 一种目标为儿童的双目测距方法及系统

Also Published As

Publication number Publication date
CN113808207A (zh) 2021-12-17
US20230237682A1 (en) 2023-07-27
WO2023040576A1 (zh) 2023-03-23
CN113808207B (zh) 2024-01-23
JP2023549865A (ja) 2023-11-29

Similar Documents

Publication Publication Date Title
EP3542211B1 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
EP3631570A2 (de) Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
WO2020103417A1 (zh) 一种bmi评测方法、装置及计算机可读存储介质
DE102013210478A1 (de) Geometrische vorkorrektur zur automatischen nummernschilderkennung
DE102010001520A1 (de) Durch einen Flugzeugsensor unterstütztes Iriserfassungssystem und -Verfahren
CN105303150B (zh) 实现图像处理的方法和系统
WO2015117905A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
EP3160326B1 (de) Verfahren für eine sehschärfebestimmung
WO2018107872A1 (zh) 一种体型预测方法及设备
DE112020003158T5 (de) Trainingsverfahren für ein Zielerfassungsmodell, Verfahren und Vorrichtung zur Kennzeichnung der Daten
Xu et al. Learning to predict saliency on face images
EP3685303A1 (de) Verfahren zur erkennung einer objektinstanz und/oder orientierung eines objekts
DE102018113992A1 (de) Verfahren und Gerät zum Erfassen einer Fahrspur
DE112022000174T5 (de) Verfahren und System zur binokularenAbstandsmessung abzielend auf Kinder
CN111753635A (zh) 化学实验操作的智能评分方法、装置及存储介质
DE112022000165T5 (de) Verfahren und System zum Erfassen der Sitzhaltung eines Kindes basierend auf der Gesichtserkennung eines Kindes
DE112022000166T5 (de) Verfahren und System zur intelligenten Verwaltung und Steuerung der Nutzung von Bildschirmterminals durch Kinder
EP3574370B1 (de) Computerimplementiertes verfahren zur bestimmung einer repräsentation eines brillenfassungsrands oder einer repräsentation der ränder der gläser einer brille
DE112017007247B4 (de) Bildverarbeitungsvorrichtung
EP3123393B1 (de) Verfahren zur optischen erkennung von zeichen
DE112020005223T5 (de) Objektverfolgungseinrichtung und Objektverfolgungsverfahren
DE102014108924B4 (de) Ein halbüberwachtes Verfahren zum Trainiern eines Hilfsmodells zur Erkennung und Erfassung von Mehrfachmustern
DE102015003537B4 (de) Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras