-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft eine Pulswellen-Schätzvorrichtung und ein Pulswellen-Schätzverfahren.
-
HINTERGRUND
-
In der in der Patentliteratur 1 beschriebenen Vorrichtung zur Messung biologischer Informationen, die den Zustand eines lebenden Körpers, beispielsweise den Blutdruck, berührungslos misst, ist es erforderlich, einen Hautbereich zur Messung des Blutdrucks in einem Bild eines Gesichtsorgans in jedem einer Vielzahl von Bild-Frames, in denen der lebende Körper abgebildet wird, festzulegen. Um den Hautbereich festzulegen, führt die Vorrichtung zur Messung biologischer Informationen beispielsweise eine Verarbeitung zur Erkennung des Gesichtsorgans durch, bei der eine Position des Gesichtsorgans in einem ersten Bild-Frame erkannt wird. Andererseits führt die Vorrichtung zur Messung biologischer Informationen eine Verfolgungsverarbeitung an einer Vielzahl von Bild-Frames im Anschluss an das erste Bild-Frame durch, anstatt die Gesichtsorgan-Erkennungsverarbeitung durchzuführen. Die Verfolgungsverarbeitung ist eine Verarbeitung der Festlegung der Position des Hautbereichs im Ziel-Bild-Frame durch Bezugnahme auf die Position des Hautbereichs im vorherigen Bild-Frame.
-
Wenn eine Bewegung im Gesichtsorgan des lebenden Körpers zwischen den Bild-Frames vor und nach der Tracking-Verarbeitung auftritt, beispielsweise wenn eine Änderung des Gesichtsausdrucks, eine Bewegung der Position des Gesichts oder Ähnliches auftritt, tritt eine Abweichung zwischen der Position des Hautbereichs in dem Bild-Frame vor der Tracking-Verarbeitung, d.h. bevor die Bewegung des Gesichtsorgans auftritt, und der Position des Hautbereichs in dem Bild-Frame nach der Tracking-Verarbeitung, d.h. nachdem die Bewegung des Gesichtsorgans auftritt, auf. Wenn die Tracking-Verarbeitung nacheinander an einer Vielzahl von aufeinanderfolgenden Bild-Frames durchgeführt wird, akkumuliert sich daher die oben beschriebene Abweichung. Um die akkumulierte Abweichung zu beseitigen, d.h. sie zurückzusetzen, führt die Vorrichtung zur Messung biologischer Informationen in Intervallen von einer vorbestimmten Anzahl von Bild-Frames eine Rücksetzungsverarbeitung durch, bei der es sich um die Verarbeitung der Gesichtsorganerkennung handelt.
-
ZITATENLISTE
-
PATENTLITERATUR
-
Patentliteratur 1:
JP 2016-190022 A -
ZUSAMMENFASSUNG DER ERFINDUNG
-
TECHNISCHE AUFGABENSTELLUNG
-
Die Vorrichtung zur Messung biologischer Informationen weist jedoch ein Problem auf. Das Problem besteht darin, dass die akkumulierte Abweichung zwischen der Position des Hautbereichs, der durch die Gesichtsorgan-Erkennungsverarbeitung in dem ersten Bild-Frame erkannt wurde, und der Position des Hautbereichs, der durch die Verfolgungsverarbeitung in einem anderen Bild-Frame erkannt wurde, an dem die Rücksetzungsverarbeitung nicht durchgeführt wird, auftritt, weil der andere Bild-Frame dem ersten Bild-Frame folgt, ohne von dem ersten Bild-Frame durch nicht weniger als die oben beschriebene vorbestimmte Anzahl von Bild-Frames getrennt zu sein, weil die Verfolgungsverarbeitung sequentiell zwischen dem ersten Bild-Frame und dem anderen Bild-Frame durchgeführt wird.
-
Die Vorrichtung zur Messung biologischer Informationen weist ein weiteres Problem auf. Das Problem besteht darin, dass in den Bild-Frames vor und nach der Rücksetzverarbeitung die akkumulierte Abweichung zwischen der Position des Hautbereichs mit der akkumulierten Abweichung in dem Bild-Frame vor der Rücksetzverarbeitung und der Position des Hautbereichs ohne Abweichung als Ergebnis der Rücksetzverarbeitung in dem Bild-Frame nach der Rücksetzverarbeitung auftritt.
-
Eine Aufgabe der vorliegenden Offenbarung ist es, eine Pulswellen-Schätzvorrichtung vorzusehen, die mindestens eines der beiden oben beschriebenen Probleme löst.
-
LÖSUNG DER AUFGABENSTELLUNG
-
Um das obige Problem zu lösen, umfasst eine Pulswellen-Schätzvorrichtung gemäß der vorliegenden Offenbarung: eine Erfassungseinheit zum Erfassen einer Vielzahl von aufeinanderfolgenden Bild-Frames eines Objekts, dessen Pulswelle zu schätzen ist, wobei die Bild-Frames ein erstes Bild-Frame umfassen, das vor einem zweiten Bild-Frame liegt, und das zweite Bild-Frame, das nach dem ersten Bild-Frame liegt; eine Erkennungseinheit zum Erkennen eines Gesichtsorgan-Punktes, der eine Position eines Gesichtsorgans des Objekts in dem ersten Bild-Frame angibt; eine Erkennungseinheit zum Erkennen eines Gesichtsorganpunkts, der eine Position eines Gesichtsorgans des Objekts im ersten Bild-Frame angibt; eine Verfolgungseinheit zum Setzen eines Verfolgungspunkts, der eine Position des Gesichtsorgans im zweiten Bild-Frame durch Bezugnahme auf den ersten Bild-Frame angibt; eine erste Einstelleinheit zum Setzen einer Position eines Messbereichs im ersten Bild-Frame auf der Grundlage des erkannten Gesichtsorganpunkts im ersten Bild-Frame, wobei der Messbereich ein Bereich ist, in dem ein Luminanzwert zum Schätzen der Pulswelle zu messen ist; eine zweite Einstelleinheit zum Einstellen einer Position des Messbereichs in dem zweiten Bild-Frame auf der Grundlage des eingestellten Verfolgungspunkts in dem zweiten Bild-Frame; eine Messeinheit zum Messen eines Luminanzwerts eines Pixels in dem eingestellten Messbereich in dem ersten Bild-Frame und eines Luminanzwerts eines Pixels in dem eingestellten Messbereich in dem zweiten Bild-Frame; und eine Schätzeinheit zum Schätzen der Pulswelle des Objekts auf der Grundlage einer Luminanzdifferenz, die eine Differenz zwischen dem gemessenen Luminanzwert des Messbereichs in dem ersten Bild-Frame und dem gemessenen Luminanzwert des Messbereichs in dem zweiten Bild-Frame ist.
-
VORTEILHAFTE EFFEKTE DER ERFINDUNG
-
Gemäß der Pulswellen-Schätzvorrichtung der vorliegenden Offenbarung ist es möglich, eine Situation zu vermeiden, in der eine akkumulierte Abweichung auftritt, wenn die Tracking-Verarbeitung sequentiell durchgeführt wird. Gemäß der Pulswellen-Schätzvorrichtung der vorliegenden Offenbarung ist es möglich, eine Situation zu vermeiden, in der eine akkumulierte Abweichung zwischen Bild-Frames vor und nach der Rücksetzverarbeitung auftritt. Daher kann die Pulswellen-Schätzvorrichtung gemäß der vorliegenden Offenbarung die Pulswelle des Objekts mit höherer Genauigkeit schätzen als eine Pulswellen-Schätzvorrichtung, bei der mindestens eine der beiden akkumulierten Abweichungen auftritt.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
- 1 ist ein Funktionsblockdiagramm einer Pulswellen-Schätzvorrichtung 1 gemäß einer Ausführungsform.
- 2 veranschaulicht die Funktionsweise einer Aufnahmeeinheit 11 und einer Erkennungseinheit 12 gemäß dieser Ausführungsform.
- 3 veranschaulicht eine Konfiguration einer Einstelleinheit 13 gemäß der Ausführungsform.
- 4 veranschaulicht die Funktionsweise einer Gesichtsorgan-Erkennungseinheit 13A gemäß dieser Ausführungsform.
- 5 veranschaulicht die Funktionsweise einer Verfolgungseinheit 13B gemäß dieser Ausführungsform.
- 6 veranschaulicht eine Konfiguration der Pulswellen-Schätzvorrichtung 1 gemäß der Ausführungsform.
- 7 ist ein Flussdiagramm, das den Betrieb der Pulswellen-Schätzvorrichtung 1 gemäß dieser Ausführungsform zeigt.
- 8 ist ein Zeitdiagramm, das den Betrieb der Pulswellen-Schätzvorrichtung 1 gemäß dieser Ausführungsform veranschaulicht.
- 9 veranschaulicht den Betrieb einer Pulswellen-Schätzvorrichtung in einem vergleichenden Beispiel.
-
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Es wird eine Ausführungsform einer Pulswellen-Schätzvorrichtung gemäß der vorliegenden Offenbarung beschrieben.
-
<Erste Ausführungsform>
-
< Ausführungsform >
-
<Konfiguration der Ausführungsform>
-
1 ist ein funktionelles Blockdiagramm einer Pulswellen-Schätzvorrichtung 1 gemäß einer Ausführungsform.
-
Nachfolgend werden die Funktionen der Pulswellen-Schätzvorrichtung 1 der Ausführungsform unter Bezugnahme auf 1 beschrieben.
-
Wie in 1 dargestellt, umfasst die Pulswellen-Schätzvorrichtung 1 gemäß der Ausführungsform eine Aufnahmeeinheit 11, eine Erkennungseinheit 12, eine Einstelleinheit 13, eine Messeinheit 14 und eine Schätzeinheit 15, um eine Pulswelle auf der Grundlage der Leuchtdichte eines Pixels in einem fotografierten Bild zu schätzen.
-
Die Aufnahmeeinheit 11 korrespondiert zu einer „Erfassungseinheit“, die Messeinheit 14 korrespondiert zu einer „Messeinheit“ und die Schätzeinheit 15 korrespondiert zu einer „Schätzeinheit“. Die Korrespondenzbeziehung der Einstelleinheit 13 wird später beschrieben.
-
Wie später beschrieben, korrespondiert die Erkennungseinheit 12, die einen Hautbereich erkennt, nicht zu einer „Erkennungseinheit“, die einen Gesichtsorganpunkt erkennt. Andererseits korrespondiert eine Gesichtsorgan-Erkennungseinheit 13A in der Einstelleinheit 12, die eine Gesichtsorgan-Erkennungsverarbeitung und eine Verfolgungsverarbeitung durchführt, zu der „Erkennungseinheit“ und korrespondiert auch zu einer „ersten Einstelleinheit“.
-
Um die Beschreibung und das Verständnis zu erleichtern, können im Folgenden Bezugszeichen, bei denen an die Bezugszeichen angehängte Suffixe weggelassen werden, als Oberbegriff verwendet werden. Beispielsweise können die Bild-Frames F1 bis Fm zusammen als Bild-Frame (Einzelbild) F und die Hautbereiche S1 bis Sm zusammen als Hautbereich S bezeichnet werden.
-
2 veranschaulicht die Funktionsweise der Fotoeinheit 11 und der Erkennungseinheit 12 gemäß der Ausführungsform.
-
Die Aufnahmeeinheit 11 ist beispielsweise eine Kamera und nimmt ein Bild G eines Objekts (Person) T auf, dessen Pulswelle abgeschätzt werden soll, beispielsweise das Bild G, das auf den Oberkörper des Objekts T zentriert ist, insbesondere das Gesicht des Objekts T, wie in 2 dargestellt. Wie in 2 dargestellt, umfasst das Bild G eine Vielzahl von aufeinanderfolgenden Bild-Frames F1, F2, F3, ... und Fm. Dabei ist m eine ganze Zahl gleich oder größer als 2.
-
Beispielsweise liegt das Bild-Frame F1 vor dem Bild-Frame F2, und das Bild-Frame F2 liegt nach dem Bild-Frame F1. Ebenso liegt das Bild-Frame F2 vor dem Bild-Frame F3, und das Bild-Frame F3 liegt nach dem Bild-Frame F2.
-
Die Aufnahmeeinheit 11 gibt die Vielzahl der fotografierten Bild-Frames F1 bis Fm an die Erkennungseinheit 12 aus.
-
Wie in 2 dargestellt, erkennt die Erkennungseinheit 12 beispielsweise den Hautbereich S1 aus dem Bild-Frame F1. Der Hautbereich S1 ist ein rechteckiger Bereich, der die Position, Form, Größe und dergleichen des gesamten Gesichts des Objekts T im Bild-Frame F1 darstellt.
-
Die Erkennungseinheit 12 erkennt die Hautbereiche S2, S3,..., Sm aus den anderen Bild-Frames F2, F3,..., Fm ähnlich wie die Erkennung des Hautbereichs S1 aus dem Bild-Frame F1.
-
Nachfolgend werden zur leichteren Beschreibung und zum besseren Verständnis beispielsweise sowohl der Hautbereich S1 selbst als auch die den Hautbereich S1 angebende Information gemeinsam als Hautbereich S1 bezeichnet. Dasselbe gilt für die anderen Hautregionen S2 bis Sm.
-
Die Hautregionen S1 bis Sm können andere Abschnitte des Objekts T darstellen, beispielsweise Positionen des Nackens, der Schultern, der Arme, der Hände und dergleichen des Objekts T, anstelle des oben beschriebenen Gesichts des Objekts T. Die Hautbereiche S1 bis Sm können die Position und dergleichen eines Abschnitts des Gesichts des Objekts T darstellen, beispielsweise eines Abschnitts, der eine oder mehrere der Stirn, der Augenbrauen, der Augen, der Nase, des Mundes, der Wangen, des Kinns und dergleichen des Gesichts des Objekts T umfasst, anstelle des gesamten Gesichts des Objekts T. In den Hautbereichen S1 bis Sm ist die Anzahl des gesamten Gesichts des Objekts T und des Abschnitts des Gesichts des Objekts T nicht begrenzt. Genauer gesagt können die Hautregionen S1 bis Sm nur eine darstellen, beispielsweise die Position des gesamten Gesichts des Objekts T oder dergleichen, oder sie können zwei darstellen, beispielsweise die Position der rechten Wange des Objekts T und die Position der linken Wange des Objekts T oder dergleichen, oder sie können ferner drei darstellen, beispielsweise die Position der Nase des Objekts T, die Position des Mundes des Objekts T und die Position des Kinns des Objekts T oder dergleichen.
-
Zurück zu 1, die Erkennungseinheit 12 gibt die Vielzahl von Bild-Frames F1 bis Fm und die Vielzahl von Hautregionen S1 bis Sm an die Einstelleinheit 13 aus.
-
3 zeigt eine Konfiguration der Einstelleinheit 13 gemäß der Ausführungsform.
-
Wie in 3 dargestellt, umfasst die Einstelleinheit 13 die Gesichtsorgan-Erkennungseinheit 13A und eine Verfolgungseinheit 13B. Die Gesichtsorgan-Erkennungseinheit 13A korrespondiert zu der „Erkennungseinheit“ und der „ersten Einstelleinheit“, und die Verfolgungseinheit 13B korrespondiert zu einer „Verfolgungseinheit“ und einer „zweiten Einstelleinheit“.
-
Um es zu ermöglichen, eine Luminanzdifferenz (Leuchtdichtedifferenz) zwischen zwei vorhergehenden und nachfolgenden Frames zu berechnen, beispielsweise eine Luminanzdifferenz zwischen dem Bild-Frame F2 und dem unmittelbar folgenden Bild-Frame F3, führt die Gesichtserkennungseinheit 13A die Gesichtsorganerkennungsverarbeitung an dem vorhergehenden Bild-Frame F2 durch.
-
Ähnlich wie die Gesichtserkennungseinheit 13A ermöglicht die Verfolgungseinheit 13B die Berechnung einer Luminanzdifferenz zwischen zwei vorhergehenden und nachfolgenden Bildern; die Verfolgungseinheit 13B unterscheidet sich jedoch von der Gesichtsorganerkennungseinheit 13A. Um beispielsweise die Berechnung einer Luminanzdifferenz zwischen dem Bild-Frame F2 und dem unmittelbar vorangehenden Bild-Frame F1 zu ermöglichen, führt die Verfolgungseinheit 13B die Verfolgungsverarbeitung an dem folgenden Bild-Frame F2 durch.
-
Um die Gesichtsorgan-Erkennungsverarbeitung durch die Gesichtsorgan-Erkennungseinheit 13A und die Verfolgungsverarbeitung durch die Verfolgungseinheit 13B zusammenzufassen, werden die Gesichtsorgan-Erkennungsverarbeitung und die Verfolgungsverarbeitung für jedes der Bild-Frames F2, F3, .... durchgeführt.
-
Beispielsweise legt die Gesichtsorgan-Erkennungseinheit 13A in dem von der Erkennungseinheit 12 empfangenen Hautbereich S1 einen oder mehrere rechteckige Messbereiche KR1(1) bis KR1(n) fest (dargestellt in 4), in denen die Leuchtdichte zur Schätzung einer Pulswelle des Objekts T zu messen ist. Dabei ist n eine ganze Zahl gleich oder größer als 1.
-
4 veranschaulicht den Betrieb der Gesichtsorgan-Erkennungseinheit 13A für Gesichtsorgane gemäß dieser Ausführungsform.
-
Die Gesichtsorgan-Erkennungseinheit 13A verwendet beispielsweise ein eingeschränktes lokales Modell (CLM), das ein Modell eines konventionell bekannten Gesichtsorgan-Erkennungsverfahrens ist. Die Gesichtsorgan-Erkennungseinheit 13A führt die Verarbeitung der Gesichtsorgan-Erkennung unter Verwendung des CLM durch. Konkret erkennt die Gesichtsorgan-Erkennungseinheit 13A die Koordinatenwerte einer Vielzahl von Gesichtsorganpunkten KK1(1) bis KK1(p) im Hautbereich S1, beispielsweise wie in 4 (im linken Bild) dargestellt. Dabei sind die Gesichtsorganpunkte KK1(1) bis KK1(p) Merkmalspunkte zur Bestimmung des Gesichts des Objekts T. p ist eine ganze Zahl gleich oder größer als 2.
-
Im Anschluss an die Gesichtsorgan-Erkennungsverarbeitung, wie in 4 (im rechten Rahmen) dargestellt, setzt die Gesichtsorgan-Erkennungseinheit 13A die Koordinatenwerte der Messbereiche KR1(1) bis KR1(n) unter Verwendung der für den Hautbereich S1 erkannten Gesichtsorganpunkte KK1(1) bis KK1(p) als Referenzen (4 (im linken Rahmen)).
-
Auch für die Hautregionen S2 bis Sm außer der Hautregion S1 führt die Gesichtsorgan-Erkennungseinheit 13A eine ähnliche Verarbeitung wie für die Hautregion S1 durch, d.h. sie erkennt die Koordinatenwerte des Gesichtsorganpunktes KK und setzt die Koordinatenwerte des Messbereichs KR.
-
Beispielsweise erkennt die Gesichtsorgan-Erkennungseinheit 13A die Koordinatenwerte einer Vielzahl von Gesichtsorganpunkten KK2(1), KK2(2),... (Nicht gezeigt.) im Hautbereich S2, und setzt die Koordinatenwerte einer Vielzahl von Messbereichen KR2(1), KR2(2),... (Nicht gezeigt.).
-
5 veranschaulicht eine Funktionsweise der Tracking-Einheit 13B der Ausführungsform.
-
Die Verfolgungseinheit 13B führt die Verfolgungsverarbeitung zwischen vorhergehenden und nachfolgenden Bild-Frames unter Verwendung eines Kanade-Lucas-Tomasi (KLT)-Trackers durch, der eine herkömmlich bekannte Verfolgungstechnologie ist.
-
Wie in 5 dargestellt, führt die Verfolgungseinheit 13B die Verfolgungsverarbeitung beispielsweise auf der Grundlage des Bild-Frames F1, des Hautbereichs S1 im Bild-Frame F1 und des Bild-Frames F2 im Anschluss an den Bild-Frame F1 durch. Infolgedessen setzt die Verfolgungseinheit 13B, wie in 5 dargestellt, Koordinatenwerte von Verfolgungspunkten TR2(1), TR2(2), TR2(3), TR2(4), ..., die Merkmalspunkte zur Bestimmung des Gesichts des Objekts T sind, in der Hautregion S2 des Bild-Frames F2.
-
Im Anschluss an die Tracking-Verarbeitung, wie in 5 dargestellt, setzt die Gesichtsorgan-Erkennungseinheit 13B die Koordinatenwerte der Messbereiche KR2(1), KR2(2), KR2(3),... unter Verwendung der Tracking-Punkte TR2(1), TR2(2), TR2(3), TR2(4),... als Referenzen.
-
Vergleicht man die Gesichtsorgan-Erkennungseinheit 13A mit der Verfolgungseinheit 13B, so verwendet die Gesichtsorgan-Erkennungseinheit 13A die oben beschriebenen Gesichtsorgan-Punkte KK1(1) bis KK1(p) (in 4. dargestellt) als Referenzen, während die Verfolgungseinheit 13B die oben beschriebenen Verfolgungspunkte TR2(1), TR2(2), TR2(3), TR2(4),... (dargestellt in 5.) als Referenzen verwendet.
-
Auch für die Hautbereiche S3 bis Sm außer dem Hautbereich S2 führt die Verfolgungseinheit 13B eine ähnliche Verarbeitung wie für den Hautbereich S2 durch, d.h. sie setzt die Koordinatenwerte des Verfolgungspunkts TR und setzt die Koordinatenwerte des Messbereichs KR.
-
Wie in 1 dargestellt, gibt die Einstelleinheit 13 die Messbereiche KR aus, d.h. die Messbereiche KR1(1), KR1(2), ... (dargestellt in 4.), KR2(1), KR2(2),... (dargestellt in 5.), KRm(1), KRm(2),... (nicht dargestellt.) für die Hautbereiche S1 bis Sm an die Messeinheit 14.
-
Zurückkommend auf 1 wird die Beschreibung der Konfiguration der Pulswellen-Schätzvorrichtung 1 fortgesetzt.
-
Die Messeinheit 14 misst den Leuchtdichtewert des Pixels in jedem der Messbereiche KR der vorhergehenden und nachfolgenden Bild-Frames F, die von der Einstelleinheit 13 empfangen wurden, und erzeugt ein Leuchtdichtesignal, das eine Differenz zwischen den gemessenen Leuchtdichtewerten in Zeitreihen angibt.
-
Beispielsweise berechnet die Berechnungseinheit 14 für die in 5 dargestellten Bild-Frames F1 und F2 eine Differenz zwischen einem Durchschnittswert der Leuchtdichtewerte einer Vielzahl von Pixeln, die in dem Messbereich KR1(1) in dem Bild-Frame F1 umfasst sind, und einem Durchschnittswert der Leuchtdichtewerte einer Vielzahl von Pixeln, die in dem Messbereich KR2(1) umfasst sind, der dem Messbereich KR1(1) des Bild-Frames F1 zugehört und der sich in dem Bild-Frame F2 befindet.
-
Anschließend berechnet die Berechnungseinheit 14 eine Differenz zwischen einem Durchschnittswert der Luminanzwerte (Leuchtdichtewerte) einer Vielzahl von Pixeln, die in dem Messbereich KR2(1) in dem Bild-Frame F2 umfasst sind, und einem Durchschnittswert der Luminanzwerte einer Vielzahl von Pixeln, die in dem Messbereich KR3(1) (nicht gezeigt) umfasst sind, der dem Messbereich KR2(1) des Bild-Frame F2 zugehört und der sich in dem Bild-Frame F3 (nicht gezeigt) befindet.
-
Anschließend berechnet die Berechnungseinheit 14 ferner eine Differenz zwischen einem Durchschnittswert der Luminanzwerte einer Vielzahl von Pixeln, die in dem Messbereich KR3(1) in dem Bild-Frame F3 umfasst sind, und einem Durchschnittswert der Luminanzwerte einer Vielzahl von Pixeln, die in dem Messbereich KR4(1) (nicht gezeigt) umfasst sind, der dem Messbereich KR3(1) des Bild-Frames F3 zugehört und der sich in dem Bild-Frame F4 (nicht gezeigt) befindet.
-
Die Messeinheit 14 kann beispielsweise einen Varianzwert anstelle des oben beschriebenen Durchschnittswerts verwenden.
-
Die Messeinheit 14 führt die gleiche Verarbeitung wie oben beschrieben auch an den Messbereichen KR der Bild-Frames F außer den oben beschriebenen Messbereichen KR1(1), KR2(1), KR3(1) und KR4(1) der Bild-Frames F1, F2, F3 und F4 durch. Wie in 1 dargestellt, gibt die Messeinheit 14 ein Luminanzsignal (Leuchtdichtesignal) KS, das eine Pixeldifferenz zwischen den Messbereichen KR des vorhergehenden und des nachfolgenden Bild-Frames F angibt, an die Schätzeinheit 15 aus.
-
Die Schätzeinheit 15 schätzt eine Pulswelle MH auf der Grundlage des von der Messeinheit 14 empfangenen Luminanzsignals KS. Die Schätzeinheit 15 berechnet ferner eine Pulsrate MS auf der Grundlage der geschätzten Pulswelle MH. Die Schätzeinheit 15 gibt mindestens eine der geschätzten Pulswelle MH und der berechneten Pulsrate MS aus.
-
6 zeigt eine Konfiguration der Pulswellen-Schätzvorrichtung 1 gemäß der Ausführungsform.
-
Wie in 6 dargestellt, umfasst die Pulswellen-Schätzvorrichtung 1 gemäß der Ausführungsform eine Eingabeeinheit 1N, einen Prozessor 1P, eine Ausgabeeinheit 1S, ein Speichermedium 1K und einen Speicher 1M zur Durchführung der oben beschriebenen Funktionen.
-
Die Eingabeeinheit 1N umfasst beispielsweise eine Kamera, ein Mikrofon, eine Tastatur, eine Maus oder ein Touchpanel. Der Prozessor 1P ist ein Kern eines bekannten Computers, der die Hardware in Übereinstimmung mit der Software betreibt. Die Ausgabeeinheit 1S umfasst beispielsweise einen Flüssigkristallmonitor, einen Drucker oder ein Touchpanel. Der Speicher 1M umfasst beispielsweise einen dynamischen Direktzugriffsspeicher (DRAM) oder einen statischen Direktzugriffsspeicher (SRAM). Das Speichermedium 1K umfasst beispielsweise ein Festplattenlaufwerk (HDD), ein Solid State Drive (SSD) oder einen Festwertspeicher (ROM).
-
Das Speichermedium 1K speichert ein Programm 1PR. Das Programm 1PR ist eine Befehlsgruppe, die den Inhalt der vom Prozessor 1P auszuführenden Verarbeitung definiert.
-
Hinsichtlich der Beziehung zwischen den Funktionen und der Konfiguration der Pulswellen-Schätzvorrichtung 1 führt der Prozessor 1P das in dem Speichermedium 1K gespeicherte Programm 1PR unter Verwendung des Speichers 1M hardwaremäßig aus und steuert die Operationen der Eingabeeinheit 1N und der Ausgabeeinheit 1S nach Bedarf, wodurch die Funktionen der jeweiligen Einheiten, die die Aufnahmeeinheit 11 und die Schätzeinheit 15 umfassen, implementiert werden.
-
<Betrieb der Ausführungsform>
-
7 ist ein Flussdiagramm, das den Betrieb der Pulswellen-Schätzvorrichtung 1 der Ausführungsform illustriert. 8 ist ein Zeitdiagramm, das den Betrieb der Pulswellen-Schätzvorrichtung 1 gemäß der Ausführungsform illustriert. Nachfolgend wird der Betrieb der Pulswellen-Schätzvorrichtung 1 unter Bezugnahme auf das Flussdiagramm von 7 und das Zeitdiagramm von 8 beschrieben.
-
Um die Beschreibung und das Verständnis zu erleichtern, werden im Folgenden die Suffixe „(KK)“ und „(TR)“ an die Messbereiche KR angehängt. Das Suffix „(KK)“ steht für die Verarbeitung der Erkennung von Gesichtsorganen und das Suffix „(TR)“ für die Verarbeitung der Verfolgung.
-
Schritt ST11: Wie in 2 dargestellt, fotografiert die Aufnahmeeinheit 11 das Bild G des Objekts T, dessen Pulswelle zu schätzen ist, d.h. eine Vielzahl von Bild-Frames F1 bis Fm. Die Aufnahmeeinheit 11 gibt die Vielzahl der fotografierten Bild-Frames F1 bis Fm an die Erkennungseinheit 12 aus.
-
Schritt ST12: Wie in 2 dargestellt, extrahiert die Erkennungseinheit 12 die Vielzahl von Hautbereichen S1 bis Sm aus der Vielzahl von Bild-Frames F1 bis Fm. Die Erkennungseinheit 12 gibt die Vielzahl der Bild-Frames F1 bis Fm und die Vielzahl der Hautregionen S1 bis Sm sequentiell an die Einstelleinheit 13 aus.
-
Schritt ST13: Wenn das Bild-Frame F1 von der Erkennungseinheit 12 ausgegeben wird, erkennt die Gesichtsorgan-Erkennungseinheit 13A in der Einstelleinheit 13 die Koordinatenwerte einer Vielzahl von Gesichtsorgan-Punkten KK1 (nicht dargestellt) in der Hautregion S1 des Bild-Frame F1, wie in 8 dargestellt, da das Bild-Frame F1 das erste Bild-Frame ist. Die Gesichtsorgan-Erkennungseinheit 13A setzt auch die Koordinatenwerte des Messbereichs KR1(KK) in dem Hautbereich S1 unter Verwendung der erkannten Koordinatenwerte der Vielzahl von Gesichtsorganpunkten KK1 als Referenzen, beispielsweise wie in 8 dargestellt.
-
Schritt ST14A: Wenn das Bild-Frame F2, das auf das Bild-Frame F1 folgt, von der Erkennungseinheit 12 ausgegeben wird, führt die Verfolgungseinheit 13B in der Einstelleinheit 13 zunächst die Verfolgungsverarbeitung auf der Grundlage des Bild-Frame F1, des Hautbereichs S1 und des Bild-Frame F2 durch, wie in 8 dargestellt, da das Bild-Frame F2 das zweite Bild-Frame ist. Infolgedessen setzt die Verfolgungseinheit 13B eine Vielzahl von Verfolgungspunkten TR2 (nicht gezeigt) in der Hautregion S2 im Bild-Frame F2. Wie in 8 dargestellt, stellt die Verfolgungseinheit 13B die Koordinatenwerte des Messbereichs KR2(TR) so ein, dass sie dem Messbereich KR1(KK) zugehören, wobei die Vielzahl der gesetzten Verfolgungspunkte TR2 als Referenzen verwendet werden.
-
Schritt ST14B: Als nächstes erkennt die Gesichtsorgan-Erkennungseinheit 13A in der Einstelleinheit 13, wie in 8 dargestellt, die Koordinatenwerte einer Vielzahl von Gesichtsorgan-Punkten KK2 (nicht gezeigt) im Hautbereich S2 des Bild-Frame F2. Die Gesichtsorgan-Erfassungseinheit 13A setzt auch die Koordinatenwerte des Messbereichs KR2(KK) in dem Hautbereich S2 unter Verwendung der erkannten Koordinatenwerte der Vielzahl von Gesichtsorganpunkten KK2 als Referenzen, wie in 8 dargestellt.
-
Schritt ST15A: Wenn das Bild-Frame F3 von der Erkennungseinheit 12 ausgegeben wird, führt die Verfolgungseinheit 13B in der Einstelleinheit 13 zunächst die Verfolgung auf der Grundlage des Bild-Frame F2, des Hautbereichs S2 und des Bild-Frame F3 durch, wie in 8 ähnlich wie in Schritt ST14A dargestellt, da der Bild-Frame F3 das dritte Bild-Frame ist. Infolgedessen setzt die Tracking-Einheit 13B eine Vielzahl von Tracking-Punkten TR3 (nicht gezeigt) im Hautbereich S3 im Bild-Frame F3. Die Verfolgungseinheit 13B setzt Koordinatenwerte des Messbereichs KR3(TR) so, dass sie dem Messbereich KR2(KK) zugehören, wobei die Vielzahl der gesetzten Verfolgungspunkte TR3 als Referenzen verwendet werden.
-
Schritt ST15B: Als nächstes erkennt die Gesichtsorgan-Erkennungseinheit 13A in der Einstelleinheit 13, wie in Schritt ST14B, Koordinatenwerte von Gesichtsorgan-Punkten KK3 (nicht gezeigt) im Hautbereich S3 des Bild-Frames F3, wie in 8 dargestellt. Die Gesichtsorgan-Erfassungseinheit 13A setzt auch die Koordinatenwerte des Messbereichs KR3(KK) im Hautbereich S3 unter Verwendung der erkannten Koordinatenwerte der Gesichtsorganpunkte als Referenzen.
-
Die nachfolgenden Bild-Frames F4, F6,..., und Fm werden ebenfalls in der gleichen Weise verarbeitet wie in den oben beschriebenen Schritten ST15A und ST15B.
-
Schritt ST16: Die Messeinheit 14 misst den Leuchtdichtewert des Messbereichs KR, und zwar den Messbereich KR1(KK), den Messbereich KR2(TR), den Messbereich KR2(KK), den Messbereich KR3(TR),....
-
Die Messeinheit 14 berechnet nach der oben beschriebenen Messung eine Leuchtdichtedifferenz KD. Beispielsweise berechnet die Berechnungseinheit 14 einen Durchschnittswert der Leuchtdichtewerte der Pixel in dem in 8 dargestellten Messbereich KR1(KK) und einen Durchschnittswert der Leuchtdichtewerte der Pixel in dem in 8 dargestellten Messbereich KR2(TR) und berechnet ferner eine Differenz zwischen den beiden Durchschnittswerten, d.h. eine Leuchtdichtedifferenz KD(1-2). In ähnlicher Weise berechnet beispielsweise die Berechnungseinheit 14 einen Durchschnittswert der Leuchtdichtewerte der Pixel in dem in 8 dargestellten Messbereich KR2(KK) und einen Durchschnittswert der Leuchtdichtewerte der Pixel in dem in 8 dargestellten Messbereich KR3(TR) und berechnet ferner eine Differenz zwischen den beiden Durchschnittswerten, d. h. eine Leuchtdichtedifferenz KD(2-3). Die Messeinheit 14 berechnet auf ähnliche Weise die Leuchtdichtedifferenz KD zwischen den anderen Bild-Frames F3, F4, .... Die Messeinheit 14 gibt das Leuchtdichtesignal KS aus, das die Leuchtdichtedifferenz KD(1-2), die Leuchtdichtedifferenz KD(2-3) angibt,....
-
Schritt ST17: Wenn das Leuchtdichtesignal KS von der Messeinheit 14 ausgegeben wird, schätzt die Schätzeinheit 15 die Pulswelle MH auf der Grundlage des Leuchtdichtesignals KS. Die Schätzeinheit 15 berechnet auch die Pulsrate MS auf der Grundlage der geschätzten Pulswelle MH. Die Schätzeinheit 15 gibt mindestens eine der geschätzten Pulswelle MH und der berechneten Pulswellenzahl MS aus.
-
<Effekte der Ausführungsform>
-
Wie oben beschrieben, setzt gemäß der Pulswellen-Schätzvorrichtung 1 der Ausführungsform die Gesichtsorgan-Erkennungseinheit 13A den Messbereich KR1(KK) auf der Basis der Gesichtsorganpunkte KK1 für den Bild-Frame F1. Weiterhin setzt die Tracking-Einheit 13B den Messbereich KR2(TR) auf der Basis der Tracking-Punkte TR2 für das auf das Bild-Frame F1 folgende Bild-Frame F2, und die Gesichtsorgan-Erfassungseinheit 13A setzt den Messbereich KR2(KK) auf der Basis der Gesichtsorgan-Punkte KK2 für das Bild-Frame F2. Darüber hinaus werden die Messbereiche KR(KK) und KR(TR) in ähnlicher Weise für die nachfolgenden Bild-Frames F3 bis Fm festgelegt. Nach der oben beschriebenen Einstellung misst die Messeinheit 14 die Pixelwerte in den Messbereichen KR(KK) und KR(TR) und berechnet die Leuchtdichtedifferenz KD der gemessenen Pixelwerte zwischen dem vorhergehenden und dem nachfolgenden Messbereich KR. Dann schätzt die Schätzeinheit 15 die Pulswelle MH und berechnet die Pulswellenzahl MS auf der Basis der Leuchtdichteunterschiede KD(1-2), KD(2-3),....
-
Dadurch kann eine Situation vermieden werden, in der die Abweichung weiterhin akkumuliert wird, wenn die Verfolgung weiterhin sequentiell durchgeführt wird. Darüber hinaus ist es auch möglich, eine Situation zu vermeiden, in der die akkumulierte Abweichung zwischen Bild-Frames vor und nach der konventionellen Rücksetzverarbeitung auftritt.
-
Infolgedessen kann die Luminanzdifferenz KD zwischen den Messbereichen KR1(KK) und KR2(TR), die Luminanzdifferenz KD zwischen KR2(KK) und KR3(TR), ... mit höherer Genauigkeit als zuvor gemessen werden. Infolgedessen können die Schätzung der Pulswelle MH des Objekts T und die Berechnung der Pulswellenzahl MS mit höherer Genauigkeit als zuvor durchgeführt werden.
-
Vergleichsbeispiel.
-
< Vergleichsbeispiel >
-
9 veranschaulicht einen Betrieb einer Pulswellen-Schätzvorrichtung eines Vergleichsbeispiels.
-
In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels, wie in 9 dargestellt, wird der Messbereich KR1(KK) durch Ausführen der Gesichtsorgan-Erkennungsverarbeitung nur auf dem ersten Bild-Frame F1 festgelegt, und andererseits werden die Messbereiche KR2(TR), KR3(TR),... durch Ausführen der Verfolgungsverarbeitung ohne Ausführen der Gesichtsorgan-Erkennungsverarbeitung auf der nachfolgenden Vielzahl von anderen Bild-Frames F2, F3, .... festgelegt.
-
Genauer gesagt wird eine Vielzahl von Gesichtsorganpunkten KK1 (nicht gezeigt) erkannt, indem die Gesichtsorganerkennungsverarbeitung an dem Bild-Frame F1 als dem ersten Bild-Frame durchgeführt wird, und der Messbereich KR1(KK) wird in dem Hautbereich S1 unter Verwendung der Vielzahl von erkannten Gesichtsorganpunkten KK1 als Referenzen festgelegt.
-
In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels wird die Tracking-Verarbeitung auf dem Bild-Frame F2 im Anschluss an den Bild-Frame F1 auf der Grundlage des Bild-Frames F1, des Hautbereichs S1 und des Bild-Frames F2 durchgeführt, ohne die Gesichtsorgan-Erkennungsverarbeitung durchzuführen, so dass eine Vielzahl von Tracking-Punkten TR2 (nicht gezeigt) erkannt wird. Dann wird der Messbereich KR2(TR) im Hautbereich S2 unter Verwendung der erkannten Tracking-Punkte TR2 als Referenzen festgelegt. In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels werden die Messbereiche KR3(TR),..., und KR(k-1) (TR) gesetzt, indem die Tracking-Verarbeitung analog zum Bild-Frame F2 auch für die dem Bild-Frame F2 folgenden Bild-Frames F3,..., und F(k-1) fortgesetzt wird.
-
Andererseits wird in der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels bestimmt, dass die Verfolgungsverarbeitung in Intervallen von ungefähr k (k ist eine vorbestimmte positive ganze Zahl) Bild-Frames gestoppt, d.h. die Verfolgungsverarbeitung zurückgesetzt werden sollte. Dementsprechend wird in der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels die Verfolgungsverarbeitung gestoppt, d.h. die Verfolgungsverarbeitung wird für den Bild-Frame F(k) zurückgesetzt, und dann wird die Gesichtsorgan-Erkennungsverarbeitung für den Bild-Frame F(k) ähnlich wie die Gesichtsorgan-Erkennungsverarbeitung für den Bild-Frame F1 durchgeführt. Als Ergebnis wird eine Vielzahl von Gesichtsorganpunkten KK(k) (nicht gezeigt) erkannt, und der Messbereich KR(k)(KK) wird in dem Hautbereich S(k) unter Verwendung der Vielzahl von erkannten Gesichtsorganpunkten KK(k) als Referenzen festgelegt. In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels wird der Messbereich KR(k+1) (TR) und dergleichen durch Fortsetzen der Verfolgungsverarbeitung für den Bild-Frame F(k+1) und dergleichen im Anschluss an den Bild-Frame F(k) ähnlich wie der Bild-Frame F2 und dergleichen im Anschluss an den Bild-Frame F1 festgelegt.
-
In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels wird, wie oben beschrieben, die Gesichtsorgan-Erkennungsverarbeitung an den Bild-Frames F1, F(k), ... durchgeführt, und andererseits wird die Verfolgungsverarbeitung an anderen Bild-Frames F2, F3, ... im Anschluss an das Bild-Frame F1, das Bild-Frame F(k+1) im Anschluss an das Bild-Frame F(k) und dergleichen durchgeführt, ohne die Gesichtsorgan-Erkennungsverarbeitung durchzuführen. Infolgedessen wird in der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels die Verfolgungsverarbeitung sequentiell in der Weise durchgeführt, dass die Verfolgungsverarbeitung für das Bild-Frame F2, die Verfolgungsverarbeitung für das Bild-Frame F3, die Verfolgungsverarbeitung für das Bild-Frame F4 (nicht gezeigt.),.... Da die Verfolgungsverarbeitung sequentiell durchgeführt wird, wird die Abweichung zwischen dem Messbereich KR2(TR) und dem Messbereich KR3(TR), die Abweichung zwischen dem Messbereich KR3(TR) und dem Messbereich KR4(TR), ..., akkumuliert. Infolgedessen ist beispielsweise die Position des Messbereichs KR(k-1) (TR) des Bild-Frames F(k-1) unmittelbar vor dem Bild-Frame F(k), an dem die Gesichtsorgan-Erkennungsverarbeitung durchgeführt wird, von der Position des Messbereichs KR1(KK) des ersten Bild-Frames F1 um einen Abstand entfernt, der der akkumulierten Abweichung zugehört.
-
In der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels ist die Position des Messbereichs KR(k)(KK) für das Bild-Frame F(k), auf dem die Tracking-Verarbeitung zurückgesetzt wird, d.h. nur die Gesichtsorgan-Erkennungsverarbeitung durchgeführt wird, im Wesentlichen die gleiche wie die Position des Messbereichs KR1(KK) des Bild-Frame F1, auf dem nur die Gesichtsorgan-Erkennungsverarbeitung durchgeführt wird. Daher sind die Position des Messbereichs KR(k)(KK) für das Bild-Frame F(k) und die Position des Messbereichs KR(k-1) (TR) für das Bild-Frame F(k-1) durch einen Abstand getrennt, der im Wesentlichen gleich dem oben beschriebenen Abstand zwischen der Position des Messbereichs KR1(KK) und der Position des Messbereichs KR(k-1)(TR) ist.
-
Im Gegensatz zu der Pulswellen-Schätzvorrichtung des Vergleichsbeispiels führt die Pulswellen-Schätzvorrichtung 1 der Ausführungsform grundsätzlich die Gesichtsorgan-Erkennungsverarbeitung und die Nachführungsverarbeitung für jedes Bild-Frame F der Bild-Frames F1, F2, F3,... wie oben beschrieben durch. Daher kann die Pulswellen-Schätzvorrichtung 1 der Ausführungsform eine Situation vermeiden, in der der oben beschriebene Abstand, der sich aus der Akkumulation der Abweichung ergibt, zwischen der Position des Messbereichs KR(k-1)(TR) des Bild-Frames F(k-1) und der Position des Messbereichs KR1(KK) des ersten Bild-Frames F1 auftritt. Ebenso kann vermieden werden, dass zwischen der Position des Messbereichs KR(k-1)(TR) des Bild-Frames F(k-1) und der Position des Messbereichs KR(k)(KK) des Bild-Frames F(k) ebenfalls ein Abstand entsteht, der im Wesentlichen gleich dem oben beschriebenen Abstand ist.
-
Modifikationen
-
<Modifikationen>
-
Anstatt die oben beschriebene Gesichtsorgan-Erkennungsverarbeitung und die Nachführungsverarbeitung für jedes Bild-Frame F durchzuführen, d.h. für jedes der Bild-Frames F1, F2, F3, ..., kann die Pulswellen-Schätzvorrichtung 1 der Modifikation die Gesichtsorgan-Erkennungsverarbeitung und die Nachführungsverarbeitung nur in Intervallen einer vorbestimmten Anzahl von Bild-Frames F durchführen und nur die Nachführungsverarbeitung für die anderen Bild-Frames F durchführen. Insbesondere kann beispielsweise die Pulswellen-Schätzvorrichtung 1 der Modifikation die Gesichtsorgan-Erkennungsverarbeitung auf dem Bild-Frame F1 durchführen und dann für die nachfolgenden Bild-Frames F nur die Verfolgungsverarbeitung auf den Bild-Frames F2 und F3 durchführen, sowohl die Gesichtsorgan-Erkennungsverarbeitung als auch die Verfolgungsverarbeitung auf dem Bild-Frame F4 durchführen, nur die Verfolgungsverarbeitung auf den Bild-Frames F5 und F6 durchführen und sowohl die Gesichtsorgan-Erkennungsverarbeitung als auch die Verfolgungsverarbeitung auf dem Bild-Frame F7 durchführen.
-
Jede Komponente der Ausführungsform kann geändert oder weggelassen werden.
-
INDUSTRIELLE ANWENDBARKEIT
-
Die Pulswellen-Schätzvorrichtung und das Pulswellen-Schätzverfahren gemäß der vorliegenden Offenbarung können beispielsweise zur Schätzung einer Pulswelle und zur Berechnung einer Pulswellenzahl verwendet werden.
-
BEZUGSZEICHEN-LISTE
-
- 1
- Pulswellen-Schätzvorrichtung,
- 11
- Aufnahmeeinheit,
- 12
- Erkennungseinheit,
- 13
- Einstelleinheit,
- 14
- Messeinheit,
- 15
- Schätzeinheit,
- 13A
- Gesichtsorgan-Erkennungseinheit,
- 13B
- Verfolgungseinheit,
- 1N
- Eingabeeinheit,
- 1P
- Prozessor,
- 1S
- Ausgabeeinheit,
- 1M
- Speicher,
- 1K
- Speichermedium,
- 1PR
- Programm,
- T
- Objekt,
- G
- Bild,
- F
- Bild-Frame,
- S
- Hautbereich,
- KK
- Gesichtsorgan-Punkt,
- TR
- Tracking-Punkt,
- KR
- Messbereich,
- KD
- Leuchtdichte-Differenz,
- KS
- Leuchtdichte-Signal,
- MH
- Pulswelle,
- MS
- Pulsrate.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
