JP2023055137A - 映像処理装置及びその制御方法及びプログラム - Google Patents
映像処理装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023055137A JP2023055137A JP2021164293A JP2021164293A JP2023055137A JP 2023055137 A JP2023055137 A JP 2023055137A JP 2021164293 A JP2021164293 A JP 2021164293A JP 2021164293 A JP2021164293 A JP 2021164293A JP 2023055137 A JP2023055137 A JP 2023055137A
- Authority
- JP
- Japan
- Prior art keywords
- color
- hue
- video
- correction
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】 より高い精度で生体情報を取得する。【解決手段】 時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置は、映像を入力し、被写体の肌領域を取得する取得部と、該取得部より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、取得部より取得した肌領域の色と目標色相を表す色に基づき決定する決定部と、映像を構成する各フレームにおける、少なくとも肌領域の画素を、補正係数を用いて補正する補正部と、該補正部による補正後の、時系列の肌領域の画像に基づき、被写体の生体情報を検出する検出部とを有する。【選択図】 図3
Description
本発明は、被写体を含む映像から生体情報を検出する技術に関するものである。
被写体を含む映像から、その被写体の肌における脈拍による色の変化を観測し、生体情報を取得する技術がある。特に、肌から色情報として色相を取得する技術は、被写体の動きによるノイズに対する頑健性が高い。
特許文献1では、映像から被写体の肌領域の色相に基づいて脈拍などの生体情報を取得する手法が示されている。
しかし、脈拍による肌の色変化に基づく色相上での周期的信号の強度は、色相の値の程度により影響を受ける。
特許文献1には、色を補正する構成を開示しているが、この補正は、Retinex理論に基づいて映像の色を照明色によらない自然な色に補正し、照明色にロバストに生体情報を取得するものです。
本発明は、これまでよりも高い精度で生体情報を検出することを可能ならしめる技術を提供しようとするものである。
この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置であって、
前記映像を入力し、被写体の肌領域を取得する取得手段と、
該取得手段より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得手段より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定手段と、
前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正手段と、
該補正手段による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出手段とを有する。
時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置であって、
前記映像を入力し、被写体の肌領域を取得する取得手段と、
該取得手段より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得手段より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定手段と、
前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正手段と、
該補正手段による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出手段とを有する。
本発明によれば、より高い精度で生体情報を取得することが可能になる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、映像処理装置100のハードウェア構成の一例を示す図である。映像処理装置100は、CPU101、ROM102、RAM103、ハードディスクドライブ(HDD)104、通信部105、入力装置106及び出力装置107を有する。通信部105はネットワーク108に接続されている。
CPU101は、ROM102に記録された制御プログラムを読みだして各種処理を実行する。RAM103は主メモリやワークエリア等の一時記憶領域として用いられる。HDD104は、長期的なデータの保持に用いられる。通信部105はネットワーク108を介して通信を行う回路である。入力装置106は、外部から映像処理装置100に指示やデータを入力するための装置である。具体的には、映像を取得するためのカメラや、ユーザの入力を受け付けるためのキーボード、マウス、タッチパネルなどである。出力装置107は、映像処理装置100から外部に指示やデータを出力するための装置である。具体的には、結果を表示するディスプレイ等の表示用デバイスや、判定結果を外部装置に出力するためのインタフェースなどである。
なお、映像処理装置100は、機能上不要である場合、必ずしも図1に示した全ての部位を備える必要はない。例えば、外部との入出力を全てネットワーク108で相互に接続された別の機器を用いて行う場合、入力装置106および出力装置107は不要である。また、図1に示されていない部位を備えていてもよい。例えば、映像処理をGPU(グラフィカルプロセッシングユニット)やFPGA(Field Programmable Gate Array)によって実行してもよい。
以上のように、映像処理装置100のハードウェア構成は、パーソナルコンピュータ(PC)のハードウェア構成と同様である。それ故、映像処理装置100で実現される各種機能は、PC上で実行されるアプリケーションソフトウェアとして実装することが可能である。つまり、映像処理装置100は、CPU101がプログラムを実行することにより、映像処理装置100の種々の機能、及び後述のフローチャートを実現することができる。
R成分値、G成分値、及び、B成分値から色相Hを算出する一般的な方法を、図2を参照して説明する。
デジタルカラー画像を構成する画素は、R(赤)、G(緑)、B(青)の各色成分の輝度情報で表されることが多い。RGB輝度情報から色相Hを算出する場合、以下のような方法を用いるのが一般的である。
まず、図2に示す二次元平面上で、Rベクトル201、Gベクトル202、Bベクトル203を以下のように定める。Rベクトル201は、向きが0°で、大きさがR輝度となるベクトルである。Gベクトル202は、向きが120°で、大きさがG輝度となるベクトルである。Bベクトル204は、向きが240°で、大きさがB輝度となるベクトルである。すると、1つの画素は、Rベクトル201とGベクトル202とBベクトル203の和ベクトル204で特定できる。この時、和ベクトル204の向き(図示ではR軸に対する角度205)が色相Hである。
以上のように画像内の着目領域の色相Hを求めた時、和ベクトル204の向きに対して垂直に近い向きの時系列的な色変化がある場合に、色相Hの変化が顕著になる。
例えば、RGB輝度のうち、G輝度のみが時系列的に変化している場合を考察する。この場合、G輝度が示す方向に直交する向きの30°や210°(Gベクトル202の向きである120°に垂直な向き)の色相が示す画像が、G成分の時系列変化に敏感な画像となる。逆に、120°や300°(Gベクトル202の向きである120°に平行な向き)に近い色相が示す画像の場合、G成分の時系列的な変化に対する色相の変化は小さくなり、色相変化の検出は難しい。
上記の考察から、肌の脈拍による色変化が、図2の上でのH(和ベクトル204の向き)に垂直に近い場合、Hの時系列データに含まれる脈拍による変位は大きくなる。そこで、本実施形態では、そのような生体情報検出に理想的な色相値へと、画像における肌の色を補正することによって、より良く脈拍による色変化を取得可能とする。
実験的に求めた生体情報検出に理想的な色相値は、具体的には、50°、230°、およびそれぞれの周辺である。
図8は、複数の映像について、補正目標色相値を10°刻みで設定し、色を補正した事前実験の結果における、補正目標色相値と平均スコアの関係を示すグラフである。色の補正方法については第1実施形態の図5を用いた説明にて後述する。色の補正処理により、肌領域の平均色相値は、補正目標色相値に近い値となる。また、スコアの計算方法については第2の実施形態の図9を用いた説明にて後述する。スコアは、脈波による周期成分の色相情報全体における相対的な強度を示すものであり、図8においてスコアが高いほど脈波による信号が強調されていると言える。グラフにおいて、補正目標色相値が50°、230°、およびその周辺のスコアが高くなっており、これらの色相値が生体情報検出に理想的であるとわかる。
[第1の実施形態]
図3は、実施形態における、図1の映像処理装置100に搭載された機能構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを示している。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって色々な形で実現できることは、本明細書に触れた当業者には理解されるところである。
図3は、実施形態における、図1の映像処理装置100に搭載された機能構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを示している。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって色々な形で実現できることは、本明細書に触れた当業者には理解されるところである。
映像処理装置100は、映像取得部302、顔検出部303、肌領域抽出部304、色情報取得部305、生体情報検出部306、結果出力部307を有する。また、映像処理装置100は、映像取得装置301とネットワーク108を介して接続される。なお、映像取得装置301とは、ネットワーク108ではなく、入力装置106および出力装置107に含まれる入出力インタフェースを介して接続されていてもよい。また、映像取得装置301は、映像処理装置100内に設けられても良い。
次に各部について説明する。映像取得装置301は典型的にはビデオカメラに代表される撮像装置である。映像取得装置301は、生体情報検出の対象となる被写体を適当なフレームレートで撮像し、ネットワーク108を介して映像処理装置100に、撮影で得た映像データを送信する。映像取得装置301は、撮像して得た映像データを送信する際、送信するデータ量を削減するため、Motion JPEGやH.264など、任意の形式の動画符号化を適用しても構わない。
なお、映像取得装置301が取得する映像の時間長は、生体情報が示す周期を超える必要がある。実施形態では、生体情報として脈拍を検出するので、映像取得装置301は、数拍分が含まれる、例えば10秒分の被写体像を撮影するものとする。なお、実施形態では、映像取得装置301は、1画素を構成する色成分R,G,Bそれぞれを8ビット(256階調)の精度で撮像するものとする。
映像取得部302は、撮像装置301からネットワーク108を介して映像データを取得し、取得した映像データを後段の顔検出部303に供給する。
顔検出部303は、映像取得部302からの映像データから被写体の顔を検出し、検出した顔の領域を特定する情報を、肌領域抽出部304に供給する。顔の検出する手法は任意の方法が可能である。例えば、ディープラーニングによって学習された画像から人物の顔の領域を検出する検出器を用いてもよい。検出結果のコンピュータ上の表現としては、映像中の各フレームについて、画像上で顔を過不足なく含む外接矩形の座標を取得するのが一般的であるが、その他の形式でもよい。
肌領域抽出部304は、映像の顔領域について、肌領域を画素単位で抽出し、抽出した肌領域を示す情報を色情報取得部305に供給する。肌領域の抽出は、任意の方法が可能である。例えば、映像の色表現をHSV形式に変換し、H・S・Vがそれぞれ事前に定められた特定の範囲内の値をとる画素の集合を肌領域としてもよい。または、顔領域内において肌領域が大部分を占めるという前提のもと、顔領域内の全画素のHSV値から統計的に外れ値となる画素を除外し、残った画素の集合を肌領域とすることもできる。その他、ディープラーニングによって学習された、画素単位で人物の肌領域を抽出する抽出器を用いることもできる。肌領域抽出の結果のコンピュータ上の表現としては、肌の領域である画素の値を1、それ以外の画素の値を0とする、“マスク画像”を用いることができる。
色情報取得部305は、肌領域抽出部304からの情報に基づき、映像中の肌領域について、脈波による色変化が平均色相値の時系列データにおいて強調されるように色補正を行った上で、平均色相値を取得する。色補正は、RGBそれぞれの画素値に補正係数をかけることで行われる。補正係数は、映像中の所定のフレームにおける肌領域内のRGBそれぞれの平均値と、事前に設定されたRGBそれぞれの補正目標値を用いて、算出される。RGBの補正目標値は、Hの補正目標値(補正目標色相値)から、図7に示す対応表を基に決定される。補正目標色相値は、図8の事前実験の結果を基に、設計者によって決定される。実施形態による具体的な方法は、フローチャートを用いて後述する。
生体情報検出部306は、平均色相値の時系列データをもとに、脈波に基づく生体情報を検出する。生体情報としては、脈波から既知の方法を用いて検出可能な任意のものを検出できる。例えば、脈拍数(正確には1分当たりの脈拍数)、血圧、ストレス指標などである。また、脈波の強度などを指標として、「被写体が生体であるか、写真などの非生体であるか」を判定する生体判定情報を生体情報としてもよい。これは、顔認証システムにおいて他者の写真を用いたなりすましを防ぐために利用できる。本実施形態では、例として、生体情報として被写体の脈拍数を検出する。脈拍数を検出する具体的な方法は、フローチャートを用いて後述する。
結果出力部307は、生体情報検出部306が検出した生体情報(実施形態では脈拍数)を出力する。例えば、出力装置107として接続されたディスプレイに生体情報を表示する。
図4は実施形態における映像処理装置100が実行する処理を表すフローチャートである。以下、同図を参照して、映像処理装置100の生体情報検出処理の流れを説明する。以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。ただし、映像処理装置100はこのフローチャートで説明するすべてのステップを必ずしも行わなくてもよい。
処理開始後(例えば、映像処理装置100の電源がONにされた後)、S401にて、映像取得部302は、映像取得装置301から、被写体を撮影して得た映像データを取得する。
S402にて、顔検出部303は、取得した映像データ内の被写体の顔検出を行う。結果として、映像の各フレームについて、顔を過不足なく含む矩形(典型的には外接矩形)の座標が得られる。
S403にて、肌領域抽出部304は、検出された顔の領域について、肌領域を抽出する。この結果、映像の各フレームについて、顔領域内で肌の領域となる画素の集合を得る。
S404にて、色情報取得部305は、抽出された肌領域について、色補正処理および平均色相値の取得処理を行う。色補正処理は、肌領域の平均色相値を、生体情報検出に理想的な色相値に近い値とするための処理である。具体的な手順は図5のフローチャートを用いて後述する。この処理は、映像の各フレームについて行われ、結果として、平均色相値の時系列データが得られる。
S405にて、生体情報検出部306は、平均色相値の時系列データを基に、生体情報として被写体の生体情報(実施形態では脈拍数)を算出する。具体的な手順は図6のフローチャートを用いて後述する。
S406にて、結果出力部307が、S405で得られた被写体の脈拍数を出力する。出力対象は、出力装置107(表示装置)とするが、算出した生体情報をファイルとして保存するため、記憶装置であっても構わない。
図5は、実施形態において色情報取得部305によって実行される、S404の処理を説明するためのフローチャートである。以下、同図を参照して、色情報取得部305の色補正・平均色相取得処理の流れを説明する。
S501にて、色情報取得部305は、映像中で未処理であるフレームのうち、先頭の第一フレームを処理対象フレームとする。以降の処理は、ここで定めた処理対象フレームについて行われる。
S502にて、色情報取得部305は、現在処理している処理対象フレームが、映像の第一フレーム(先頭フレーム)であるかを判定する。これは、補正係数の算出のために用いると定められたフレームであるかの判定処理であり、本実施形態においては第一フレームが補正係数の算出のために用いられる。処理対象フレームが第一フレームである場合、色情報取得部305はS503へ、処理対象フレームが第一フレーム以外のフレームである場合はS505へ処理を進める。
S503にて、色情報取得部305は、処理対象フレームにおける肌領域内に含まれる全画素のR、G、B値の平均値を計算する。以降、Rの平均値をaveR、Gの平均値をaveG、Bの平均値をaveBと表記する。
S504にて、色情報取得部305は、以下に示す式(1)乃至(3)に従い、補正係数Ar、Ag、Abを算出する。
式中、tagR、tagG、tagBは、R、G、Bそれぞれの補正目標値であり、色情報取得部305に事前に設定されている値である。R、G、Bそれぞれの補正目標値tagR、tagG、tagBは、設計者が事前に補正目標色相値を設定することで、補正目標色相値(H補正目標値)と図7の対応表から、色情報取得部305が自動で設定する。設計者は、補正色相目標値として、生体情報検出に理想的な色相値を色情報取得部305に設定する。なお、図8に示す事前実験結果から、補正目標色相値は50°、230°、およびその周辺の値を用いるのが良いことが確認されている。実施形態では、補正目標色相値として50°と設定している。したがって、実施形態の場合、図7の対応表から、Rの補正目標値(tagR)は“127”、Gの補正目標値(tagG)は“116”、Bの補正目標値(tagB)は“63”と設定される。なお、設計者が補正色相目標値を設定するのではなく、R、G、Bそれぞれの補正目標値を直接色情報取得部305に設定してもよい。また、図7はR、G、BとHの補正目標値の対応の一例であり、必ずしもこの通りでなくてもよい。
S505にて、色情報取得部305は、補正係数Ar、Ag、Abを用いて、着目フレームの肌領域の各画素のRGB値を補正する。具体的には、次式(4)乃至(6)に従って、肌領域内の画素のR、G、Bの各成分値に、補正係数Ar、Ag、Abを乗算して、補正後の成分値R’、G’、B’を得る。以後、R’、G’、B’をその画素のRGB画素値として用いる。
S506にて、色情報取得部305は、各画素の色相値Hを計算する。色相値Hは、画素のRGB値から、次式(7)によって計算される。ここで、画素のRGB値は、S505で補正された値(R’、G’、B’)である。
S507にて、色情報取得部305は、肌領域全体でのH平均値を算出する。H平均値は、S506で求めた画素ごとのHを肌色領域全体について平均し求める。
S508にて、色情報取得部305は、処理したフレームは映像の最後のフレームであるか判定する。最後のフレームでない場合、色情報取得部305は、次のフレームを処理対象として設定するため、処理をS501に戻す。そして、色情報取得部305は、全フレームに対する処理を終えたと判定するまで、S501乃至507の処理を繰り返す。S507にて、最後のフレームであると判定した場合、色情報取得部305は、色補正・平均色相取得処理を終了する。
上記の結果、各フレーム被写体の肌領域の色相は、脈拍の影響を内包したまま、補正色相目標値に近似する色相に変換できたことになる。つまり、補正色相目標値に近似する色相を持った肌領域の時系列の画像データが生成できたことになる。
なお、上記では、肌領域のRGBの各平均値を計算し、各補正係数を決定する代表フレームとして第一フレームを採用したが、他のフレームでも良く、且つ、複数フレームを用いてもよい。その場合、S502~S504の処理はそれに合わせて変更されるべきである。また、S505以降の処理を行うには補正係数が決定されている必要があるから、S502~S504の処理に第一フレーム以外のフレームを用いる場合、処理するフレーム・工程の順番は適切になされるべきである。例えば、リアルタイムで撮像されている映像を処理する場合、実施形態のように第一フレームを補正係数の決定に用いるのが好適である。一方で、映像を一度HDD104に蓄積、保存し、後から処理する場合には、映像全体のフレームを補正係数の決定に用いてS502からS504までの処理を行った後、各フレームに対してS505以降の処理を行うことも可能である。
図6は、実施形態において生体情報検出部306によって実行される、S405の処理の詳細を示すフローチャートである。以下、同図を参照して、生体情報検出部306による生体情報検出処理の流れを説明する。
S601にて、生体情報検出部306は、色情報取得部305が生成した色相補正後の時系列データを取得する。
S602にて、生体情報検出部306は、色相補正後の時系列データに、バンドパスフィルタを適用する。バンドパスフィルタは、一般的なヒトの脈拍数の範囲(50bpm(beats per minute)から200bpmの範囲に相当する、0.83Hzから3.33Hzの範囲)の周波数成分を通過させるよう設計されたものとする。
S603にて、生体情報検出部306は、フィルタリングされた色相補正後の時系列データに周波数解析を行い、周波数スペクトルを得る。周波数解析は、高速フーリエ変換など、任意の方法を用いることが可能である。
S604にて、生体情報検出部306は、周波数スペクトルから、一般的なヒトの脈拍数の範囲の周波数成分の中で、振幅が最大となる周波数成分の周波数を、ピーク周波数と決定する。
S605にて、生体情報検出部306が、ピーク周波数を被写体の脈拍数として取得し、生体情報検出の結果とする。
以上説明したように、本実施形態によれば、映像中の被写体の肌の色相を、生体情報検出に好適な色相に近い色相に変換した上で、生体情報を検出するので、高精度に生体情報を検出できるようになる。
[第2の実施形態]
上記の第1の実施形態では、設計者が生体情報検出に理想的な色相値をもとに定めた補正目標色相値を用い、補正目標色相値に近い値へと肌領域の色を補正することで、より高精度な生体情報を検出する手法について述べた。設計者は、生体情報検出に理想的な色相値を、図8の事前実験結果を参照して決定することができる。しかし、図8のスコアは複数の映像による平均値であり、図に示される各補正目標色相値とスコアの関係は、複数の映像の全体的な傾向を示すものである。個別の映像においては、必ずしも図8と同様の関係にあるとは限らず、厳密には、照明色やカメラのホワイトバランス、元々の肌の色などにより、生体情報検出に最も理想的な色相値は異なる場合がある。
上記の第1の実施形態では、設計者が生体情報検出に理想的な色相値をもとに定めた補正目標色相値を用い、補正目標色相値に近い値へと肌領域の色を補正することで、より高精度な生体情報を検出する手法について述べた。設計者は、生体情報検出に理想的な色相値を、図8の事前実験結果を参照して決定することができる。しかし、図8のスコアは複数の映像による平均値であり、図に示される各補正目標色相値とスコアの関係は、複数の映像の全体的な傾向を示すものである。個別の映像においては、必ずしも図8と同様の関係にあるとは限らず、厳密には、照明色やカメラのホワイトバランス、元々の肌の色などにより、生体情報検出に最も理想的な色相値は異なる場合がある。
本第2の実施形態では、取得した映像に対し複数の補正目標色相値を用いた複数の補正を行った後、それぞれについて生体情報検出とスコアの算出を行い、それらスコアに基づいて、最も良い結果を決定する。これにより、実際の撮影映像において最適な補正目標色相値を用いた色補正による生体情報検出結果を出力することができる。
以下、第1の実施形態との差分についてのみ説明する。
第2の実施形態においては、設計者は、色情報取得部305に、複数の補正目標色相値を設定する。
ここで、複数の補正目標色相値を設定方法は、様々な方法が考えられる。例として、0°から360°までを一定の間隔(例えば、10°間隔)で設定してもよい。しかし、設定する補正目標色相値の数が多いと、映像処理装置100が設定された全ての補正目標色相値について処理を終えるまでに時間がかかる場合がある。したがって、処理時間やCPU101などの計算リソースに制限がある場合には、少数の補正目標色相値の設定でも最も理想的な補正目標色相値を得られる可能性が高い方法を用いるのが良い。例えば、多くの映像で高いスコアを示す可能性が高い、50°と230°を中心に、それぞれの前後30°の範囲を小刻みに(例えば隣接する目標色相の角度差を5°とする)設定することが考えられる。また、コンピュータのリソース状況に応じて設定する補正目標色相値の間隔を変化させるなど、設定する補正目標色相値の数を動的に変化させてもよい。
第2の実施形態における映像処理装置100の機能構成は、第1の実施形態と同様に、図3を用いて説明できる。第1の実施形態との差分は以下の通りである。
色情報取得部305は、事前に、設定された複数の補正目標色相値と図7の対応表に基づき、複数のRGBの補正目標値を設定する。
仮にN個(N≧2)の補正目標色相値を設定するのであれば、それぞれの補正目標色相値に対する画素の補正目標値の組は、次のように表せる。
{tagR(1)、tagG(1),tagB(1)}
{tagR(2)、tagG(2),tagB(2)}
:
{tagR(N)、tagG(N),tagB(N)}
{tagR(1)、tagG(1),tagB(1)}
{tagR(2)、tagG(2),tagB(2)}
:
{tagR(N)、tagG(N),tagB(N)}
色情報取得部305は、映像処理に際して、N組の補正目標値により、複数の色補正を行い、複数の平均色相値を取得する。結果として、補正色相目標値1乃至Nそれぞれに近似する色相を持ったN個の時系列データが生成されることになる。
生体情報検出部306は、N個の補正色相目標値に近い色相を持った時系列データから、複数の生体情報を検出するとともに、N個のスコアを算出する。そして、生体情報検出部306は、算出したN個のスコアを評価し、最も良いスコアが良いものを、最終的に出力用の生態情報として決定する。
なお、色情報取得部305と生体情報検出部306は、設定された複数の補正目標値によって色補正したデータの処理に加え、色補正を行わないデータを追加で処理してもよい。これは、補正を行わない元々の色による処理結果が最も良い(スコアが高い)可能性を考慮する場合である。
図9は、第2の実施形態における映像処理装置100によって実行される処理を説明するためのフローチャートである。
S401~S403の処理は第1の実施形態と同じである。
S403の処理の後、映像処理装置100は、所定の、異なるN個の補正目標色相値について、それぞれS404の色補正・平均色相取得処理、S405の生体情報検出、S901のスコア算出の各処理を行う。図9では、N個の補正目標色相値について1からNまで番号付けを行い、それぞれに行われる処理について、ステップ番号の後、ハイフンに続けて番号を記している。例えば、S404-2は、2番目の補正目標色相値についての色補正・平均色相取得処理である。なお、図9のフローチャートでは1~N番目の補正目標色相値について並列で処理しているが、ループによって順次処理しても良い。
S404-1~Nのそれぞれの処理は第1の実施形態のS404と同じである。ただし、S404-1~Nで用いられる補正目標色相値はそれぞれの番号に相当するものである。
S405-1~Nのそれぞれの処理は第1の実施形態のS405と同じである。ただし、S405-1~Nで用いられる平均色相値の時系列データは、それぞれS404-1~Nで得られたものである。
S901-1~Nで、生体情報検出部306は、S405-1~Nで得られた生体情報についてスコアを算出する。具体的には、まず、S604で得られた周波数スペクトルについて、一般的なヒトの脈拍数の範囲の周波数成分の平均振幅値(または平均パワー値)を算出する。その後、S604で決定されたピーク周波数における振幅値を前記平均振幅値で除算し、スコアとする。これにより、ヒトの脈拍数の範囲の周波数帯における相対的な脈波の強度がスコアとして算出できる。なお、スコアについては、それを比較することで良い生体情報検出結果を選べるならば、その他の算出方法によるものを用いてもよい。例えば、位相と振幅を揃えたピーク周波数による正弦波と、S602で得られるフィルタリングされた色情報の時系列データについて、二乗誤差を算出し、スコアとすることも可能である。
S902で、生体情報検出部は、S901-1~Nにおいて算出されたスコアを比較し、最も良いスコアに対応する生体情報検出結果を、最終結果として決定する。なお、最終結果を決定するにあたり、スコア以外の情報を参照してもよい。例えば、脈拍数を生体情報検出結果として出力するにあたり、S405-1~Nで得られた結果から多数決で最終結果を選んでもよい。さらに、スコアの情報を用いて、スコア一定以上の結果から多数決で選ぶ方法や、スコアが上位の結果について脈拍数の平均値をとり最終結果とする方法なども可能である。
S406で、結果出力部307は、S902で決定した最終結果を出力する。
以上説明したように、本第2の実施形態によれば、被写体の肌の色や、撮影時の照明等による撮影環境によらず、被写体の生態情報を高精度に検出できるようになる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…映像処理装置、301…映像取得装置、302…映像取得部、303…顔検出部、304…肌領域抽出部、305…色情報取得部、306…生体情報検出部、307…結果出力部
Claims (8)
- 時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置であって、
前記映像を入力し、被写体の肌領域を取得する取得手段と、
該取得手段より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得手段より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定手段と、
前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正手段と、
該補正手段による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出手段と
を有することを特徴とする映像処理装置。 - 前記決定手段は、
前記映像における予め設定された代表フレームの肌領域内の全画素の各色成分の値の平均値が表す色を、前記肌領域の色として決定し、
前記肌領域の色を表す各色成分の値と、前記目標色相の色を表す各色成分の値との比を、前記補正係数として決定し、
前記補正手段は、前記肌領域の画素の各色成分の値に、対応する補正係数を乗算することで前記補正を行う
ことを特徴とする請求項1に記載の映像処理装置。 - 前記目標色相は、R成分の方向を0°、G成分の方向を120°、B成分の方向を240°としたとき、50°又は230°の方向を表すことを特徴とする請求項1又は2に記載の映像処理装置。
- 前記決定手段は、前記取得手段より取得した肌領域における画素の色相を、予め設定したN個(N≧2)の目標色相それぞれに近似するためのN組の補正係数を、前記取得手段より取得した肌領域の色と前記N個の目標色相を表す色に基づき決定し、
前記補正手段は、前記映像を構成する各フレームにおける、少なくともの前記肌領域の画素を、前記N組の補正係数に従って補正して、N個の時系列の肌領域の画像データを生成し、
前記検出手段は、前記補正手段で得たN個の時系列の肌領域の画像データに基づきN個の被写体の生体情報を検出し、当該N個の被写体の生体情報を評価することで、出力用の被写体の生態情報を決定する
ことを特徴とする請求項1に記載の映像処理装置。 - 前記N個の目標色相は、R成分の方向を0°、G成分の方向を120°、B成分の方向を240°としたとき、50°又は230°を中心に、隣接する目標色相の間が予め設定された角度となっているN個の色相である
ことを特徴とする請求項4に記載の映像処理装置。 - 前記生体情報は、脈拍数、血圧、ストレス指標、生体判定情報の少なくとも1つを含む
ことを特徴とする請求項1乃至5のいずれか1項に記載の映像処理装置。 - 時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置の制御方法であって、
前記映像を入力し、被写体の肌領域を取得する取得工程と、
該取得工程より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得工程より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定工程と、
前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正工程と、
該補正工程による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出工程と
を有することを特徴とする映像処理装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに、請求項7に記載の方法の各工程を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164293A JP2023055137A (ja) | 2021-10-05 | 2021-10-05 | 映像処理装置及びその制御方法及びプログラム |
EP22196516.3A EP4163883A1 (en) | 2021-10-05 | 2022-09-20 | Video processing apparatus, control method therefor, and program |
US17/951,954 US20230108023A1 (en) | 2021-10-05 | 2022-09-23 | Video processing apparatus, control method therefor, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164293A JP2023055137A (ja) | 2021-10-05 | 2021-10-05 | 映像処理装置及びその制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023055137A true JP2023055137A (ja) | 2023-04-17 |
Family
ID=83398165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021164293A Pending JP2023055137A (ja) | 2021-10-05 | 2021-10-05 | 映像処理装置及びその制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230108023A1 (ja) |
EP (1) | EP4163883A1 (ja) |
JP (1) | JP2023055137A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6308161B2 (ja) * | 2015-03-31 | 2018-04-11 | 株式会社エクォス・リサーチ | 脈波検出装置、及び脈波検出プログラム |
JP6911609B2 (ja) * | 2017-07-20 | 2021-07-28 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム |
WO2019088462A1 (ko) * | 2017-11-03 | 2019-05-09 | 주식회사 딥메디 | 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법 |
JP7237768B2 (ja) | 2019-08-02 | 2023-03-13 | 株式会社日立製作所 | 生体情報検出装置 |
-
2021
- 2021-10-05 JP JP2021164293A patent/JP2023055137A/ja active Pending
-
2022
- 2022-09-20 EP EP22196516.3A patent/EP4163883A1/en active Pending
- 2022-09-23 US US17/951,954 patent/US20230108023A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4163883A1 (en) | 2023-04-12 |
US20230108023A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7565073B2 (en) | Photography apparatus, photography method, and photography program for obtaining an image of a subject | |
JP6138920B2 (ja) | 遠隔検出される特性信号から情報を抽出するデバイス及び方法 | |
JP2020061755A5 (ja) | ||
US8199223B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
US10478079B2 (en) | Pulse estimation device, pulse estimation system, and pulse estimation method | |
EP3067856B1 (en) | Image processing apparatus and image processing method | |
JP2004062651A (ja) | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6927322B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
TW201822708A (zh) | 動態影像之心率活動偵測系統與其方法 | |
WO2018090450A1 (zh) | 显示屏均匀性测试方法及显示屏均匀性测试系统 | |
CN102339461A (zh) | 图像增强方法和设备 | |
CN116109818A (zh) | 一种基于面部视频的中医脉候判别系统及方法和装置 | |
WO2020194378A1 (ja) | 画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体 | |
CN111382646B (zh) | 一种活体识别方法、存储介质及终端设备 | |
JP2023055137A (ja) | 映像処理装置及びその制御方法及びプログラム | |
KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
WO2020070808A1 (ja) | 脈波算出装置、脈波算出方法及び脈波算出プログラム | |
JP2017085422A (ja) | 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法 | |
JP2004302581A (ja) | 画像処理方法並びに画像処理装置 | |
JP2023003764A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5051025B2 (ja) | 画像生成装置、プログラム、および画像生成方法 | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20230419738A1 (en) | Video processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium | |
JP2021082211A (ja) | 画像処理装置、画像処理方法、及びプログラム |