JP2021166389A - 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 - Google Patents
画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 Download PDFInfo
- Publication number
- JP2021166389A JP2021166389A JP2021098876A JP2021098876A JP2021166389A JP 2021166389 A JP2021166389 A JP 2021166389A JP 2021098876 A JP2021098876 A JP 2021098876A JP 2021098876 A JP2021098876 A JP 2021098876A JP 2021166389 A JP2021166389 A JP 2021166389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- operation mode
- noise reduction
- data compression
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
【課題】画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得する。
【解決手段】画像処理装置2が、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部16と、ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択部17とを備え、データ圧縮処理部16は、第2動作モードが選択された場合、データ圧縮処理により生成される圧縮画像を構成するIピクチャ35の間隔を、第1動作モードが選択された場合とは異なる間隔に設定する構成とする。
【選択図】図2
【解決手段】画像処理装置2が、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部16と、ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択部17とを備え、データ圧縮処理部16は、第2動作モードが選択された場合、データ圧縮処理により生成される圧縮画像を構成するIピクチャ35の間隔を、第1動作モードが選択された場合とは異なる間隔に設定する構成とする。
【選択図】図2
Description
本発明は、人体と接触することなく人物画像から脈拍を推定するための技術に関し、特に、脈拍の推定に好適な画像を取得するための画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法に関する。
従来、人の脈拍の測定に関し、被検者の手首に測定者(看護師等)が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者(人体)と接触せずに脈拍を推定(検出)するための技術が開発されている。
例えば、人体に接触せずに心拍数(通常は脈拍数と同等)を検出する技術に関し、被検者を撮影して得られた画像データから時系列信号のスペクトル分布を抽出し、そのスペクトル分布から,心拍信号に起因するピーク周波数を特定することにより、心拍数を自動的に検出する心拍数検出装置が知られている(特許文献1参照)。
ところで、カメラによって撮影された画像(動画)については、データ量が大きくなる傾向にあるため、画像データの保存や送受信を容易とするためのデータ圧縮技術(例えば、MPEG(Moving Picture Experts Group)規格に準拠したデータ符号化方式)が普及している。
しかしながら、本願発明者らは、上記特許文献1のようにカメラで撮影した顔画像などから脈拍を推定する場合には、その画像データから抽出される脈拍信号の変動量(すなわち、画素値の変動量)が微少であるため、上記のようなデータ圧縮を適用した画像については、脈拍を推定することが困難な場合や、推定の精度が著しく低下する場合があることを見出した。より詳細には、例えば、フレーム間予測を用いてデータ圧縮処理が施された画像に関して周波数解析により脈拍を推定する場合には、GOP(Group of picture)におけるIピクチャ(Intra Picture)がPピクチャ(Predictive Picture)に、またはPピクチャがIピクチャに切り替わる際に、上述のようなスペクトル分布における脈拍の周波数成分に近い周波数成分(ノイズ)が生じ得るという問題がある。
本発明は、このような従来技術の課題を鑑みて案出されたものであり、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することを可能とする画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法を提供することを主目的とする。
本発明の画像処理装置は、脈拍を推定するための画像を取得する画像処理装置であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部と、ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択部とを備え、前記データ圧縮処理部は、前記第2動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するIピクチャの間隔を、前記第1動作モードが選択された場合とは異なる間隔に設定することを特徴とする。
本発明によれば、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
上記課題を解決するためになされた第1の発明は、脈拍を推定するための画像を取得する画像処理装置であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部と、ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択部とを備え、前記データ圧縮処理部は、前記第2動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するIピクチャの間隔を、前記第1動作モードが選択された場合とは異なる間隔に設定することを特徴とする。
この第1の発明に係る画像処理装置によれば、通常撮影用の第1動作モードにおいて、Iピクチャの間隔(すなわち、Iピクチャから他のピクチャへの切り替わり)に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第2動作モードにおいて、画像のデータ圧縮処理を適切に実行する(すなわち、Iピクチャの間隔を、第1動作モードが選択された場合とは異なる間隔に設定する)ことにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
また、第2の発明では、上記第1の発明において、前記データ圧縮処理部は、前記第2動作モードが選択された場合、前記Iピクチャの間隔を、前記第1動作モードが選択された場合よりも大きな間隔に設定することを特徴とする。
この第2の発明に係る画像処理装置によれば、脈拍推定用の第2動作モードにおいて、Iピクチャの間隔を、第1動作モードが選択された場合よりも大きな間隔に設定することにより、Iピクチャの間隔に起因して発生するノイズを脈拍の周波数成分よりもより低周波数側に変位させることができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
また、第3の発明では、上記第1の発明において、前記データ圧縮処理部は、前記第1動作モードが選択された場合、前記圧縮画像を少なくともIピクチャ及びPピクチャによって構成する一方、前記第2動作モードが選択された場合、前記圧縮画像をIピクチャのみによって構成することを特徴とする。
この第3の発明に係る画像処理装置によれば、脈拍推定用の第2動作モードにおいて、圧縮画像をIピクチャのみによって構成することにより、Iピクチャの間隔(Pピクチャ等への切り替わり)に起因するノイズの発生を確実に防止することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
また、第4の発明では、上記第1から第3の発明いずれかにおいて、前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、前記ノイズ低減処理部は、前記第2動作モードが選択された場合、前記第1動作モードが選択された場合よりも前記ノイズ低減処理を軽減することを特徴とする。
この第4の発明に係る画像処理装置によれば、脈拍推定用の第2動作モードにおいて、ノイズ低減処理を軽減することにより、撮像画像に含まれる脈拍推定に有用な情報について、撮像画像からノイズと共に除去されてしまう情報量を抑制することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
また、第5の発明では、上記第1から第3の発明いずれかにおいて、前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、前記ノイズ低減処理部は、前記第1動作モードが選択された場合、前記ノイズ低減処理を実行する一方、前記第2動作モードが選択された場合、前記ノイズ低減処理を実行しないことを特徴とする。
この第5の発明に係る画像処理装置によれば、脈拍推定用の第2動作モードにおいて、ノイズ低減処理を実行しないことにより、撮像画像に含まれる脈拍推定に有用な情報が、撮像画像からノイズと共に除去されてしまうことを防止することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
また、第6の発明では、上記第4または第5の発明において、前記ノイズ低減処理部は、前記撮像画像から顔領域が抽出された場合、前記顔領域のみにおいて前記ノイズ低減処理を軽減するか、または前記顔領域のみにおいて前記ノイズ低減処理を実行しないことを特徴とする。
この第6の発明に係る画像処理装置によれば、脈拍推定用の第2動作モードでは、顔領域のみにおいてノイズ低減処理を軽減するか、または顔領域のみにおいてノイズ低減処理を実行しないことにより、顔領域以外のノイズを適切に低減しつつ、撮像画像に含まれる脈拍推定のための情報が、撮像画像からノイズと共に除去されてしまうことを抑制または防止することができる。
また、第7の発明は、上記第1から第6の発明のいずれかに係る前記画像処理装置と、前記画像処理装置において前記データ圧縮処理が実行された圧縮画像に基づき脈拍を推定する脈拍推定装置とを備えたことを特徴とする脈拍推定システムである。
この第7の発明に係る脈拍推定システムによれば、画像処理装置における通常撮影用の第1動作モードにおいて、Iピクチャの間隔に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第2動作モードにおいて、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍推定装置における脈拍の推定に好適な画像を取得することが可能となる。
また、第8の発明は、脈拍を推定するための画像を取得する画像処理方法であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理ステップと、ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択ステップとを含み、前記データ圧縮処理ステップでは、前記第2動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するIピクチャの間隔が、前記第1動作モードが選択された場合とは異なる間隔に設定されることを特徴とする。
この第8の発明に係る画像処理方法によれば、通常撮影用の第1動作モードにおいて、Iピクチャの間隔に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第2動作モードにおいて、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1および図2は、それぞれ本発明に係る脈拍推定システム1の全体構成図および機能ブロック図であり、図3は、カメラ2のノイズ低減処理部15による処理の概略を示す説明図であり、図4は、脈拍推定装置3の脈拍算出部23による脈波抽出処理の説明図であり、図5は、通常撮影モードのカメラ2のデータ圧縮処理部16において発生し得るノイズの一例を示す説明図である。
脈拍推定システム1は、人体と接触せずに得られる情報(撮像画像)からその脈拍(通常は心拍と同じ)を推定するものであり、図1に示すように、被検体である人物Hの少なくとも一部を被写体として撮影するカメラ(画像処理装置)2と、カメラ2の撮影により得られる撮像画像(動画)から人物Hの脈拍(脈拍数や脈波)を推定する脈拍推定装置3とを備えている。また、脈拍推定システム1において、カメラ2および脈拍推定装置3は、インターネットやLAN(Local Area Network)等のネットワーク4を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ2および脈拍推定装置3が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。
カメラ2は、公知の撮影機能を有するビデオカメラであり、図2に示すように、被写体からの光を図示しないレンズ機構を通してイメージセンサ(CCD、CMOS等)に結像させる撮像部11と、この撮像部11から入力された撮像画像(デジタル映像信号)に所定の画像処理を施す画像処理部12とを備えている。画像処理部12は、撮像画像の画質を低下させるノイズを低減または抑制するためのノイズリダクション(ノイズ低減処理)を実行するノイズ低減処理部15と、撮像画像のデータを圧縮するための処理(データ圧縮処理)を実行するデータ圧縮処理部16と、それらノイズ低減処理部15及びデータ圧縮処理部16の処理を含む各種画像処理に関する各部の動作を統括制御する画像処理制御部(動作モード選択部)17と、画像処理(ここでは、ノイズリダクションおよびデータ圧縮)された撮像画像のデータを記憶する画像記憶部18とを備えている。
後に詳述するように、カメラ2は、その動作モードとして、通常撮影用(例えば、人物撮影用や、風景撮影用など)の画像処理を実行する通常撮影モード(第1動作モード)と、脈拍推定用の画像処理を実行するバイタル情報取得モード(第2動作モード)とを備えている。画像処理制御部17は、ユーザからの指示(例えば、ボタン操作や、タッチパネル入力等)に基づき、それら通常撮影モードおよびバイタル情報取得モードのいずれかを選択することが可能である。なお、画像処理部12は、ここに示すものに限らず、他の公知の信号処理(例えば、色調補正、輪郭強調等)を適宜実行することが可能である。また、画像処理部12は、上述の通常撮影モード及びバイタル情報取得モードに加え、他の動作モードを更に備えた構成も可能である。
ノイズ低減処理部15は、ノイズリダクションとして、時間的に隣接する複数フレームの間の相関に基づいて撮像画像のノイズを低減する3次元ノイズリダクション(3DNR)を実行可能である。より詳細には、ノイズ低減処理部15では、図3に示すように、加算器19において、現フレームの画像(画素値)に対して所定の比率で前フレームの画像が加算される(現フレーム及び前フレームが所定のフィルタ係数(M:N)に基づき合成される)ことで、S/N比を向上させた3DNR処理済みの現フレームが生成される。例えば、画像処理制御部17は、フィルタ係数に関し、通常撮影モードでは、M:N=0.5:0.5に設定し、バイタル情報取得モードでは、M:N=0.9:0.1に設定することができる。ノイズリダクションが施された撮像画像は、データ圧縮処理部16に入力される。
なお、上記フィルタ係数の設定(または変更)については、画像全体に対して1つのフィルタ係数を設定する方法に限らず、画像内に設けられた分割領域毎に設定する方法を採用してもよい。例えば、バイタル情報取得モードにおいて、画像から肌色領域(または顔領域)を抽出し、その肌色領域以外の領域に関するフィルタ係数を通常撮影モードと同一に設定すると共に、肌色領域に関するフィルタ係数を通常撮影モードとは異なる値に設定することが可能である。
このように、バイタル情報取得モードでは、ノイズリダクションを敢えて軽減する(ノイズ除去効果を小さくする)ことにより、撮像画像に含まれる脈拍推定に有用な情報について、撮像画像からノイズと共に除去されてしまう情報量を抑制する。
また、別法として、バイタル情報取得モードにおいて、ノイズリダクションを実行しない(通常撮影モードでのみノイズリダクションを実行する)構成も可能である。これによると、通常撮影モードでは、撮像画像のノイズを適切に低減しつつ、バイタル情報取得モードでは、撮像画像に含まれる脈拍推定に有用な情報が、撮像画像からノイズと共に除去されてしまうことを防止できる。
また、ノイズ低減処理部15が、後述する領域抽出部22と同様に撮像画像における顔領域の抽出機能を備えることにより、撮像画像から顔領域が抽出された場合に、その顔領域のみにおいて上述のようにノイズ低減処理を軽減し、或いはその顔領域のみにおいてノイズ低減処理を実行しない構成としてもよい。これにより、顔領域以外のノイズを適切に低減しつつ、上述と同様の効果が得られる。
データ圧縮処理部16は、MPEG規格に準拠したデータ符号化方式に基づき、撮像画像のデータ圧縮処理を実行することが可能である。データ圧縮処理された撮像画像(圧縮画像)は、画像記憶部18に記憶されると共に、必要に応じて(バイタル情報取得モードが実行された場合に)脈拍推定装置3に送信される。
図示は省略するが、上述のようなカメラ2は、例えば、所定の撮影制御プログラムに基づき各種画像処理や周辺機器の制御などを統括的に実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリとしてのRAM(Random Access Memory)、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリとしてのROM(Read Only Memory)、及び補助記憶装置等を備えている。上述のような画像処理部12の上記各部の機能は、それらのハードウェアや、プロセッサにより実行される撮影制御プログラムによって実現される。
なお、脈拍推定システム1では、ノイズリダクション及びデータ圧縮処理の少なくとも一方を実施可能であればよく、したがって、画像処理部12におけるノイズ低減処理部15及びデータ圧縮処理部16の少なくとも一方を省略した構成が可能である。また、カメラ2における画像処理部12の少なくとも一部の機能(ノイズリダクション、データ圧縮処理等)を脈拍推定システム1の他の装置(例えば、脈拍推定装置3)に実行させてもよい。
脈拍推定装置3は、人物Hの少なくとも一部を含む時間的に連続する撮像画像として、カメラ2からの撮像画像(映像信号)が入力される画像入力部21と、その撮像画像から人物Hの肌色領域(ここでは、顔領域)を抽出する領域抽出部22と、その抽出された人物Hの肌色領域に基づき、人物Hの脈拍を算出(推定)する脈拍算出部(脈拍推定部)23と、その脈拍の推定結果を含む各種情報をユーザに対して表示可能な公知のディスプレイ装置からなる表示部24とを備えている。なお、領域抽出部22によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。また、画像入力部21に入力される撮像画像は、カメラ2から送信されるものに限らず、撮影後に公知のメモリ等に記憶された撮像画像であってもよい。
領域抽出部22は、各撮像画像(フレーム画像)に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Hの肌色領域として抽出・追尾する。また、領域抽出部22は、抽出した顔領域に関する撮像画像のデータを脈拍算出部23に送出する。
領域抽出部22では、上述の方法に限らず、撮像画像から予め設定された肌色成分(例えば、RGBの各画素値に関する予め設定された比率であって、人種等によって異なる値となる)を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分(例えば、手や腕など)についても、肌色領域として抽出可能である。ただし、上述のように、人物Hの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図1では、1人の人物Hのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部22では、複数の顔領域が抽出され得る。
脈拍算出部23は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばRGBの各成分の画素値(0−255階調)を算出し、その代表値(ここでは、各画素の平均値)の時系列データを脈拍信号として生成する。ここでは、代表値として各画素の平均値を用いており、その平均値は小数点精度の値となる。また、この場合、脈動による変動が特に大きい緑成分(G)のみの画素値に基づき時系列データを生成することができる。
生成された画素値(平均値)の時系列データは、例えば、図4(A)に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動(例えば、画素値の1階調未満の変動)を伴う。そこで、脈拍算出部23は、その画素値に基づく時系列データに対し、FFT(Fast Fourier Transform)による周波数解析処理を実行することにより、図4(B)に示すようなパワースペクトルを抽出することができる。脈拍算出部23では、このパワースペクトルにおいて、パワーの高い周波数成分(例えば、スペクトルの極大値)を検出し、その周波数成分に基づき脈拍(数)を推定することができる。
上述のような脈拍推定装置3は、例えば、PC(Personal Computer)などの情報処理装置から構成することが可能である。図示は省略するが、脈拍推定装置3は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリとしてのRAM、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリとしてのROM、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ(画像出力装置)、スピーカ、入力デバイス、及びHDD(Hard Disk Drive)などを含むハードウェア構成を有しており、図2に示した脈拍推定装置3の各部の機能の少なくとも一部については、プロセッサが所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置3の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
ここで、図5を参照して、データ圧縮処理部16でのデータ圧縮処理において発生し得るノイズについて説明する。図5(A)は、比較用として撮像画像にデータ圧縮処理を実施しない場合の周波数解析結果を示している。また、図5(A)では、説明の便宜上、脈拍に基づくスペクトルのみを模式的に示している。一方、図5(B)は、フレームレート30fpsの撮像画像に関し、Iピクチャ35及びPピクチャ36から構成されるGOP(Group of Picture)の先頭に、Iピクチャ35が30フレーム間隔で周期的に挿入される場合の周波数解析結果を示している。また、図5(B)では、説明の便宜上、脈拍に基づくスペクトル及びデータ圧縮処理に基づくノイズのみを模式的に示している。
図5(A)に示すように、データ圧縮処理を実施しない場合には、例えば脈拍を約60拍/分とすると、約1Hzの周波数の位置に脈拍に基づくスペクトルが出現し、このスペクトルに基づき脈拍の推定が可能となる。
一方、図5(B)に示すように、フレームレート30fpsの撮像画像においてIピクチャ35が30フレーム間隔で挿入された場合には、そのIピクチャ35からそれに続くPピクチャ36への切り替わりにより、脈拍の周波数(約1Hz)に近い周波数域にノイズが発生する。これは、Iピクチャ35とPピクチャ36との切り替わりの際に失われる情報量の差が、周波数解析においてスペクトルとして出現したものと考えられる。これにより、脈拍に基づくスペクトルとノイズとの区別が困難になり、その結果、上述の図4(B)に示したようなスペクトルに基づく脈拍の推定が困難となる。
そこで、脈拍推定システム1では、後に詳述するように、カメラ2の動作モードに応じて、画像処理制御部17が、複数のピクチャ(Iピクチャ、Pピクチャ、Bピクチャ)から構成されるGOPに挿入されるIピクチャの時間的な間隔を変更(GOPを制御)することにより、脈拍の推定に好適な撮像画像を取得することを可能としている。
なお、本実施形態では、撮像画像のフレームレートを30fpsとするが、これに限らず、他のフレームレートにおいてもGOPにおけるIピクチャの挿入間隔によっては、脈拍に基づくスペクトルの近傍にIピクチャの挿入に起因するノイズが発生し得る。また、ここでは、IピクチャからPピクチャへの切り替わりによって発生するノイズに注目しているが、IピクチャからBピクチャへの切り替わりによって発生するノイズについても同様である。
図6は、カメラ2のノイズ低減処理部15におけるノイズリダクションに関する設定方法を示すフロー図である。カメラ2が起動すると、画像処理制御部17は、ノイズ低減処理部15のノイズリダクションに関する初期設定を実行する(ST101)。本実施形態では、カメラ2の起動時には通常撮影モードが選択(ON)されており、画像処理制御部17は、ノイズリダクションに関し、3DNRのフィルタ係数を初期値(ここでは、M:N=0.5:0.5)に設定する。これにより、ユーザは、カメラ2による通常の撮影において、ノイズが適切に低減された撮像画像を取得することが可能となる。
続いて、ユーザの指示に基づき、バイタル情報取得モードが選択(ON)されると(ST102:Yes)、画像処理制御部17は、現フレームの画像に合成される前フレームの画像の割合を減少させるように3DNRのフィルタ係数を変更(ここでは、M:N=0.9:0.1に変更)する(ST103)。このとき、脈拍推定装置3における脈拍推定処理を阻害しない程度の軽度のノイズリダクションが施された撮像画像がカメラ2から脈拍推定装置3に対して出力される。これにより、撮像画像のノイズをある程度低減しつつ(すなわち、撮像画像の画質を可能な限り維持しつつ)、脈拍推定処理に好適な撮像画像を取得することが可能となる。
なお、別法として、ステップST103において、画像処理制御部17は、3次元ノイズリダクションをOFFとする(M:N=1.0:0.0に設定する)ことも可能である。その場合、ノイズリダクションが施されていない撮像画像がカメラ2から脈拍推定装置3に対して出力されることになる。これにより、ノイズの低減効果は得られないものの、脈拍推定処理にはより好適な撮像画像を取得することが可能となる。
最終的にバイタル情報取得モードがOFFされる(ここでは、通常撮影モードが選択される)と(ST104:Yes)、再びステップST101に戻り、上述と同様のステップが繰り返し実行される。なお、ノイズリダクションの設定方法としては、カメラ2の起動時にバイタル情報取得モードが選択(ON)される(ステップST103から開始される)構成も可能である。
図7は、カメラ2のデータ圧縮処理部16におけるデータ圧縮処理に関する設定方法を示すフロー図であり、図8は、図7中のステップST203の処理およびその処理結果を示す説明図であり、図9は、図8に示した処理および処理結果の変形例を示す説明図である。
カメラ2が起動すると、画像処理制御部17は、データ圧縮処理部16のデータ圧縮処理に関する初期設定を実行する(ST201)。本実施形態では、カメラ2の起動時には通常撮影モードが選択(ON)されており、画像処理制御部17は、データ圧縮処理に関し、フレームレート30fpsの撮像画像(圧縮画像)においてIピクチャを30フレーム間隔で挿入するように設定する。これにより、ユーザは、通常の撮影において、データ容量が適切に圧縮された撮像画像を取得することが可能となる。
続いて、ユーザの指示に基づき、バイタル情報取得モードが選択(ON)されると(ST202:Yes)、画像処理制御部17は、データ圧縮処理に関し、Iピクチャの挿入間隔を変更する(ST203)。このとき、図8に示すように、画像処理制御部17は、Iピクチャ35を例えば90〜120程度のフレーム間隔でPピクチャ36群の間に挿入するように設定する。これにより、脈拍の周波数に近い周波数域に発生していたノイズ(図5(B)参照)は、脈拍の周波数成分(ここでは、約1Hz)よりもより低周波数側に変位するため、脈拍推定装置3における脈拍推定処理において、脈拍に基づくスペクトルとノイズとの区別が容易となる。
また、別法として、画像処理制御部17は、ステップST203におけるIピクチャの挿入間隔を変更する代わりに、例えば、図9に示すように、全てのフレームをIピクチャ35で構成するように設定することも可能である。この場合、データ圧縮の効果は低減されるものの、IピクチャからPピクチャへの切り替わりに起因するノイズの発生を確実に防止することができる。
最終的にバイタル情報取得モードがOFFされる(ここでは、通常撮影モードが選択される)と(ST204:Yes)、再びステップST201に戻り、上述と同様のステップが繰り返し実行される。なお、データ圧縮処理に関する設定方法としては、カメラ2の起動時にバイタル情報取得モードが選択(ON)される(ステップST203から開始される)構成も可能である。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記本実施形態では、本発明に係る画像処理装置をカメラ2の機能の一部として実現した例を示したが、これに限らず、カメラ2から取得した撮像画像のデータ圧縮処理(またはノイズリダクション)を実行する装置であってもよい。また、カメラ2で画像処理された撮像画像は、必ずしも脈拍推定装置3に直接送信される必要はなく、画像記憶部18に記憶された撮像画像を別途他の装置による脈拍の推定に用いる構成も可能である。なお、上記画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明に係る画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法は、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得可能とし、脈拍の推定に好適な画像を取得するための画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法などとして有用である。
1 脈拍推定システム
2 カメラ(画像処理装置)
3 脈拍推定装置
11 撮像部
12 画像処理部
15 ノイズ低減処理部
16 データ圧縮処理部
17 画像処理制御部(動作モード選択部)
18 記憶部
21 画像入力部
22 領域抽出部
23 脈拍算出部
2 カメラ(画像処理装置)
3 脈拍推定装置
11 撮像部
12 画像処理部
15 ノイズ低減処理部
16 データ圧縮処理部
17 画像処理制御部(動作モード選択部)
18 記憶部
21 画像入力部
22 領域抽出部
23 脈拍算出部
Claims (12)
- 画像を取得する画像処理装置であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理部と、
ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択部と、を備え、
前記データ圧縮処理部は、
前記第1動作モードが選択される場合、前記圧縮画像を第1の構成によって生成し、
前記ユーザからの指示に基づき選択される動作モードが前記第1動作モードから前記第2動作モードに切り替えられる場合、前記圧縮画像を前記第1の構成とは異なる第2の構成に切り替えて生成する、画像処理装置。 - 前記第1の構成によって生成された前記圧縮画像は少なくともIピクチャおよびPピクチャを含み、
前記第2の構成によって生成された前記圧縮画像は少なくともIピクチャおよびPピクチャを含み、
前記第2の構成におけるIピクチャの間隔は、前記第1の構成におけるIピクチャの間隔よりも大きい、請求項1に記載の画像処理装置。 - 前記第1の構成によって生成された前記圧縮画像は少なくともIピクチャおよびPピクチャを含み、
前記第2の構成によって生成された前記圧縮画像はIピクチャのみで構成される、請求項1に記載の画像処理装置。 - 前記第1の構成によって生成された前記圧縮画像は少なくともIピクチャおよびPピクチャを含み、
前記第2の構成によって生成された前記圧縮画像は連続する複数のIピクチャを含むように構成される、請求項1に記載の画像処理装置。 - 前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、
前記ノイズ低減処理部は、前記第2動作モードが選択された場合、前記第1動作モードが選択された場合よりも前記ノイズ低減処理を軽減する、請求項1から請求項4のいずれかに記載の画像処理装置。 - 前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、
前記ノイズ低減処理部は、前記第1動作モードが選択された場合、前記ノイズ低減処理を実行する一方、前記第2動作モードが選択された場合、前記ノイズ低減処理を実行しない、請求項1から請求項4のいずれかに記載の画像処理装置。 - 前記ノイズ低減処理部は、前記撮像画像から顔領域が抽出された場合、前記顔領域のみにおいて前記ノイズ低減処理を軽減するか、または前記顔領域のみにおいて前記ノイズ低減処理を実行しない、請求項5または請求項6に記載の画像処理装置。
- MPEG規格に準拠したデータ符号化方式に基づき、前記データ圧縮処理を実行する、請求項1から請求項7のいずれかに記載の画像処理装置。
- 請求項1から請求項8のいずれかに記載の前記画像処理装置と、前記画像処理装置において前記データ圧縮処理が実行された圧縮画像に基づきバイタル情報を取得するバイタル情報取得装置とを備えた、バイタル情報取得システム。
- 前記画像処理装置は、ネットワークを介して前記圧縮画像を前記バイタル情報取得装置に送信する、請求項9に記載のバイタル情報取得システム。
- 前記画像処理装置は、前記圧縮画像を記憶する画像記憶部をさらに備え、
前記画像記憶部に記憶される前記圧縮画像は、前記第2動作モードは選択された場合に限り、前記バイタル情報取得装置に送信される、請求項9または請求項10に記載のバイタル情報取得システム。 - 画像を取得する画像処理方法であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理ステップと、
ユーザからの指示に基づき、通常撮影用の第1動作モードおよび脈拍推定用の第2動作モードのいずれかを選択可能な動作モード選択ステップと、を備え、
前記データ圧縮処理ステップでは、
前記第1動作モードが選択される場合、前記圧縮画像を第1の構成によって生成し、
前記ユーザからの指示に基づき選択される動作モードが前記第1動作モードから前記第2動作モードに切り替えられる場合、前記圧縮画像を前記第1の構成とは異なる第2の構成に切り替えて生成する、画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021098876A JP2021166389A (ja) | 2020-01-09 | 2021-06-14 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020001881A JP6937473B2 (ja) | 2015-10-29 | 2020-01-09 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
JP2021098876A JP2021166389A (ja) | 2020-01-09 | 2021-06-14 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001881A Division JP6937473B2 (ja) | 2015-10-29 | 2020-01-09 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021166389A true JP2021166389A (ja) | 2021-10-14 |
Family
ID=69997761
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001881A Active JP6937473B2 (ja) | 2015-10-29 | 2020-01-09 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
JP2021098876A Pending JP2021166389A (ja) | 2020-01-09 | 2021-06-14 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001881A Active JP6937473B2 (ja) | 2015-10-29 | 2020-01-09 | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6937473B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189665A (ja) * | 2005-12-16 | 2007-07-26 | Canon Inc | 撮像装置及び再生装置 |
JP2014506062A (ja) * | 2011-01-05 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | Ppg関連情報を保存するビデオ符号化及び復号化デバイス及び方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157239A (ja) * | 2004-11-26 | 2006-06-15 | Canon Inc | 画像処理装置及び画像処理方法 |
US20100041968A1 (en) * | 2007-04-12 | 2010-02-18 | Koninklijke Philips Electronics N.V. | Image capture in combination with vital signs bedside monitor |
JP2009296124A (ja) * | 2008-06-03 | 2009-12-17 | Pioneer Electronic Corp | 画像処理装置及び方法並びに復号化装置 |
JP5266895B2 (ja) * | 2008-06-12 | 2013-08-21 | 富士通株式会社 | 脈波検出装置、脈波検出プログラムおよび脈波検出方法 |
WO2014002276A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士通株式会社 | バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム |
JP6083162B2 (ja) * | 2012-09-10 | 2017-02-22 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
JP6115263B2 (ja) * | 2013-04-02 | 2017-04-19 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
-
2020
- 2020-01-09 JP JP2020001881A patent/JP6937473B2/ja active Active
-
2021
- 2021-06-14 JP JP2021098876A patent/JP2021166389A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189665A (ja) * | 2005-12-16 | 2007-07-26 | Canon Inc | 撮像装置及び再生装置 |
JP2014506062A (ja) * | 2011-01-05 | 2014-03-06 | コーニンクレッカ フィリップス エヌ ヴェ | Ppg関連情報を保存するビデオ符号化及び復号化デバイス及び方法 |
Non-Patent Citations (1)
Title |
---|
ZHONGKANG LU, JINGHONG ZHENG, WEISI LIN, SUSANTO RAHARDJA: "A Perceptual Deblocking Filter for ROI-based Scalable Video Coding[online]", JVT-V JVT-V064R1, JPN6022020148, 15 October 2012 (2012-10-15), pages 1 - 13, ISSN: 0004779798 * |
Also Published As
Publication number | Publication date |
---|---|
JP6937473B2 (ja) | 2021-09-22 |
JP2020054014A (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6653467B2 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
US11647913B2 (en) | Image processing apparatus and pulse estimation system provided therewith, and image processing method | |
US20230284917A1 (en) | Method and apparatus for the continous estimation of human blood pressure using video images | |
US9286944B2 (en) | Methods and systems for providing a combination of media data and metadata | |
JP6509605B2 (ja) | 生理学的パラメータの推定 | |
EP3142071A1 (en) | Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof | |
WO2014030439A1 (ja) | 生体状態観察システム、生体状態観察方法、およびプログラム | |
JP6937473B2 (ja) | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 | |
JP6436385B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
JP6497218B2 (ja) | 脈波検出装置、脈波検出方法、脈波検出システム、及び、プログラム | |
JP2019170407A (ja) | 信号制御装置、信号制御プログラム、及び信号制御方法 | |
TW201936116A (zh) | 於視訊中即時分析生理特徵的方法 | |
JP6585623B2 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
KR102249234B1 (ko) | 심박수 측정 장치 및 방법 | |
JPH09233471A (ja) | 画像情報圧縮符号化装置 | |
JP2021178055A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2022045503A (ja) | バイタルデータ測定装置及びバイタルデータ測定方法並びにコンピュータプログラム | |
JP2022031001A (ja) | 心拍測定システム、心拍測定方法、及び心拍測定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221122 |