JP2023162707A - 検査装置、検査方法及びプログラム - Google Patents

Abstract

【課題】 さまざまな照明条件において高い検出精度を有する検査装置を提供すること。
【解決手段】 第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子１０２から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査装置１０であって、複数の第１の画素から出力された複数の第１の輝度値及び複数の第２の画素から出力された複数の第２の輝度値を取得する取得部１１と、複数の第１の輝度値と複数の第２の輝度値に関する情報を算出する算出部１２と、情報に基づいて被検体の検査に用いる脈波の種類を決定する決定部１３と、決定部１３により決定された種類の脈波を検出する検出部１４とを備える。
【選択図】 図１

Description

本発明は、被検体の生体情報を取得する検査装置、検査方法及びプログラムに関する。

近年、被検体に対して非接触で脈拍数を推定するために、被検体を撮像することで得られた画像に基づいて、被検体の脈波を検出する技術が知られている。

被検体に対して非接触で脈波を検出する技術では、被検体を照らす光の明るさや色などの照明条件によって発生するノイズにより脈波の検出精度が低下するおそれがある。検出精度を向上させるために、照明条件に応じてノイズが少ない脈波を選択的に検出する必要がある。

特許文献１では、被検体の画像のうち照明条件によるノイズが少ない部分を解析領域に設定し、その解析領域において脈波を検出する方法が提案されている。

特開２０１５－１７３８１０号公報

しかし、特許文献１に係る検出装置では、照明条件の影響が画像の全体に及んでいる場合、この方法を用いても脈波の検出精度の向上にはつながらない。

本発明は、さまざまな照明条件において高い検出精度を有する検査装置を提供することを目的とする。

上記目的を達成するための、本発明の一側面としての検査装置は、第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査装置であって、複数の第１の画素から出力された複数の第１の輝度値及び複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、複数の第１の輝度値と複数の第２の輝度値に関する情報を算出する算出部と、情報に基づいて被検体の検査に用いる脈波の種類を決定する決定部と、決定部により決定された種類の脈波を検出する検出部とを備えることを特徴とする。

本発明によれば、さまざまな照明条件において高い検出精度を有する検査装置を提供することができる。

検査システムのブロック図。 実施例１の検査システムの処理動作を示すフローチャート。 脈波信号を用いて検出された脈波。 脈波信号を用いて検出された脈波の周波数情報。 実施例２の検査システムの処理を示すフローチャート。 実施例２の出力部にて出力された脈波の一例。 実施例３の検査システムの処理を示すフローチャート。 実施例４の検査システムの処理を示すフローチャート。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。なお、各図面は、便宜的に実際とは異なる縮尺で描かれている場合がある。また、各図面に示すように、同一の部材については同一の参照番号を付し、重複する説明を省略する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。

被検体に対して非接触で被検体の脈波を検出するために、被検体の皮膚表面からの反射光を検出する技術がある。被検体としての生物の血管は脈拍に応じて血流量が周期的に増減している。血液にはヘモグロビンが含まれており、ヘモグロビンは、４９５～５７０ｎｍ（緑色の波長）及び８００～１０００ｎｍ（赤外域の波長）の光に対する吸収率が高いという特性を持つ。そのため、被検体の血管を含む皮膚表面の一部からの反射光の光量の時間に対する変化を取得することで、被検体の脈波を検出することができる。以下、被検体からの反射光のうち血液中のヘモグロビンが高い吸収率を示す波長成分を脈波成分とする。

被検体に対して非接触で脈波を検出する検査装置では、脈波成分に感度を有する撮像素子を備える撮像装置を用いて被検体の皮膚表面を時間的に連続して撮像することにより被検体の脈波を検出する。撮像装置を用いた脈波の検出では、一般的に平均輝度値が用いられる。平均輝度値は、画像に含まれる特定の波長に感度を有する画素から出力された輝度値（画素値）の平均値である。検査装置は、被検体を撮像して得られた画像データから輝度値に関する情報を脈波信号として抽出する。脈波信号は、画素に対する平均輝度値を演算した形で表される。また、互いに異なる複数の波長に感度を有する複数の画素を有する撮像素子により出力された画像からは、複数（２種類以上）の脈波信号を抽出することができる。抽出された脈波信号を時間的に連続して取得したものが被検体の脈波である。

非接触で脈波を検出する場合、被検体の脈波による周期的な光量の変化のほかに被検体の体動や被検体を照らす光の明るさや色などの照明条件によって反射光に含まれる脈波成分の光量の比率が変化することが考えられる。被検体からの反射光に含まれる脈波成分の光量の比率が多い場合、反射光に含まれるノイズは少ない。一方で、被検体からの反射光に含まれる脈波成分の光量の比率が少ない場合、反射光に含まれるノイズは多くなる。ノイズが多い場合、脈波成分と異なる波長の光量を演算して得られた脈波信号を取得することでノイズによる検出精度の低下を抑制することができる。このように脈波の検出の際に取得する脈波信号によって検出の精度が異なる。

しかし、一般的な検査装置は、一定の照明条件を想定し、予め決められた一つの脈波信号を取得することで脈波を検出している。さまざまな照明条件において高い検出精度を実現するために、被検体の脈波を検出する際に、照明条件に応じてノイズが少ない脈波を選択して検査を行う必要がある。

そこで本実施形態に係る検査装置は、第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能である。また、複数の第１の画素から出力された複数の第１の輝度値及び複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、複数の第１の輝度値と複数の第２の輝度値に関する情報を算出する算出部を含む。さらに、情報に基づいて被検体の検査に用いる脈波の種類を決定する決定部と、決定部により決定された種類の脈波を検出する検出部とを備えることを特徴とする。

［検査システム］
次に、本実施形態に係る検査装置１０を備えた検査システム１０００について、図１のブロック図を用いて詳細に説明する。検査システム１０００は、撮像装置１００で被検体の皮膚表面を撮像して得られた動画像から、被検体の皮膚表面からの反射光に関する情報を時間的に連続して取得することによって脈波を検出するシステムである。検査システム１０００は、撮像装置１００と検査装置１０とを含んで構成される。検査装置１０と撮像装置１００とは、互いに通信可能に接続される。なお、その接続方法は有線か無線かを問わない。また、検査システム１０００は、検査装置１０及び撮像装置１００を、互いに一体となった装置として構成してもよい。つまり検査装置１０の内部に撮像部として撮像装置１００を設けたり、撮像装置１００の内部に検査部として検査装置１０を設けたりしてもよい。

本実施形態に係る撮像装置１００は、３０ｆｐｓ（Ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）にて被検体を撮像することができる。つまり、１秒間に３０枚の画像を連続して記録することで、動画像を取得することができる。なお、撮像装置１００のフレームレートは、３０ｆｐｓに限定されない。撮像装置１００は光学系と撮像素子１０２を有する。撮像素子１０２は、互いに異なる二つ以上の波長に感度を有する画素が含まれている。上記の画素のうち少なくとも一つは、脈波成分に感度を有する画素である。以下、本実施例では、互いに異なる複数の波長のうちの二つを第１の波長及び第２の波長とする。また、第１の波長及び第２の波長に感度を有する画素をそれぞれ第１の画素及び第２の画素とする。なお、撮像素子１０２は、３種類以上の波長に感度を有する画素を有していてもよい。撮像素子１０２としては、ＣＣＤセンサやＣＭＯＳセンサ、ＡＰＤセンサ、ＳＰＡＤセンサ等の光電変換素子を採用することができる。

検査装置１０は、取得部１１と、算出部１２と、決定部１３と、検出部１４とを有し、撮像装置１００により撮像された被検体の検査を行う。本実施例の検査装置１０で行われる各種処理を実行するプログラムを、ネットワーク又は記憶媒体を介してそのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し検査装置１０で行われる各種処理を実行する処理でも実現可能である。

取得部１１は、撮像素子１０２から出力された輝度値を取得する。互いに異なる複数の波長のうちの二つを第１の波長及び第２の波長とする。本実施形態に係る撮像素子１０２は、第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む。取得部１１は、複数の第１の画素に対応する複数の第１の輝度値（画素値）及び複数の第２の波長に対応する複数の第２の輝度値（画素値）を取得する。なお、波長に感度を有する画素はそれぞれ一つでもよい。本実施形態の撮像装置１００は被検体を時間的に連続して撮像しているため、取得部１１も時間的に連続した画像に対応する輝度値を取得することができる。その場合、取得部１１は、時間に関する情報を取得してもよい。時間に関する情報は、撮像開始からの時間若しくは撮像開始から撮像した枚数（フレーム数）である。このような構成を採ることで、撮像を行っている間の特定のタイミングにおける被検体の脈波を検出することができる。さらに、取得部１１は、被検体を撮像して得られた画像から、任意の大きさ、形の範囲を解析領域に設定する設定手段を有していてもよい。検査装置１０は、設定手段によって解析領域が設定された場合、解析領域に対応する信号から被検体の脈波を検出する。解析領域は、被検体の目、鼻、口、及び、顔の輪郭といった顔のパーツを含む範囲や頬、額、及び、手掌といった皮膚表面の特定部位の範囲を設定してもよい。また、撮像装置１００が設定手段を有していてもよく、その場合、取得部１１は、解析領域に対応する範囲の画素から出力された輝度値を取得する。解析領域を設定することで、撮像して得られた画像内から被検体の皮膚表面が写っている部分を抽出して脈波の検査を行えるため、検査の精度が向上する。

算出部１２は、第１の輝度値と第２の輝度値に関する情報を算出する。被検体からの反射光に含まれる脈波成分の光量は、被検体の体動や照明条件によって変化する。そのため、算出部１２は、被検体からの反射光に脈波成分の光量がどの程度含まれているかを第１の輝度値と第２の輝度値から算出する。算出部１２は、平均輝度値および平均輝度値の演算により得られる信号の周波数情報を第１の輝度値と第２の輝度値に関する情報として算出する。以下、取得した画像若しくは解析領域における第１の輝度値の平均値を第１の平均輝度値、及び第２の輝度値の平均値を第２の平均輝度値とする。なお、算出部１２は、取得部１１にて取得した輝度値に基づいて平均輝度値を算出する第１の算出手段を有していてもよい。また、算出部１２は、外部の装置によって求められた平均輝度値を用いて第１の輝度値と第２の輝度値に関する情報を算出してもよい。平均輝度値および平均輝度値の演算により得られる信号の周波数情報は、周波数解析によって求めることができる。具体的には、第１の平均輝度値、第２の平均輝度値、第１の平均輝度値と第２の平均輝度値の演算により得られる信号を周波数解析することで周波数情報を算出することができる。周波数情報を算出することで脈波及びノイズの周波数の信号強度をそれぞれ定量的に評価することができる。なお、平均輝度値および平均輝度値の演算により得られる信号は脈波信号であり、検査装置１０により取得可能な複数の脈波に対応している。

さらに、算出部１２は、脈波信号の周波数情報を算出する代わりに、第１の平均輝度値と第２の平均輝度値の演算によって第１の輝度値と第２の輝度値に関する情報を示す情報を算出してもよい。第１の輝度値と第２の輝度値に関する情報として、第２の輝度値に対する第１の輝度値の比の値、第１の輝度値と第２の輝度値との和に対する第１の輝度値の比の値、及び第１の輝度値と第２の輝度値の差の値を算出する。なお、輝度値の代わりに平均輝度値を用いて算出してもよい。このような構成を採ることで、動画像における１枚の画像に対応する輝度値から算出することができる。そのため、数秒間の脈波信号が必要な周波数情報を算出する構成に対して、脈波の検出に要する時間を短縮することができる。

決定部１３は、算出部１２にて算出された情報に基づいて、被検体の検査に用いる脈波の種類を決定する。算出部１２で算出された情報が周波数情報の場合、決定部１３では第１の周波数範囲内で最も高い信号強度を有する脈波信号を取得することで検出される種類の脈波を用いて検査を行う。第１の周波数範囲は、被検体に応じた脈拍数の範囲及び脈拍数に対応する周波数の範囲である。

なお、決定部１３は、算出部１２で算出された情報が第１の平均輝度値と第２の平均輝度値との比の値であった場合、第１の平均輝度値と第２の平均輝度値との比の値としきい値とを比較することで、被検体の検査に用いる脈波の種類を決定することができる。具体的に、第１の平均輝度値が脈波成分に感度を有する画素から出力された信号として説明する。第１の平均輝度値と第２の平均輝度値との比の値がしきい値よりも大きい場合被検体からの反射光に脈波成分が多く含まれているため第１の平均輝度値のみを用いて脈波信号を取得することによって精度よく脈波を検出することができる。一方で、第１の平均輝度値と第２の平均輝度値との比の値がしきい値よりも小さい場合、被検体からの反射光に脈波成分が少なく、ノイズとなる波長の光量が比較的多いことがわかる。そのため、脈波成分である第１の平均輝度値とその他の平均輝度値を演算して表される脈波信号を取得することでノイズによる検出精度の低下を抑制することができる。

本実施形態では、決定部１３が算出部１２にて算出された情報に基づいて被検体の検査に用いる脈波の種類を決定するため、照明条件に応じて取得する脈波信号を異ならせることができる。このような構成を採ることで、どのような照明条件であっても予め設定されたワンパターンの脈波信号を取得して検査する一般的な検査装置に対して、本実施形態では、さまざまな照明条件において、高い検出精度を実現することができる。

検出部１４は、決定部１３で決定された種類の脈波を検出する。検出部１４は、脈波を検出するために、決定された種類の脈波に対応する脈波信号を取得部１１にて取得された輝度値から取得する。なお、検出部１４は算出部にて得られた平均輝度値および平均輝度値の演算により得られる信号を取得して脈波を検出してもよい。このような構成を採ることで、平均輝度値を用いて脈波を検出することができるため、脈波の検出精度が向上する。なお、検査装置１０は必要に応じて、取得部１１及び算出部１２にて得られた情報を記憶する記憶部を有していてもよい。なお、記憶部として、検査装置１０内のプロセッサ、外部の装置もしくは別の記憶媒体を用いることができる。このような構成を採ることで、撮像を行っている時間の中で特定のタイミングの被検体の脈波を検出することができる。

検査装置１０は必要に応じて、検査の過程で取得した脈波に関する情報を出力する出力部１５を有していてもよい。脈波に関する情報には、脈波（波形）、脈波信号、周波数情報が含まれる。脈波に関する情報を出力することで、脈拍数の推定や検査結果のモニタリングを行うことができる。さらに、出力部１５は、検出した脈波に対して移動平均処理やノイズ除去処理を施すことで脈波の平滑化を行ってもよい。なお、検査装置１０は必要に応じて、表示部を有していてもよい。表示部として、液晶ディスプレイや有機ＥＬディスプレイを採用することができる。表示部は、検査装置１０とは別の外部装置が有していてもよく、その場合、検査装置１０は、有線通信又は無線通信により脈波に関する情報（データ）を外部装置に送信できる。

検査システム１０００は必要に応じて、出力部１５により出力された脈波に関する情報から被検体の脈拍数を推定する推定部１６を有していてもよい。なお、検査システム１０００における検査装置１０とは別の上述した外部装置に推定部１６が含まれていてもよい。なお、脈拍推定の手法については、ピーク間の間隔の移動平均を求めるものや、周波数解析を行うもの、主成分分析を行うもの等があり、本発明では脈拍推定の手法については限定しない。

［実施例１］
以下、本発明の実施例１に係る検査装置１０について図２に示すフローチャートを用いて説明する。

ステップＳ１１（撮像ステップ）にて、撮像装置１００は、被検体を撮像する。本実施例に係る撮像装置１００が備える撮像素子１０２は、ＲＧＢカラーセンサである。ＲＧＢカラーセンサは、Ｇの波長（第１の波長）に感度を有するＧ画素（第１の画素）、Ｒの波長（第２の波長）に感度を有するＲ画素（第２の画素）、及びＢの波長（第３の波長）に感度を有するＢ画素（第３の画素）を有する。また、このうちＧの波長が脈波成分である。

ステップＳ１２（取得ステップ）にて、取得部１１は、撮像素子１０２から出力された輝度値を取得する。本実施例において取得部１１は、本実施例において撮像素子１０２はＲＧＢセンサであるため、取得部１１は、Ｇの輝度値（第１の輝度値）、Ｒの輝度値（第２の輝度値）、Ｂの輝度値（第３の輝度値）を取得する。

ステップＳ１３（第１の算出ステップ）にて、算出部１２は、取得した輝度値から平均輝度値及び平均輝度値に関する情報を算出する。なお、以下ではＧ画素に対応する平均輝度値をＧａｖｅ（第１の平均輝度値）、Ｒ画素に対応する平均輝度値をＲａｖｅ（第２の平均輝度値）、及びＢ画素に対応する平均輝度値をＢａｖｅ（第３の平均輝度値）とする。本実施例において算出部１２は、輝度値から平均輝度値に関するＧａｖｅ（第１の信号）、Ｇａｖｅ／Ｒａｖｅ（第２の信号）及びＧａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）（第３の信号）の三つの信号を算出する。ここで図３に三つの信号によって生成された脈波を示す。図３（ａ）、図３（ｂ）、及び図３（ｃ）はそれぞれＧａｖｅ、Ｇａｖｅ／Ｒａｖｅ、及びＧａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）の脈波信号を取得することによって、検出された被検体の脈波を示す。図３に示すグラフの縦軸は信号強度を示し、横軸は時間（秒）を示す。このように、互いに異なる複数の波長に対して感度を有する複数の画素を備える撮像素子１０２を用いて、複数の脈波信号を取得することによって異なる種類の脈波を検出することができる。

ステップＳ１４（第２の算出ステップ）にて、算出部１２は、ステップＳ１３において算出された信号の周波数情報を算出する。本実施例において算出部１２は、三つの脈波信号を周波数解析することによってそれぞれの周波数情報を求める。図４（ａ）、図４（ｂ）、及び図４（ｃ）のそれぞれは、周波数解析によって求められたＧａｖｅ、Ｇａｖｅ／Ｒａｖｅ、及びＧａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）の周波数情報を示す。図４に示すグラフの縦軸は信号強度を示し、横軸は周波数（Ｈｚ）を示す。脈波信号に対して周波数解析を行うことで、脈拍数及びノイズの周波数の信号強度が定量的に評価できる。

ステップＳ１５（決定ステップ）にて、決定部１３は、ステップＳ１４において算出された第１の輝度値と第２の輝度値に関する情報に基づいて被検体の検査に用いる脈波の種類を決定する。本実施例における決定部１３は、図４に示した各脈波信号の周波数情報に基づいて被検体の検査に用いる脈波の種類を決定する。具体的には、決定部１３は、周波数情報から第１の周波数範囲における複数の信号強度を互いに比較する。そして、最も高い信号強度を有する脈波信号を取得して脈波の検出を行うこと決定する。例えば、安静時のヒトを被検体とする場合の第１の周波数範囲は、脈拍数の範囲及び脈拍数に対応する周波数の範囲をそれぞれ４０～１２０ｂｐｍ（Ｂｅａｔ ｐｅｒ ｍｉｎｕｔｅｓ）及び０．６７～２．０Ｈｚというように設定することができる。図４（ａ）、図４（ｂ）、及び図４（ｃ）において、０．６７～２．０Ｈｚの範囲における最も高い信号強度を有するものは、図４（ｃ）における１．２０Ｈｚ付近のピークである。このとき、決定部１３は、Ｇａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）の脈波信号を取得することで脈波の検出を行うことを決定する。なお、第１の周波数範囲に用いる脈拍数の範囲及び脈拍数に対応する周波数の範囲は適宜変更してもよい。

ステップＳ１６（検出ステップ）にて、検出部１４は、決定された種類の脈波を検出する。本実施例に係る算出部１２は、脈波信号を算出している（第１の算出ステップ）。そのため、本実施例に係る検出部１４は、ステップＳ１２にて算出部１２が算出した脈波信号に基づいて脈波を検出することができる。例えば、決定部１３が、Ｇａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）の脈波信号を取得して脈波の検出を行うことを決定した場合、周波数情報の算出のために取得された時間内の脈波は、ステップＳ１３にて算出された図３（ｃ）から検出することができる。

ステップＳ１７（出力ステップ）にて、出力部１５は、検出した脈波に関する情報を出力してもよい。本実施例に係る出力部１５は、検出した脈波や、算出された周波数情報を出力する。

ステップＳ１８（推定ステップ）にて、推定部１６は、ステップＳ１７にて出力された脈波に関する情報から被検体の脈拍数を推定する。本実施例に係る推定部１６は、ステップＳ１６にて出力された周波数情報から脈拍数を推定できる。

以上、本実施例に係る検査装置１０によれば、周波数情報に基づいて、２種類以上の脈波からノイズの少ない脈波を決定して検査を行うことができるため、さまざまな照明条件において、高い検出精度を実現することができる。

［実施例２］
以下、本発明の実施例２に係る検査装置１０について図５に示すフローチャートを用いて説明する。撮像装置１００の構成は、実施例１と同様であるため、説明を省略する。

ステップＳ２１（撮像ステップ）にて、撮像装置１００は、被検体を撮像する。

ステップＳ２２（取得ステップ）にて、取得部１１は、撮像素子１０２から出力された輝度値を取得する。本実施例において撮像素子１０２はＲＧＢセンサであるため、取得部１１は、Ｇの輝度値（第１の輝度値）、Ｒの輝度値（第２の輝度値）、Ｂの輝度値（第３の輝度値）を取得する。

ステップＳ２３（第１の算出ステップ）にて、算出部１２は、ステップＳ２２において取得した輝度値から平均輝度値を算出する。具体的には、Ｇの輝度値からＧａｖｅ（第１の平均輝度値）、Ｒの輝度値からＲａｖｅ（第２の平均輝度値）、及びＢの輝度値（第３の輝度値）からＢａｖｅ（第３の平均輝度値）を求める。

ステップＳ２４（第２の算出ステップ）にて、算出部１２は、第１の輝度値と第２の輝度値に関する情報を算出する。本実施例に係る算出部１２は、第１の輝度値と第２の輝度値に関する情報として、ＧａｖｅとＲａｖｅとの比に関する情報を求める。算出部１２は、特定のタイミングで取得された画像におけるＧａｖｅとＲａｖｅを用いてＧａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）やＧａｖｅ／Ｒａｖｅの値を算出する。算出された情報により反射光に含まれる脈波成分の光量の比率を評価することができる。このような構成を採ることで、脈波信号を周波数解析する方法よりも迅速に第１の輝度値と第２の輝度値に関する情報を算出することができる。なお、Ｇの輝度値を第１の輝度値及びＢの輝度値を第２の輝度値として算出してもよい。

ステップＳ２５（決定ステップ）にて、決定部１３は、ステップＳ２４にて算出された情報に基づいて被検体の検査に用いる脈波の種類を決定する。本実施例に係る決定部１３は、算出された値としきい値との大小関係を比較することにより被検体の検査に用いる脈波の種類を決定する。一例として、算出部１２がＧａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）の値を算出し、しきい値として０．４（第１のしきい値）と０．９（第２のしきい値）を用いた場合について説明する。被検体からの反射光に脈波成分であるＧａｖｅの比率がしきい値よりも高いとき、ノイズが少ないため、Ｇａｖｅを脈波信号と決定することで精度よく脈波を検出することができる。Ｇａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）が０．９以上の場合はＧａｖｅを脈波信号に決定する。一方で、被検体からの反射光に脈波成分であるＧａｖｅの比率が低いときは、反射光に含まれるノイズが多い。その場合、Ｇａｖｅに加え、ＲａｖｅやＢａｖｅが含まれた脈波信号を決定することで、ノイズによる検出精度の低下を抑制することができる。また、Ｇａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）が０．９未満かつ０．４以上の場合はＧａｖｅ／Ｒａｖｅ、Ｇａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）が０．４未満の場合はＧａｖｅ／（Ｒａｖｅ＋Ｂａｖｅ）をそれぞれ脈波信号に決定する。なお、決定部１３にて用いられるしきい値は、被検体の撮像を行う条件に応じて適宜変更可能である。さらに本実施例にて用いられるしきい値及び対応する脈波信号を記憶部に記憶させてもよい。

必要に応じて、決定部１３は、Ｇａｖｅ^２／（Ｒａｖｅ×Ｂａｖｅ）を脈波信号に決定してもよい。脈波成分であるＧａｖｅを二乗することで、被検体からの反射光に含まれる脈波信号が少ない場合に変化量を強調することができる。

ステップＳ２６（検出ステップ）にて、検出部１４は、決定された脈波を検出する。本実施例に係る検出部１４は、取得部１１が取得した輝度値から、決定された脈波に対応する脈波信号を検出する。本実施例に係る検出部１４は、検出した脈波に対して移動平均処理やノイズ除去処理を施すことで脈波の平滑化を行うことができる。

ステップＳ２７（出力ステップ）にて、出力部１５は、ステップＳ２６にて検出した脈波に関する情報を出力する。本実施例に係る出力部１５は、検出した脈波や、算出された周波数情報を出力する。図６に出力された脈波の一例を示す。図６に示すグラフの縦軸は信号強度を示し、横軸は時間（秒）を示す。なお、図６に示した脈波は移動平均処理にて平滑化されている。

ステップＳ２８（推定ステップ）にて、推定部１６は、ステップＳ２７にて出力された脈波に関する情報から被検体の脈拍数を推定する。

以上、このような構成を採ることで、第１の輝度値と第２の輝度値に関する情報に基づいて、２種類以上の脈波からノイズの少ない脈波を決定して検査を行うことができる。そのため、さまざまな照明条件において、高い検出精度を実現することができる。さらに、本実施例に係る検査装置１０では、実施例１のように周波数情報に基づいて脈波の種類を決定する場合と比較して短時間で検査を行うことができる。

［実施例３］
以下、本発明の実施例３に係る検査装置１０について図７に示す実施例３に係る検査装置のフローチャートを参照にして説明する。なお、検出部１４、出力部１５、推定部１６は、実施例２と同様であるため、説明を省略する。

ステップＳ３１（撮像ステップ）にて、撮像装置１００は、被検体を撮像する。本実施例に係る撮像装置１００が備える撮像素子１０２は、Ｇの波長（第１の波長）に感度を有するＧ画素（第１の画素）及びＲの波長（第２の波長）に感度を有するＲ画素（第２の画素）を有する。また、このうちＧの波長が脈波成分である。

ステップＳ３２（取得ステップ）にて、取得部１１は、撮像素子１０２から出力された輝度値を取得する。本実施例に係る取得部１１は、Ｇの輝度値（第１の輝度値）と、Ｒの輝度値（第２の輝度値）とをそれぞれ取得する。

ステップＳ３３（第１の算出ステップ）にて、算出部１２は、Ｓ３２において取得した輝度値から平均輝度値を算出する。具体的には、Ｇの輝度値（第１の輝度値）からＧａｖｅ（第１の平均輝度値）とＲの輝度値（第２の輝度値）からＲａｖｅ（第２の平均輝度値）を求める。

ステップＳ３３（第２の算出ステップ）にて、算出部１２は、第１の輝度値と第２の輝度値に関する情報を算出する。本実施例に係る算出部１２は、第１の輝度値と第２の輝度値に関する情報として、ＧａｖｅとＲａｖｅとの光量の比に関する情報を求める。算出部１２は、特定のタイミングで取得された画像におけるＧａｖｅとＲａｖｅを用いてＧａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）やＧａｖｅ／Ｒａｖｅの値を算出する。なお、第１の輝度値と第２の輝度値に関する情報として、ＧａｖｅとＲａｖｅとの光量の差に関する情報を算出してもよい。算出された情報により反射光に含まれる脈波成分の光量の比率を評価することができる。このように、互いに異なる二つの波長に感度を有する複数の画素を有する撮像素子１０２から出力された情報に基づいて被検体の脈波を検出することができる。

ステップＳ３４（決定ステップ）にて、決定部１３は、ステップＳ３３にて算出された情報に基づいて被検体の検査に用いる脈波の種類を決定する。本実施例に係る決定部１３は、算出された値としきい値とを比較することにより被検体の検査に用いる脈波の種類を決定する。

以上、このような構成を採ることで、第１の輝度値と第２の輝度値に関する情報に基づいて、２種類以上の脈波からノイズの少ない脈波を決定して検査を行うことができる。そのため、さまざまな照明条件において、高い検出精度を実現することができる。さらに、本実施例に係る検査装置１０では、互いに異なる波長に感度を有する少なくとも２種類の画素から出力された情報から、被検体の脈波の検査を行うことができる。

［実施例４］
以下、本発明の実施例４に係る検査装置１０について図８に示す実施例４に係る検査装置のフローチャートを参照にして説明する。なお、検出部１４、出力部１５、推定部１６は、実施例２と同様であるため、説明を省略する。

ステップＳ４１（撮像ステップ）にて、撮像装置１００は、被検体を撮像する。本実施例に係る撮像装置１００が備える撮像素子１０２は、Ｇの波長（第１の波長）に感度を有するＧ画素（第１の画素）及びＩＲの波長（第２の波長）に感度を有するＩＲ画素（第２の画素）を有する。また、本実施例に係る撮像素子１０２は、脈波成分に感度を有する２種類の画素（Ｇ画素とＩＲ画素）を有している。なお、なお、以下ではＩＲ画素に対応する平均輝度値をＩＲａｖｅとする。さらに撮像素子１０２は、必要に応じて、Ｒの波長（第３の波長）に感度を有するＲ画素（第３の画素）、Ｂの波長（第４の波長）に感度を有するＢ画素（第４の波長）を有していてもよい。

ステップＳ４２（取得ステップ）にて、取得部１１は、撮像素子１０２から出力された輝度値を取得する。本実施例に係る取得部１１は、Ｇの輝度値（第１の輝度値）と、ＩＲの輝度値（第２の輝度値）とをそれぞれ取得する。

ステップＳ４３（第１の算出ステップ）にて、算出部１２は、Ｓ４２において取得した輝度値から平均輝度値を算出する。具体的には、Ｇの輝度値（第１の輝度値）からＧａｖｅ（第１の平均輝度値）とＩＲの輝度値（第２の輝度値）からＩＲａｖｅ（第２の平均輝度値）を求める。

ステップＳ４４（第２の算出ステップ）にて、算出部１２は、第１の輝度値と第２の輝度値に関する情報を算出する。本実施例に係る算出部１２は、第１の輝度値と第２の輝度値に関する情報として、ＧａｖｅとＩＲａｖｅとの光量の比に関する情報を求める。算出部１２は、特定のタイミングで取得された画像におけるＧａｖｅとＩＲａｖｅを用いてＧａｖｅ／（Ｇａｖｅ＋Ｒａｖｅ）やＧａｖｅ／ＩＲａｖｅの値を算出する。第１の輝度値と第２の輝度値に関する情報として、ＧａｖｅとＩＲａｖｅとの光量の差に関する情報を算出してもよい。算出された情報により反射光に含まれる二つの脈波成分の光量の比率を評価することができる。

ステップＳ４５（決定ステップ）にて、決定部１３は、ステップＳ４４にて算出された情報に基づいて被検体の検査に用いる脈波の種類を決定する。本実施例に係る決定部１３は、算出された値としきい値とを比較することにより被検体の検査に用いる脈波の種類を決定する。このような構成を採ることで、脈波信号に用いる脈波成分を選択することができる。具体的には、被検体が可視域の光によって照らされている日中の明るい時間帯または明るい場所では、Ｇａｖｅを含んだ脈波信号を取得することを決定する。一方で、夜間の暗い時間帯または暗い場所では、ＩＲａｖｅを含んだ脈波信号を取得することを決定することができる。

以上、このような構成を採ることで、第１の輝度値と第２の輝度値に関する情報に基づいて、２種類以上の脈波からノイズの少ない脈波を決定して検査を行うことができる。そのため、さまざまな照明条件において、高い検出精度を実現することができる。さらに、本実施例に係る検査装置１０では、検査に用いる脈波を決定する際に、脈波成分の異なる脈波信号を選択肢とすることができる。そのため、他の実施例よりも広い照明条件にて検査が可能となる。

以上、本発明の好ましい実施形態及び実施例について説明したが、本発明はこれらの実施形態及び実施例に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

［構成１］
第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査装置であって、
前記複数の第１の画素から出力された複数の第１の輝度値及び前記複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、
前記複数の第１の輝度値と前記複数の第２の輝度値に関する情報を算出する算出部と、
前記情報に基づいて前記被検体の検査に用いる脈波の種類を決定する決定部と、
前記決定部により決定された前記種類の脈波を検出する検出部とを備えることを特徴とする検査装置。

［構成２］
前記第１の波長は緑色の波長であることを特徴とする構成１に記載の検査装置。

［構成３］
前記第１の波長は赤外域の波長であることを特徴とする構成１に記載の検査装置。

［構成４］
前記第２の波長は赤外域の波長であることを特徴とする構成２に記載の検査装置。

［構成５］
前記算出部は、前記複数の第１の輝度値の平均値として第１の平均輝度値、前記複数の第２の輝度値の平均値として第２の平均輝度値を算出し、前記第１の平均輝度値と前記第２の平均輝度値に基づいて前記情報を算出することを特徴とする構成１乃至４のいずれか一項に記載の検査装置。

［構成６］
前記情報は、前記第１の平均輝度値、前記第２の平均輝度値、前記第１の平均輝度値と前記第２の平均輝度値の演算により得られる値の少なくともいずれか二つを周波数解析して得られた二つ以上の周波数情報であることを特徴とする構成５に記載の検査装置。

［構成７］
前記決定部は、前記二つ以上の周波数情報のうち第１の周波数範囲において最も高い信号強度を有する周波数情報に対応する脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする構成６に記載の検査装置。

［構成８］
前記情報は、前記第２の平均輝度値に対する前記第１の平均輝度値の比の値又は前記第１の平均輝度値と前記第２の平均輝度値との和に対する前記第１の平均輝度値の比の値によって求められることを特徴とする構成５に記載の検査装置。

［構成９］
前記情報は、前記第１の平均輝度値と前記第２の平均輝度値との差の値であることを特徴とする構成５に記載の検査装置。

［構成１０］
前記決定部は、前記情報がしきい値以上の場合と、前記情報が前記しきい値未満の場合とで異なる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする構成８または９のいずれか一項に記載の検査装置。

［構成１１］
前記決定部は、前記情報が前記しきい値以上の場合には、前記第１の平均輝度値に基づいて得られる脈波の種類を前記検査に用いる脈波の種類として決定し、前記情報が前記しきい値未満の場合には、前記第１の平均輝度値及び前記第２の平均輝度値に基づいて得られる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする構成１０に記載の検査装置。

［構成１２］
前記決定部は、前記情報が第１のしきい値未満の場合と、前記情報が前記第１のしきい値以上かつ第２のしきい値未満の場合と、前記情報が前記第２のしきい値以上の場合とで異なる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする構成８または９のいずれか一項に記載の検査装置。

［構成１３］
前記２種類以上の脈波は、前記複数の第１の輝度値の平均値に基づいて得られる脈波と、前記複数の第２の輝度値の平均値に対する前記複数の第１の輝度値の平均値の比の値に基づいて得られる脈波とを含むことを特徴とする構成１乃至１２のいずれか一項に記載の検査装置。

［構成１４］
前記検出部にて検出された前記脈波に関する情報を出力する出力部をさらに備えることを特徴とする構成１乃至１３のいずれか一項に記載の検査装置。

［構成１５］
前記出力部から出力された情報に基づいて前記被検体の脈拍数を推定する推定部をさらに備えることを特徴とする構成１４に記載の検査装置。

［構成１６］
前記撮像素子を備えることを特徴とする構成１乃至１５のいずれか一項に記載の検査装置。

［方法１］
第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査方法であって、
前記複数の第１の画素から出力された複数の第１の輝度値及び前記複数の第２の画素から出力された複数の第２の輝度値を取得する取得ステップと、
前記複数の第１の輝度値と前記複数の第２の輝度値に関する情報を算出する算出ステップと、
前記情報に基づいて前記被検体の検査に用いる脈波の種類を決定する決定ステップと、
前記決定ステップにより決定された前記種類の脈波を検出する検出ステップとを備えることを特徴とする検査方法。

［プログラム１］
方法１に記載の検査方法をコンピュータに実行させることを特徴とするプログラム。

［記憶媒体１］
プログラム１に記載のプログラムを記憶していることを特徴とする記憶媒体。

１０２ 撮像素子
１０ 検査装置
１１ 取得部
１２ 算出部
１３ 決定部
１４ 検出部

上記目的を達成するための、本発明の一側面としての検査装置は、第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査装置であって、複数の第１の画素から出力された複数の第１の輝度値及び複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、複数の第１の輝度値の平均値として第１の平均輝度値、複数の第２の輝度値の平均値として第２の平均輝度値を算出し、第１の平均輝度値と第２の平均輝度値とに基づいて、第２の平均輝度値に対する第１の平均輝度値の比の値又は第１の平均輝度値と第２の平均輝度値との和に対する第１の平均輝度値の比の値を含む情報を算出する算出部と、情報に基づいて被検体の検査に用いる脈波の種類を決定する決定部と、決定部により決定された種類の脈波を検出する検出部とを備えることを特徴とする。

そこで本実施形態に係る検査装置は、第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能である。また、複数の第１の画素から出力された複数の第１の輝度値及び複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、複数の第１の輝度値の平均値として第１の平均輝度値、複数の第２の輝度値の平均値として第２の平均輝度値を算出し、第１の平均輝度値と第２の平均輝度値とに基づいて、第２の平均輝度値に対する第１の平均輝度値の比の値又は第１の平均輝度値と第２の平均輝度値との和に対する第１の平均輝度値の比の値を含む情報を算出する算出部と、情報に基づいて被検体の検査に用いる脈波の種類を決定する決定部と、決定部により決定された種類の脈波を検出する検出部とを備えることを特徴とする。

Claims (19)

1. 第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査装置であって、
   前記複数の第１の画素から出力された複数の第１の輝度値及び前記複数の第２の画素から出力された複数の第２の輝度値を取得する取得部と、
   前記複数の第１の輝度値と前記複数の第２の輝度値に関する情報を算出する算出部と、
   前記情報に基づいて前記被検体の検査に用いる脈波の種類を決定する決定部と、
   前記決定部により決定された前記種類の脈波を検出する検出部とを備えることを特徴とする検査装置。
2. 前記第１の波長は緑色の波長であることを特徴とする請求項１に記載の検査装置。
3. 前記第１の波長は赤外域の波長であることを特徴とする請求項１に記載の検査装置。
4. 前記第２の波長は赤外域の波長であることを特徴とする請求項２に記載の検査装置。
5. 前記算出部は、前記複数の第１の輝度値の平均値として第１の平均輝度値、前記複数の第２の輝度値の平均値として第２の平均輝度値を算出し、前記第１の平均輝度値と前記第２の平均輝度値に基づいて前記情報を算出することを特徴とする請求項１乃至４のいずれか一項に記載の検査装置。
6. 前記情報は、前記第１の平均輝度値、前記第２の平均輝度値、前記第１の平均輝度値と前記第２の平均輝度値の演算により得られる値の少なくともいずれか二つを周波数解析して得られた二つ以上の周波数情報であることを特徴とする請求項５に記載の検査装置。
7. 前記決定部は、前記二つ以上の周波数情報のうち第１の周波数範囲において最も高い信号強度を有する周波数情報に対応する脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする請求項６に記載の検査装置。
8. 前記情報は、前記第２の平均輝度値に対する前記第１の平均輝度値の比の値又は前記第１の平均輝度値と前記第２の平均輝度値との和に対する前記第１の平均輝度値の比の値によって求められることを特徴とする請求項５に記載の検査装置。
9. 前記情報は、前記第１の平均輝度値と前記第２の平均輝度値との差の値であることを特徴とする請求項５に記載の検査装置。
10. 前記決定部は、前記情報がしきい値以上の場合と、前記情報が前記しきい値未満の場合とで異なる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする請求項８に記載の検査装置。
11. 前記決定部は、前記情報が前記しきい値以上の場合には、前記第１の平均輝度値に基づいて得られる脈波の種類を前記検査に用いる脈波の種類として決定し、前記情報が前記しきい値未満の場合には、前記第１の平均輝度値及び前記第２の平均輝度値に基づいて得られる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする請求項１０に記載の検査装置。
12. 前記決定部は、前記情報が第１のしきい値未満の場合と、前記情報が前記第１のしきい値以上かつ第２のしきい値未満の場合と、前記情報が前記第２のしきい値以上の場合とで異なる脈波の種類を前記検査に用いる脈波の種類として決定することを特徴とする請求項８に記載の検査装置。
13. 前記２種類以上の脈波は、前記複数の第１の輝度値の平均値に基づいて得られる脈波と、前記複数の第２の輝度値の平均値に対する前記複数の第１の輝度値の平均値の比の値に基づいて得られる脈波とを含むことを特徴とする請求項１乃至４のいずれか一項に記載の検査装置。
14. 前記検出部にて検出された前記脈波に関する情報を出力する出力部をさらに備えることを特徴とする請求項１乃至４のいずれか一項に記載の検査装置。
15. 前記出力部から出力された情報に基づいて前記被検体の脈拍数を推定する推定部をさらに備えることを特徴とする請求項１４に記載の検査装置。
16. 前記撮像素子を備えることを特徴とする請求項１乃至４のいずれか一項に記載の検査装置。
17. 第１の波長に対して感度を有する複数の第１の画素及び第２の波長に対して感度を有する複数の第２の画素を含む撮像素子から出力された輝度値に基づいて、被検体の２種類以上の脈波を検出可能な検査方法であって、
    前記複数の第１の画素から出力された複数の第１の輝度値及び前記複数の第２の画素から出力された複数の第２の輝度値を取得する取得ステップと、
    前記複数の第１の輝度値と前記複数の第２の輝度値に関する情報を算出する算出ステップと、
    前記情報に基づいて前記被検体の検査に用いる脈波の種類を決定する決定ステップと、
    前記決定ステップにより決定された前記種類の脈波を検出する検出ステップとを備えることを特徴とする検査方法。
18. 請求項１７に記載の検査方法をコンピュータに実行させることを特徴とするプログラム。
19. 請求項１８に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images