JP2018068431A - 脈波演算装置および脈波演算方法 - Google Patents

Abstract

【課題】更なる改善を実現できる脈波計測装置を提供する。【解決手段】脈波演算装置であって、脈波計測装置は、可視光領域において撮像する可視光撮像部と、赤外光光源と、赤外光領域において撮像する赤外光撮像部と、脈波計測装置の周囲画像を撮像する周囲撮像部とを備え、脈波演算装置が備えるプロセッサは、第１可視光画像及び赤外光画像を取得し、第１可視光画像及び赤外光画像から抽出した、ユーザの脈波を示す波形に応じて、赤外光光源及び可視光光源の光量を制御する制御信号を出力し、周囲画像を用いて、脈波計測装置に対して、脈波演算装置が制御できない光源による光である外乱光が位置する方向である外乱光方向と、外乱光の輝度特性とを認識し、認識した外乱光方向と、輝度特性とに応じて、決定した設置位置に移動された脈波計測装置おいて取得された第１可視光画像及び赤外光画像の少なくとも一方に基づいて算出した生体情報を出力する。【選択図】図７

Description

本開示は、非接触で人の脈波を計測する脈波計測装置のための脈波演算装置に関する。

特許文献１には、ミリ波、可視光、赤外光等を用いて、非接触状態で心拍および睡眠深度を計測する技術が開示されている。

また、特許文献２には、撮影装置において、赤外光を被写体に照射した赤外撮影モードから通常撮影モードへの切り替えを良好に行う技術が開示されている。

特開２０１３−１９２６２０号公報 特開２００４−１４６８７３号公報 特開２００７−１３０１８２号公報

しかし、特許文献１や特許文献２に開示されている技術では、更なる改善が必要とされていた。

本開示の一態様に係る脈波演算装置は、ユーザの脈波を計測する脈波計測装置により計測された情報を用いて演算を行う脈波演算装置であって、前記脈波計測装置は、可視光を照射されたユーザを可視光領域において撮像する可視光撮像部と、赤外光光源と、前記赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像する赤外光撮像部と、前記脈波計測装置の周囲の可視光領域における画像である周囲画像を撮像する周囲撮像部と、を備え、前記脈波演算装置は、プロセッサを備え、前記プロセッサは、前記可視光撮像部により撮像された第１可視光画像を取得し、前記赤外光撮像部により撮像された赤外光画像を取得し、前記第１可視光画像及び前記赤外光画像の少なくとも一方から前記ユーザの脈波を示す波形を抽出し、抽出した前記波形に応じて、前記赤外光光源及び前記可視光を発する可視光光源の少なくとも一方が発する光量を制御する制御信号を出力し、前記周囲撮像部によって撮像された前記周囲画像を用いて、前記脈波計測装置に対して、前記脈波演算装置が制御できない光源による光である外乱光が位置する方向である外乱光方向と、前記外乱光の輝度特性とを認識し、認識した前記外乱光方向と、前記外乱光の輝度特性とに応じて、脈波計測装置を設置すべき前記ユーザの脈波の計測に最適な設置位置を決定し、決定した前記設置位置を示す位置情報を出力し、決定した前記設置位置に移動された前記脈波計測装置おいて取得された前記第１可視光画像及び前記赤外光画像の少なくとも一方から抽出された前記波形の特徴量から生体情報を算出し、算出した前記生体情報を出力する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

上記態様によれば、更なる改善を実現することができる。

図１は、本実施の形態における脈波計測システムがユーザに利用される様子を示す模式図である。 図２は、脈波計測装置１０のハードウェア構成の一例を示すブロック図である。 図３は、実施の形態に係る照明装置３０のハードウェア構成の一例を示すブロック図である。 図４は、実施の形態１に係る携帯端末のハードウェア構成の一例を示すブロック図である。 図５は、脈波計測装置の使用例を説明するための図である。 図６は、脈波計測装置の使用例を説明するための図である。 図７は、本実施の形態における脈波計測装置の機能構成の一例を示すブロック図である。 図８は、本実施の形態における可視光画像および赤外光画像の輝度変化の一例を示すグラフである。 図９は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。 図１０は、時系列で取得した心拍間隔時間の例を示すグラフである。 図１１は、脈波から変曲点を抽出する方法を説明するためのグラフである。 図１２は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。 図１３は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。 図１４は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。 図１５は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。 図１６は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。 図１７は、変曲点を用いて相関度を算出する場合を説明するための図である。 図１８は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。 図１９は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。 図２０は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。 図２１は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。 図２２は、照明装置が第１制御パターンにより調光される装置である場合の可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる光源の切り替え制御について説明するための図である。 図２３は、照明装置が第２制御パターンにより調光される装置である場合の光源の切り替え制御について説明するための図である。 図２４は、照明装置が第３制御パターンにより調光される装置である場合の光源の切り替え制御の一例について説明するための図である。 図２５は、照明装置の照度が所定の閾値である場合に、オフにする切り替え制御の一例を示す図である。 図２６は、短縮した完了時間において切り替え制御を行う場合の一例を示す図である。 図２７は、色温度の変化による、可視光撮像部１２２における、ユーザの顔の見え方の違いを説明するための図である。 図２８は、ＲＧＢの輝度信号から色相Ｈの色相信号を演算する演算処理について説明するための図である。 図２９は、色相環について説明するための図である。 図３０は、図１において、脈波計測装置が配置された部屋を天井側から見た平面図である。 図３１は、外乱光認識部において、外乱光方向を認識する方法について説明するための図である。 図３２は、ユーザが睡眠中の部屋の隣の部屋から、照明を光源とする照明光が差し込んでいる様子を示す図である。 図３３は、ユーザが睡眠中に部屋の隣の部屋から、隣の部屋に設置されたＴＶの光が差し込んでいる様子を示す図である。 図３４は、例えば明け方の時間帯において、部屋の窓５０から外乱光として太陽光が差し込んでいる様子を示す図である。 図３５は、外乱光の光源の位置が脈波計測装置よりも高い位置にある場合の脈波計測装置の設置位置の決定方法について説明するための図である。 図３６は、提示装置への表示例を示す図である。 図３７は、本実施の形態における脈波計測装置の処理の流れを示すフローチャートである。 図３８は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。 図３９は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。 図４０は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。 図４１は、本実施の形態における外乱光の輝度特性に応じた生体情報の算出方法を示すフローチャートである。 図４２は、本実施の形態における外乱光を認識する処理を示すフローチャートである。 図４３は、変形例１に係る脈波計測装置の機能構成の一例を示すブロック図である。 図４４は、ユーザが睡眠中の部屋の隣の部屋から、時間帯によって異なる外乱光が差し込んでいる様子について示す図である。 図４５は、太陽光がユーザの睡眠中の部屋に差し込む様子を示す図である。 図４６は、変形例２における制御パターン認識処理のフローチャートである。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。

特許文献１では、暗室で脈波を取得する場合において赤外光源の光量の調整について開示されていないため、暗室かつ非接触による心拍や脈波の計測が難しいという問題がある。

また、特許文献２では、可視光の輝度と赤外光の輝度との比を用いてモードの切り替えを用いているが、暗室における脈波計測に当該モードの切り替えを適用した場合、輝度の比による切り替えでは、容易に脈波を計測できないという問題がある。

ところで、ユーザの赤外光画像や可視光画像を撮像する脈波計測装置が配置されている空間において、脈波計測装置、または、脈波計測装置により得られた情報を用いて脈波を演算する脈波演算装置により光量を制御することができない外乱光が存在する場合がある。この場合、外乱光の輝度特性に応じて、ユーザの脈波を安定して取得できる場合と、ユーザの脈波を取得できなくなる場合との２つの場合がある。外乱光が安定した輝度特性を有する場合、外乱光を利用した脈波計測を行うことで、赤外光を利用した脈波計測を行うよりも効果的に脈波計測を行うことができる。つまり、この場合、赤外光を利用した脈波計測を行っていれば、効果的に脈波計測を行うことができない。

反対に、外乱光が不安定な輝度特性を有する場合、外乱光がユーザの脈波の取得に悪影響を及ぼすため、効果的に脈波計測を行うことができない。

つまり、従来技術では、外乱光の輝度特性に応じた効果的な脈波計測ができていなかった。

そこで、本開示は、外乱光の輝度特性に応じて効果的に脈波計測が可能な脈波演算装置等を提供する。

本開示の一態様に係る脈波演算装置は、ユーザの脈波を計測する脈波計測装置により計測された情報を用いて演算を行う脈波演算装置であって、前記脈波計測装置は、可視光を照射されたユーザを可視光領域において撮像する可視光撮像部と、赤外光光源と、前記赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像する赤外光撮像部と、前記脈波計測装置の周囲の可視光領域における画像である周囲画像を撮像する周囲撮像部と、を備え、前記脈波演算装置は、プロセッサを備え、前記プロセッサは、前記可視光撮像部により撮像された第１可視光画像を取得し、前記赤外光撮像部により撮像された赤外光画像を取得し、前記第１可視光画像及び前記赤外光画像の少なくとも一方から前記ユーザの脈波を示す波形を抽出し、抽出した前記波形に応じて、前記赤外光光源及び前記可視光を発する可視光光源の少なくとも一方が発する光量を制御する制御信号を出力し、前記周囲撮像部によって撮像された前記周囲画像を用いて、前記脈波計測装置に対して、前記脈波演算装置が制御できない光源による光である外乱光が位置する方向である外乱光方向と、前記外乱光の輝度特性とを認識し、認識した前記外乱光方向と、前記外乱光の輝度特性とに応じて、脈波計測装置を設置すべき前記ユーザの脈波の計測に最適な設置位置を決定し、決定した前記設置位置を示す位置情報を出力し、決定した前記設置位置に移動された前記脈波計測装置おいて取得された前記第１可視光画像及び前記赤外光画像の少なくとも一方から抽出された前記波形の特徴量から生体情報を算出し、算出した前記生体情報を出力する。

これによれば、外乱光の外乱光方向及び輝度特性を認識するため、認識した外乱光に応じてユーザの脈波計測に適切な位置を設置位置として出力する。このため、外乱光の輝度特性に応じてユーザの脈波計測に適切な位置に、脈波計測装置を移動させることができ、外乱光の輝度特性に応じて効果的にユーザの脈波を計測できる。

また、前記プロセッサは、認識した前記外乱光が前記ユーザの脈波の取得に利用できる光であるか否かを前記外乱光の輝度特性を用いて判定し、前記外乱光が前記ユーザの脈波の取得に利用できる光であると判定した場合、前記脈波計測装置において取得された前記第１可視光画像から前記ユーザの脈波を示す波形を抽出し、抽出した前記波形の特徴量から前記生体情報を算出し、前記外乱光が前記ユーザの脈波の取得に利用できる光でないと判定した場合、前記制御信号が出力された後において、前記脈波計測装置において取得された前記第１可視光画像および前記赤外光画像のうちの少なくとも前記赤外光画像から前記ユーザの脈波を示す波形を抽出し、抽出した前記波形の特徴量から前記生体情報を算出してもよい。

このため、外乱光が脈波の取得に利用できる光である場合、外乱光を利用して第１可視光画像を用いることで効果的にユーザの脈波を計測でき、外乱光が脈波の取得に利用できない光である場合、脈波計測装置の赤外光による赤外光画像を少なくとも用いることで効果的にユーザの脈波を計測できる。

また、前記プロセッサは、前記波形の抽出において、取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である可視光波形を抽出し、かつ、取得した前記赤外光画像から、前記ユーザの脈波を示す波形である赤外光波形を抽出し、抽出した前記可視光波形と、抽出した前記赤外光波形との間の相関度を演算し、前記制御信号の出力において、演算した相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する第１制御信号を前記赤外光光源に出力してもよい。

このため、より効果的にユーザの脈波を計測できる。

また、前記プロセッサは、認識した前記外乱光が、当該外乱光の輝度が第１の閾値より大きく、当該輝度の変化幅が第２の閾値以下である第１輝度特性を有する場合、前記外乱光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、前記第２可視光波形の特徴量から第２生体情報を算出し、算出した前記第２生体情報を出力してもよい。

このため、外乱光がユーザの脈波計測に利用できる光である場合に、外乱光により得られた可視光画像に基づいて、ユーザの脈波計測を行うことができる。このため、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、さらに、前記周囲撮像部による検出結果を用いて、前記脈波計測装置に対して前記ユーザが位置する方向であるユーザ方向を認識し、認識した前記外乱光が前記第１輝度特性を有する場合、認識した前記外乱光方向及び前記ユーザ方向を用いて、前記ユーザが存在する位置よりも前記外乱光側の位置を、前記設置位置として決定してもよい。

このため、外乱光がユーザの脈波計測に利用できる光である場合に、外乱光により照射されたユーザを効果的に撮像できる位置に脈波計測装置を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、さらに、前記周囲撮像部による検出結果を用いて、前記脈波計測装置に対して前記ユーザが位置する方向であるユーザ方向を認識し、認識した前記外乱光が、当該外乱光の輝度が第１の閾値以下、または、当該輝度の変化幅が第２の閾値を超える第２輝度特性を有する場合、認識した前記外乱光方向及び前記ユーザ方向を用いて、上面視において前記外乱光の位置と前記ユーザの位置とを結ぶ直線上の位置を、前記設置位置として決定してもよい。

このため、外乱光がユーザの脈波計測に利用できない光である場合に、ユーザが外乱光により照射されないように、外乱光を遮る位置に脈波計測装置を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、前記脈波計測装置が上面視において前記外乱光の位置と前記ユーザの位置とを結ぶ直線上の位置に位置する場合、前記周囲撮像部による検出結果を用いて、前記第２輝度特性を有する前記外乱光が前記ユーザの顔に照射されているか否かを判定し、前記第２輝度特性を有する前記外乱光が前記ユーザの顔に照射されていると判定した場合、前記脈波計測装置の現在の高さよりも高い位置を、前記設置位置として決定してもよい。

このため、外乱光が脈波計測装置よりも高い位置に位置する場合に、ユーザが外乱光により照射されないように、外乱光を遮る高さに脈波計測装置を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、さらに、記憶装置を備え、前記プロセッサは、前記第１輝度特性を有する前記外乱光を認識した時間帯と、当該外乱光の前記外乱光方向と対応付けた外乱光情報を前記記憶装置に記憶させてもよい。

このため、例えば、記憶した外乱光情報を用いて決定した設置位置に移動させておくことができる。このため、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、前記記憶装置に記憶させた、前記外乱光を認識した時間帯と、前記外乱光方向とに応じて、前記第１輝度特性を有する前記外乱光が照射されると予測される時間帯の前に、認識した前記外乱光方向及び前記ユーザ方向を用いて、前記ユーザが存在する位置よりも前記外乱光側の位置を、前記設置位置として決定してもよい。

このため、記憶した外乱光情報を用いて決定した設置位置に移動させておくことができる。このため、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、決定した第１の設置位置で撮像された前記第２可視光画像のうちの前記ユーザを撮像した領域における第１輝度を前記記憶装置にさらに記憶させ、前記第１の設置位置とは異なる位置であって、前記第１の設置位置の近傍の位置である第２の設置位置で撮像された前記第２可視光画像のうちの前記ユーザを撮像した領域における第２輝度を前記記憶装置にさらに記憶させ、前記記憶装置が記憶している前記第１輝度及び前記第２輝度を比較することにより、輝度の大きい方に対応する設置位置を、前記設置位置として決定してもよい。

このため、ユーザを撮像した領域の輝度がより大きい位置を設置位置として決定できる。よって、より効果的にユーザの脈波計測を行うことができる。

また、前記プロセッサは、前記周囲撮像部による検出結果を用いて、前記外乱光としての太陽光が入射する時間帯と仰角とを対応付けた太陽光情報を前記記憶装置にさらに記憶させ、前記記憶装置が記憶している前記太陽光情報を用いて、現在の時間に対応する前記太陽光の仰角を推測し、推測した前記仰角に応じた位置及び高さを、前記設置位置として決定してもよい。

このため、太陽光の位置に応じて、より脈波を計測しやすい位置を設置位置として決定できる。よって、より効果的にユーザの脈波計測を行うことができる。

また、前記脈波計測装置は、さらに、平面上を移動する移動機構を有し、前記プロセッサは、前記位置情報を出力することで、前記脈波計測装置を前記位置情報が示す前記設置位置に移動させてもよい。

このため、決定された設置位置に自動的に脈波計測装置を移動させることができる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

（実施の形態）
本実施の形態において、ユーザの可視光画像および赤外光画像のそれぞれからユーザの脈波を取得し、取得した２つの脈波の特徴量の相関度に基づいて、光源を制御する脈波計測装置について説明する。

［１−１．構成］
［１−１−１．脈波計測システム］
本実施の形態に係る脈波計測システムの構成について説明する。

図１は、本実施の形態における脈波計測システム１がユーザＵに利用される様子を示す模式図である。図２は、脈波計測装置１０のハードウェア構成の一例を示すブロック図である。

脈波計測システム１は、脈波計測装置１０と、照明装置３０とにより構成される。脈波計測システム１は、さらに、携帯端末２００により構成されてもよい。脈波計測装置１０と、照明装置３０と、携帯端末２００とは、互いに通信可能に接続されている。

ここで、図１に示すように、脈波計測装置１０は、例えば、ユーザＵの部屋（寝室）に設けられており、部屋の壁には窓５０が設けられている。窓５０は、例えば、内壁（間仕切り壁）に設けられた窓であってもよいし、外壁に設けられた窓であってもよい。つまり、窓５０からは、隣接する部屋に設けられた光源による外乱光が当該室内に入光したり、外からの光源による外乱光が、脈波計測装置１０が設けられた室内に入光したりする。隣接する部屋に設けられた光源による外乱光の例は、ＴＶ、ＰＣのモニタなどの表示装置、照明などが挙げられる。外からの光源による外乱光の例は、車のヘッドライト、街灯、太陽光などが挙げられる。なお、窓５０は、ガラスがはめられていてもよいし、単なる開口であってもよい。また、外乱光が部屋に進入する箇所は、窓でなくてもよく、開放されたドアであってもよい。

脈波計測装置１０は、可視光カメラ２２と、赤外光ＬＥＤ２３と、赤外光カメラ２４と、全方位カメラ２５と、脈波演算装置１００とを備える。なお、脈波計測装置１０は、脈波演算装置１００のみを備える構成であってもよい。

脈波計測装置１０は、図２に示すように、筐体２０を有し、筐体２０のうち光を照射する側の面（例えば下面）に図２に示す各構成要素が配置されている。具体的には、脈波計測装置１０には、例えば、筐体２０の上部の側面に、可視光カメラ２２、赤外光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２３および赤外光カメラ２４が並んで配置されている。また、脈波計測装置１０は、可視光カメラ２２および赤外光カメラ２４により撮像された画像を用いて、ユーザの脈波を取得し、取得した２つの脈波の相関度に基づいて、照明装置３０および赤外光ＬＥＤ２３の光量の制御を行う脈波演算装置１００を備える。

可視光カメラ２２は、可視光線を撮像するカメラである。可視光カメラ２２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などのイメージセンサを備えるカメラである。可視光カメラ２２は、イメージセンサに対し、ＲＧＢのカラーフィルタを適用することで、可視光、すなわち、４００〜８００ｎｍの波長域に存在する光を、当該イメージセンサにＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の３種類の信号として取得させる。

赤外光ＬＥＤ２３は、赤外線を照射する光源である。赤外線は、赤外光領域（例えば、８００〜２５００ｎｍ）の波長域の光である。赤外光ＬＥＤ２３は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。なお、赤外光ＬＥＤ２３は、複数のＬＥＤにより構成されていてもよい。

赤外光カメラ２４は、赤外線を撮像するカメラである。赤外光カメラ２４は、可視光領域の一部を含む波長領域（例えば、７００ｎｍ〜９００ｎｍ）の電磁波を撮像するカメラであってもよい。赤外光カメラ２４は、赤外光ＬＥＤ２３に隣接する位置に配置されている。赤外光カメラ２４は、可視光カメラ２２とは異なるフィルタを備えることで、赤外光、すなわち、８００ｎｍ以上の波長域に存在する光を、当該イメージセンサにモノクロの１種類のみの信号として取得させる。

全方位カメラ２５は、脈波計測装置１０の周囲３６０度の全方位を撮像するカメラである。全方位カメラ２５は、例えば、イメージセンサと、周囲３６０度の光をイメージセンサに集光する魚眼レンズとにより構成される。

脈波演算装置１００は、筐体２０の内部に配置されている。脈波演算装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４を備える。

ＣＰＵ１０１は、ストレージ１０３などに記憶された制御プログラムを実行するプロセッサである。

メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。

ストレージ１０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。

通信ＩＦ１０４は、ネットワークを介して他の機器との間でデータを送受信する通信インタフェースである。具体的には、通信ＩＦ１０４は、照明装置３０、可視光カメラ２２、赤外光ＬＥＤ２３および赤外光カメラ２４に、これらの機器を制御するための制御信号を出力する。また、通信ＩＦ１０４は、可視光カメラ２２および赤外光カメラ２４のそれぞれにおいて撮像された撮像データを取得する。

また、通信ＩＦ１０４は、照明装置３０に制御信号を送信する通信インタフェースであってもよい。具体的には、通信ＩＦ１０４は、赤外線によって制御信号を照明装置３０に送信する通信インタフェースであってもよい。

また、通信ＩＦ１０４は、携帯端末２００と通信接続できる通信インタフェースであってもよい。具体的には、通信ＩＦ１０４は、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。

［１−１−２．照明装置］
照明装置３０のハードウェア構成について図３を用いて説明する。

図３は、実施の形態に係る照明装置３０のハードウェア構成の一例を示すブロック図である。

照明装置３０は、可視光線を照射する光源であり、可視光ＬＥＤ３１と、コントローラ３２とを備える。照明装置３０は、リモコンなどにより送信される所定の制御信号を受信し、当該所定の制御信号に応じた光量の光を照射する装置である。照明装置３０は、例えば、市販されているシーリングライト、ペンダントライト、ブラケットライト、スタンドライト、フットライト、スポットライト、ダウンライトなどの照明器具であってもよいし、リモコンからの制御信号を受け付けることができるように構成されたＬＥＤ電球、直管形ＬＥＤランプ、丸形（環形）ＬＥＤランプなどの装置であってもよい。

可視光ＬＥＤ３１は、例えば白色ＬＥＤである。可視光線は、可視光領域（例えば、４００〜８００ｎｍ）の波長域の光である。可視光ＬＥＤ３１は、例えば、筐体の下面に円環状に配置されている。なお、可視光ＬＥＤ３１は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。また、可視光ＬＥＤ３１は、円環状に配置されていなくてもよい。なお、照明装置は、可視光ＬＥＤ３１の代わりに蛍光灯、電球形蛍光灯、電球などを光源として有する構成の装置であってもよい。

コントローラ３２は、所定のリモコン、脈波計測装置１０または携帯端末２００により送信された制御信号を受信し、受信した制御信号に応じて可視光ＬＥＤ３１の光量を調整する。コントローラ３２は、例えば、マイクロコントローラおよび通信モジュールなどにより実現される。通信モジュールは、赤外線による制御信号を受信してもよいし、無線ＬＡＮによる制御信号を受信してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）による制御信号を受信してもよい。

［１−１−３．携帯端末］
携帯端末２００のハードウェア構成について図４を用いて説明する。

図４は、実施の形態１に係る携帯端末のハードウェア構成の一例を示すブロック図である。

図４に示すように、携帯端末２００は、ＣＰＵ２０１と、メインメモリ２０２と、ストレージ２０３と、ディスプレイ２０４と、通信ＩＦ２０５と、入力ＩＦ２０６とを備える。携帯端末２００は、例えば、スマートフォン、タブレット端末などの通信可能な情報端末である。

ＣＰＵ２０１は、ストレージ２０３などに記憶された制御プログラムを実行するプロセッサである。

メインメモリ２０２は、ＣＰＵ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。

ストレージ２０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。

ディスプレイ２０４は、ＣＰＵ２０１での処理結果を表示する表示装置である。ディスプレイ２０４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイである。

通信ＩＦ２０５は、脈波計測装置１０と通信する通信インタフェースである。通信ＩＦ２０５は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０５は、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。

入力ＩＦ２０６は、例えば、ディスプレイ２０４の表面に配置され、ディスプレイ２０４に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）へのユーザからの入力を受け付けるタッチパネルである。入力ＩＦ２０６は、例えば、テンキーやキーボードなどの入力装置であってもよい。

図５および図６は、脈波計測装置１０の使用例を説明するための図である。

携帯端末２００は、例えば、図５に示すように、脈波計測装置１０を操作するためのＵＩをディスプレイ２０４に表示してもよい。また、携帯端末２００は、当該ＵＩへの入力に応じて、制御信号を脈波計測装置１０に送信してもよい。

脈波計測システム１では、ユーザが照明装置３０や赤外光ＬＥＤ２３のＯＮ／ＯＦＦを切り替える手段として携帯端末２００を利用できる。例えば、脈波計測装置１０を制御するためのリモコンアプリを携帯端末２００において起動することで、当該携帯端末２００を脈波計測装置１０および照明装置３０のリモコンとして使用できる。図５の（ａ）に示すように、ユーザは「照明ＯＮ」を選択することで、照明装置３０をＯＮにすることができる。

図６の（ａ）は、照明装置３０がＯＮであるときのイメージ例である。また、ユーザが「赤外ＯＮ」を選択すると、照明装置３０がＯＮであるか、ＯＦＦであるかに関わらず、赤外光光源をＯＮにすることができる。例えば、図６の（ｂ）は、照明装置３０がＯＦＦであるが、赤外光ＬＥＤ２３がＯＮである状態を示す。赤外光照明のみの場合、ユーザはまぶしくないため、通常通り睡眠を行うことができるという特徴がある。さらに、ユーザが「ＯＦＦ」を選択すると、照明装置３０も赤外光ＬＥＤ２３もＯＦＦとなり、ユーザにはどの光も照射されなくなる。

そして、図５の（ｂ）に示すＵＩにおいて、ユーザが「通常モード」を選択した際は、照明装置３０がＯＮ、かつ、赤外光ＬＥＤ２３がＯＦＦの状態から、徐々に照明装置３０の光量を減少させてＯＦＦにしていき、かつ、赤外光ＬＥＤ２３をＯＮにして光量を徐々に上げていくことで、最適な赤外光ＬＥＤ２３の光量を決め、ユーザが睡眠中であっても脈波を取得できるようになる。

また、ユーザが「時短モード」を選択した際は、ユーザが「通常モード」を選択した差異よりも、照明装置３０の光量を減少させる速度を２倍以上速くし、赤外光ＬＥＤ２３の光量を増加させる速度を２倍以上速くする。これにより、通常モードの場合よりも、照明装置３０がＯＮとなっている期間を短くすることができる。時短モードの詳細な説明については、後述する。

［１−２．機能構成］
次に、脈波計測装置１０の機能構成について図７を用いて説明する。

図７は、本実施の形態における脈波計測装置の機能構成の一例を示すブロック図である。

図７に示すように、脈波計測装置１０は、可視光撮像部１２２と、赤外光光源１２３と、赤外光撮像部１２４と、周囲撮像部１２５と、脈波演算装置１００とを備える。

可視光撮像部１２２は、照明装置３０により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部１２２は、具体的には、照射対象としてユーザの肌を可視光領域（例えば、カラー）で撮像することにより得られた可視光画像を脈波演算装置１００の可視光波形演算部１１１に出力する。可視光撮像部１２２は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部１２２は、例えば、可視光カメラ２２により実現される。

赤外光光源１２３は、ユーザに対して赤外光を照射し、その照射する光量は、脈波演算装置１００の光源制御部１１５によって調整される。赤外光光源１２３は、例えば、赤外光ＬＥＤ２３により実現される。

赤外光撮像部１２４は、赤外光光源１２３により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部１２４は、具体的には、照射対象としてユーザの肌を赤外光領域（例えば、モノクロ）で撮像することにより得られた赤外光画像を脈波演算装置１００の赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、可視光撮像部１２２で撮像する部位と同じ部位を撮像する。赤外光撮像部１２４は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部１２４においても可視光撮像部１２２が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。

なお、同じ部位の撮像方法としては、可視光撮像部１２２と赤外光撮像部１２４とで同じ大きさの関心領域（ＲＯＩ）を設定する。そして、可視光撮像部１２２と赤外光撮像部１２４とで撮像された当該ＲＯＩ内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部１２２により得られた可視光画像と、赤外光撮像部１２４により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標（相対的な位置）を演算することで同じ部位を特定してもよい。

赤外光撮像部１２４により得られる肌画像は、可視光撮像部１２２により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。赤外光撮像部１２４は、例えば、赤外光カメラ２４により実現される。

周囲撮像部１２５は、脈波計測装置１０の周囲の可視光領域における画像である周囲画像を取得する。周囲撮像部１２５は、具体的には、脈波計測装置１０の周囲３６０度の全方位を撮像し、撮像することにより得られた全方位画像を周囲画像として脈波演算装置１００の外乱光認識部１１７に出力する。周囲撮像部１２５は、周囲３６０度の全方位を撮像するため、全方位における光の強度を各方位に対応するイメージセンサの画素により検出して、周囲画像として記録する。周囲撮像部１２５は、異なる複数のタイミング（所定の周期、例えば１秒ごと、５秒ごとなど）で、周囲画像を撮像する。周囲撮像部１２５は、予め定められた時間帯のみにおいて周囲画像を撮像してもよいし、周囲画像を常時撮像していてもよい。周囲撮像部１２５は、例えば、全方位カメラ２５により実現される。

脈波演算装置１００は、可視光波形演算部１１１と、赤外光波形演算部１１２と、相関度演算部１１３と、制御パターン取得部１１４と、光源制御部１１５と、生体情報算出部１１６と、外乱光認識部１１７と、位置決定部１１８とを備える。以下、脈波演算装置１００の各構成要素について順に説明する。

（可視光波形演算部）
可視光波形演算部１１１は、可視光撮像部１２２から可視光画像を取得し、取得した可視光画像からユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、抽出した可視光波形における所定の特徴点である第１特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の１周期分の波形における頂点または底点であるピーク点である。

可視光波形演算部１１１は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部１１１は、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出する。

具体的には、可視光波形演算部１１１は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部１２２から取得される複数の可視光画像のそれぞれは、可視光撮像部１２２において当該可視光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応づけられている。可視光波形演算部１１１は、可視光波形の所定の特徴点の間隔を取得することで、ユーザの脈波のタイミング（以下、脈波タイミングともいう）を取得する。そして、可視光波形演算部１１１は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

例えば、可視光波形演算部１１１は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部１１１は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部１１１は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置（頂点の時刻）である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。可視光波形演算部１１１は、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部１１１は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられることが望ましい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。

図８の（ａ）は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図８の（ａ）は、可視光撮像部１２２によって撮像された可視光画像におけるユーザの頬の領域の緑色成分（Ｇ）の輝度変化を示す。図８の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は緑色成分（Ｇ）の輝度を示す。図８の（ａ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部１１１は、可視光撮像部１２２から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部１１１は、本実施の形態では、ローパスフィルタを通した緑色成分（Ｇ）の輝度変化を用いて、可視光波形の抽出処理を行う。

図９の（ａ）は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図９の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図９の（ａ）のグラフの時間波形おいて、時刻ｔ１〜ｔ５のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点（頂点および底点）とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点（頂点）における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点（底点）の時刻が脈波タイミングである。

図９の（ａ）に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部１１１は、当該輝度の時間波形において、現在の参照点を時刻ｔ２の点とする。可視光波形演算部１１１は、時刻ｔ２の点と、一つ前の時刻ｔ１の点とを比較し、かつ、時刻ｔ２の点と、一つ後の時刻ｔ３の点とを比較する。可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）であって、その参照点の時刻が脈波タイミングであると判定する。

一方で、可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）ではなく、その参照点の時刻が脈波タイミングではないと判定する。

図９の（ａ）において、時刻ｔ２の点の輝度は時刻ｔ１の点の輝度より大きいが、時刻ｔ２の点の輝度は時刻ｔ３の点の輝度よりは小さいため、可視光波形演算部１１１は、時刻ｔ２の点を否と判定する。次に、可視光波形演算部１１１は、参照点を一つインクリメントし、次の時刻ｔ３の点を参照点とする。時刻ｔ３の点の輝度は、時刻ｔ３の一つ前の時刻ｔ２の点および時刻ｔ３の一つ後の時刻ｔ４の点のそれぞれの輝度より大きいため、可視光波形演算部１１１は、時刻ｔ３の点を正と判定する。可視光波形演算部１１１は、正と判定した点の時刻を脈波タイミングとして相関度演算部１１３に出力する。これにより、図９の（ｂ）に示すように、白丸印の時刻が脈波タイミングとして特定される。

また、可視光波形演算部１１１は、脈波タイミングの特定において、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部１１１は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。

可視光波形演算部１１１は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。

図１０は、時系列で取得した心拍間隔時間の例を示すグラフである。図１０のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図１０に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ（ここでは心拍間隔時間）がメモリに記憶された順番を示す。つまり、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。

可視光波形演算部１１１は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部１１１は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（以下、変曲点タイミングと言う）を算出する。つまり、可視光波形演算部１１１は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、可視光波形演算部１１１は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、３３３ｍｓから１０００ｍｓまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。

図１１は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図１１の（ａ）は、可視光画像から得られた可視光波形を示すグラフであり、図１１の（ｂ）は、図１１の（ａ）の一次微分値をプロットしたグラフである。図１１の（ａ）では、丸印がピーク点のうちの頂点を表し、Ｘ印が変曲点を表す。図１１の（ｂ）では、丸印が図１１の（ａ）における頂点に対応する点を示し、Ｘ印が図１１の（ａ）における変曲点に対応する点を示す。図１１の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図１１の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。

可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部１２２において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分だけ減少する。

さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部１１１は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。

また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が０になる部分である。具体的には、図１１の（ｂ）に示すように、変曲点であるＸ印の直前の微分係数が０となる点の時刻が図１１の（ａ）の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部１１１は、可視光波形から取得する頂点を変曲点の直前の頂点だけに限定してもよい。

可視光波形演算部１１１は、さらに、可視光波形の頂点から底点までの傾きを算出する。つまり、可視光波形演算部１１１は、可視光波形において、心拍間隔時間で定義されるユーザの脈波の１周期分の波形における頂点から底点までの傾きを算出する。可視光波形における上記傾きは、照明装置３０の輝度を調整することにより、できるだけ大きい値である方がよい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。

図１２は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。図１２のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部１１１では、頂点（丸印）とその次にある底点（三角印）とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、照明装置３０における光源が発する光の光量、可視光撮像部１２２で取得するユーザの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が３３３ｍｓから１０００ｍｓまでの間で取得し続けられるように、照明装置３０の光量、可視光撮像部１２２におけるユーザの部位に対応するＲＯＩをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部１１１は、初期状態、すなわち、照明装置３０がＯＮになってから、光源制御部１１５によって、照明装置３０の可視光の光量または赤外光光源１２３の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第１の傾きＡとしてメモリ（例えばストレージ１０３）に記録する。脈波計測装置１０は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に照明装置３０の光量を０にしていき、赤外光光源１２３の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。

（赤外光波形演算部）
赤外光波形演算部１１２は、赤外光撮像部１２４から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、抽出した赤外光波形における所定の特徴点である第２特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の１周期分の波形における頂点または底点であるピーク点である。

赤外光波形演算部１１２は、赤外光波形の特徴点として、可視光波形演算部１１１と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部１１２は、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出する。具体的には、赤外光波形演算部１１２は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部１２４から取得される複数の赤外光画像のそれぞれは、赤外光撮像部１２４において当該赤外光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応付けられている。赤外光波形演算部１１２は、赤外光波形の所定の特徴点の間隔を取得することで、ユーザの脈波タイミングを取得する。そして、赤外光波形演算部１１２は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

ここで、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部１１２は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

赤外光領域における脈波タイミングの取得では、赤外光画像中の８００ｎｍ以上の波長域の輝度が撮像された画像が用いられることが望ましい。赤外光領域において撮像された画像において、８００〜９５０ｎｍ近辺の波長域の輝度に、脈波による変化が大きく現れるためである。

図８の（ｂ）は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図８の（ｂ）は、赤外光撮像部１２４によって撮像された赤外光画像におけるユーザの頬の領域の輝度変化を示す。図８の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図８の（ｂ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部１１２は、本実施の形態では、ρバスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源１２３による赤外光の光量の決定方法については、相関度演算部１１３または、光源制御部１１５において記述する。

次に、赤外光波形演算部１１２における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。

赤外光波形演算部１１２は、脈波タイミングの特定において、可視光波形演算部１１１と同様に、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部１１２は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。

赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部１１２は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、赤外光波形演算部１１２は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（変曲点タイミング）を算出する。つまり、赤外光波形演算部１１２は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。

以上のように、赤外光波形演算部１１２は、可視光波形演算部１１１と同様の処理を行うことで、所定の特徴点を第２特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。

図１３は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図１３では、（ａ）から（ｄ）まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル１が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル４が最も光量が多いことを示している。なお、光源レベルは、レベルが１増加するごとに光源の制御電圧が約０．５Ｖ増加することを示す。また、図１３の各グラフにおける丸印は、脈波のピーク位置（頂点）を示している。図１３の（ａ）のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図１３の（ｃ）や（ｄ）のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。

ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量だけ所定の値に予め決めていても、取得する肌の部位や、ユーザの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部１１３によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。

（相関度演算部）
相関度演算部１１３は、可視光波形演算部１１１から得られた可視光波形と、赤外光波形演算部１１２から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１１３は、算出した相関度に応じて、照明装置３０および赤外光光源１２３における各光量を調整する指令を決定し、決定した指令を光源制御部１１５に送る。

相関度演算部１１３は、特徴量として、可視光波形から算出した複数の第１心拍間隔時間と、赤外光波形から算出した複数の第２心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を演算する。

図１４は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図１４のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第１心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。また、第２心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。さらに、第１心拍間隔時間と第２心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第１心拍間隔時間および複数の第２心拍間隔時間とは、時系列で互いに対応する１組の第１心拍間隔時間および第２心拍間隔時間とを含む。

相関度演算部１１３は、相関法を用いて、複数の第１心拍間隔時間および複数の第２心拍間隔時間の相関度の演算を行う。相関度演算部１１３は、例えば、相関度としての相関係数が第２の閾値（所定の閾値）、例えば、０．８以上であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間がほぼ一致しているとして判断し、光源制御部１１５に、ほぼ一致していることを示す信号として、例えば、「ＴＲＵＥ」の信号を送信する。一方で、相関度演算部１１３は、相関係数が第２の閾値、例えば、０．８よりも小さい値であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間とが一致していないと判断し、光源制御部１１５に、一致していないことを示す信号として、例えば、「ＦＡＬＳＥ」の信号を送信する。

また、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間の相関度だけでなく、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部１１５に送信してもよい。相関度演算部１１３は、具体的には、複数の第１心拍間隔時間および複数の第２心拍間隔時間のうちで、時系列で互いに対応する第１心拍間隔時間および第２心拍間隔時間との間の絶対誤差が第３の閾値（例えば２００ｍｓ）を超えているか否かを判定する。相関度演算部１１３は、例えば、データナンバーが同一の第１心拍間隔時間および第２心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、例えば、当該絶対誤差が第３の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部は、ピーク点の数が過剰である方の波形（可視光波形または赤外光波形）を光源制御部１１５に送信する。なお、絶対誤差の演算は下記の式１により得られる。

ｅ＝ＲＲＩ_ＲＧＢ−ＲＲＩ_ＩＲ・・・（式１）

式１において、ｅは、対応する第１心拍間隔時間および第２心拍間隔時間との絶対誤差を示し、ＲＲＩ_ＲＧＢは第１心拍間隔時間を示し、ＲＲＩ_ＩＲは第２心拍間隔時間を示す。

また、相関度演算部１１３は、ｅが（−１）×第３の閾値（例えば、−２００ｍｓ）より小さければ、可視光におけるピーク点の数が過剰であると判定し、ｅが第３の閾値（例えば、２００ｍｓ）より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部１１３は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部１１５に送信する。このように、２つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。

相関度演算部１１３は、例えば、対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差が第３の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１５に当該判定の結果を示す「Ｆａｌｓｅ，ＲＧＢ」の信号を送信する。なお、相関度演算部１１３は、絶対誤差が第３の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１５に当該判定の結果を示す「Ｆａｌｓｅ，ＩＲ」の信号を送信する。

図１５は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図１５の（ａ）は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図１５の（ｂ）は、図１５の（ａ）に対応した、可視光波形または赤外光波形の一例を示すグラフである。図１５の（ａ）のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図１５の（ｂ）のグラフにおいて、横軸は時間示し、縦軸は画像における輝度を示す。

図１５の（ａ）において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図１５の（ａ）に示すように点線で囲んだ部分以外の領域では、平均値が約９５０ｍｓであり、その標準偏差は約５０ｍｓである。しかし、点線で囲まれた２点の心拍間隔時間は、約６００〜７００ｍｓと急激に値が変化している。これは、図１５の（ｂ）における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部１１１または赤外光波形演算部１１２においてピーク点が過剰に取得されたことによって起こる。

可視光波形演算部１１１または赤外光波形演算部１１２のどちらかのみにおいて、図１５に示したような結果が得られた場合、複数の第１心拍間隔時間および複数の第２心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。

図１６にその様子を示す。図１６は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。

複数の第１または第２心拍間隔時間のデータは、例えば、（データＮｏ、心拍間隔時間）という形式でストレージ１０３に格納する。可視光波形において取得される複数の第１心拍間隔時間を示すデータは、例えば、（ｘ、ｔ２０−ｔ１１）、（ｘ＋１、ｔ１２−ｔ２０）、（ｘ＋２、ｔ１３−ｔ１２）となる。また、赤外光波形において取得される複数の第２心拍間隔時間を示すデータは、例えば、（ｘ、ｔ１２−ｔ１１）、（ｘ＋１、ｔ１３−ｔ１２）となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間ｔ１１〜ｔ１３の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第１心拍間隔時間および第２心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。

したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とで得られた、第１または第２心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第３の閾値、例えば、２００ｍｓ以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部１１３は、削除したピークに対応するデータナンバーから以降のデータナンバーを一つ分ずつ減らす処理を行う。

つまり、相関度演算部１１３は、上記のように、ピーク点（つまり、所定の特徴点）が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形（可視光波形または赤外光波形）における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部１１３は、ｅが（−１）×第３の閾値より小さければ、当該ｅを算出するのに用いたＲＲＩ_ＲＧＢの演算の基準となったピーク点を第１心拍間隔時間の演算対象から除外する。相関度演算部１１３は、ｅが第３の閾値より大きければ、当該ｅを算出するのに用いたＲＲＩ_ＩＲの演算の基準となったピーク点を第２心拍間隔時間の演算対象から除外する。

また、ピーク点の過剰取得は、取得した波形（可視光波形または赤外光波形）においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「ＦＡＬＳＥ，ＲＧＢ」というような信号を生成し、生成した信号を光源制御部１１５に送信する。つまり、光源制御部１１５は、「ＦＡＬＳＥ，ＲＧＢ」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部１１５に送信できるため、可視光波形および赤外光波形におけるユーザの脈波をより正確に取得することが可能になる。

なお、相関度演算部１１３では、第１心拍間隔時間と第２心拍間隔時間との相関度の判定において、第２の閾値を０．８として判定したが、これに限るものではない。具体的には、ユーザが計測したい生体情報の正確性に応じて、第２の閾値を変えてもよい。例えば、ユーザが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍や血圧等の情報をより正確に取得したい場合、判定基準とする第２の閾値を大きくし、例えば０．９等の値にしてもよい。

また、基準としている相関係数の第２の閾値を調整した場合、調整した第２の閾値に応じて、提示装置４０に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第２の閾値を、例えば、０．６等の０．８よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置４０に信頼度が小さくなったことを表示してもよい。

相関度演算部１１３は、可視光波形および赤外光波形から時系列で取得した第１および第２心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２において、第１所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。具体的には、前述したように、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が、第２の閾値、例えば、０．８より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２で取得したピーク点の数が、第１所定区間（例えば、５秒間）において一致せず、少なくとも一方の波形におけるピーク点の数が第１の閾値（例えば、１０個）を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。

つまり、相関度演算部１１３は、可視光波形または赤外光波形のうちのピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する。相関度演算部１１３は、当該ピーク点の数が第１所定期間において第１の閾値を超えると判定した場合、次の処理を行ってもよい。つまり、相関度演算部１１３は、可視光波形演算部１１１に、可視光波形における頂点から底点までの間の変曲点を第１特徴点として複数抽出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、赤外光波形における頂点から底点までの間の変曲点を第２特徴点として複数抽出させる。また、相関度演算部１１３は、可視光波形演算部１１１に、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出させる。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を、相関度として演算する。

図１７は、変曲点を用いて相関度を算出する場合を説明するための図である。図１７の（ａ）は、可視光波形において取得されたピーク点（頂点）を示すグラフであり、図１７の（ｂ）は、赤外光波形において取得されたピーク点（頂点）を示すグラフである。図１７の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図１７の（ａ）では、可視光波形において、過剰にピーク点を取得しており、第１所定期間（５秒間）において、ピーク点が、第１の閾値以上または第１の閾値を超える、１０個または１１個存在するのがわかる。一方で、図１７の（ｂ）では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、標準偏差が１００ｍｓ以下である。この時、可視光波形および赤外光波形における第１および第２心拍間隔時間を示す時系列のデータナンバーがずれることになる。

したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部１１３は、例えば、変曲点を用いて算出した第１心拍間隔時間と第２心拍間隔時間とを可視光波形演算部１１１および赤外光波形演算部１１２に算出させ、当該第１および第２心拍間隔時間の間の相関度度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関や絶対誤差によって評価する。

なお、相関度演算部１１３では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第１所定期間において、少なくとも一方の波形におけるピーク点の数が、第１の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部１１３は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、標準偏差が１００ｍｓ以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。

また、相関度演算部１１３は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の標準偏差が第４の閾値（例えば、１００ｍｓ）以下であることである。これは、第１所定期間におけるピーク点の数だけで、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。

例えば、図１８は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。図１８の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図１８の（ａ）に示すように、可視光波形において、５秒間で取得されたピーク点の数が８個であった場合、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にはあてはまらないが、図１８の（ｂ）に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第１心拍間隔時間および第２心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整（削除）することができる。ピーク点の調整の詳細は、図１６を用いて説明したとおりである。

なお、相関度演算部１１３は、可視光波形および赤外光波形の両方の波形において、第１所定期間での心拍間隔時間の標準偏差が第４の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部１１５に、両方の波形から適切な脈波タイミングが取得できないことを示す「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を送信する。

相関度演算部１１３は、脈波計測装置１０を使用開始時、かつ、可視光波形演算部１１１によって、第１所定期間でピーク点が適切に取得できていた場合（すなわち、心拍間隔時間の標準偏差が第４の閾値より小さい場合）に、可視光波形の頂点−底点間の傾きを第１の傾きＡとして可視光波形演算部１１１に演算させた結果をメモリに記憶させる。そして、相関度演算部１１３は、光源制御部１１５によって、照明装置３０または赤外光光源１２３における光量が変化するたびに、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるように、光源制御部１１５に指令を送る。さらに、相関度演算部１１３は、光源制御部１１５において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。

図１９は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図１９のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。

図１９に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部１１１または赤外光波形演算部１１２においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の脈波計測装置１０では、制御信号により照明装置３０または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点（つまり、ピーク点）を抽出しなくてもよい。

なお、相関度演算部１１３は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第２の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差や各心拍間隔時間の標準偏差を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部１１３は、例えば、第１心拍間隔時間および第２心拍間隔時間の相関係数が第２の閾値より小さくても、両波形におけるピーク点は適切に取得できている（例えば、両波形の心拍間隔時間における標準偏差が共に、第４の閾値以下である）場合、光源制御部１１５に、「Ｆａｌｓｅ」の信号のみを送信する。

このように、相関度演算部１１３は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号（例えば、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＲＧＢ」、「Ｆａｌｓｅ，ＩＲ」および「Ｆａｌｓｅ，Ｂｏｔｈ」のいずれか）を光源制御部１１５に送信する。

（制御パターン取得部）
制御パターン取得部１１４は、脈波計測装置１０の外部にある照明装置３０を調光するための制御パターンであって、当該照明装置３０に予め定められた制御パターンを取得する。制御パターン取得部１１４は、取得した制御パターンを光源制御部１１５に送信する。具体的には、制御パターン取得部１１４は、様々な機種の照明装置３０の制御パターンを機種毎に複数記憶しており、照明装置３０を認識するたびに、記憶している複数の制御パターンと認識した照明装置３０とのマッチングを行い、認識した照明装置３０を制御するための制御パターンを選択する。

制御パターン取得部１１４は、例えば、各種メーカーの品番とその品番に対応する照明装置を制御するための制御パターンを記憶していてもよい。これにより、例えば、ユーザが初めて脈波計測装置１０を使用するときに、制御パターン取得部１１４は、照明装置３０の品番の入力を受け付けることで、受け付けた品番に対応する制御パターンを選択することで、当該制御パターンを取得するようにしてもよい。なお、ユーザからの入力は、脈波計測装置１０が入力ボタンなどの入力ＩＦを有していれば脈波計測装置１０が受け付けてもよいし、携帯端末２００により起動されたリモコンアプリ経由で受け付けてもよい。後者の場合、脈波計測装置１０は、携帯端末２００に入力された品番を携帯端末２００から受信する。これにより、制御パターン取得部１１４は、各品番に応じた制御パターンを認識でき、また、品番に応じた、制御信号を選択することができる。

なお、制御パターンは、ＯＮ、ＯＦＦ信号だけでなく、照明装置の種類による、例えば、二段階の制御パターンや、多段階の照明変化パターン、さらには、色温度を変化させられるかが判定でき、本装置が自動的に、照明装置を認識することができる。つまり、制御パターンは、照明装置３０の機種に応じた制御パターンを含み、第１制御パターン、第２制御パターン、第３制御パターンおよび第４制御パターンの少なくともいずれかを含んでいてもよい。第１制御パターンは、例えば、オンオフの一段階で光量を調整する制御パターンである。第２制御パターンは、第１可視光光量と、第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する制御パターンである。第３制御パターンは、無段階で光量を調整する制御パターンである。第４制御パターンは、光量および色温度を調整する制御パターンである。

（光源制御部）
光源制御部１１５は、相関度演算部１１３から受信した、相関度および抽出結果に応じた信号に応じて、照明装置３０の可視光の光量、および、赤外光光源１２３における赤外光の光量の少なくとも一方を、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた制御信号を照明装置３０および赤外光光源１２３に出力する。

また、光源制御部１１５は、制御パターン取得部１１４より、照明装置３０の調光に用いられる制御パターンを取得し、取得した制御パターンに応じて、照明装置３０の光源である可視光ＬＥＤ３１の光量を調整するタイミングと、当該光量とを決定する。具体的には、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量の制御に応じて、制御パターン取得部１１４が取得した制御パターンを用いて、照明装置３０が照射する光量を制御する第２制御信号を照明装置に出力する。

光源制御部１１５は、「Ｆａｌｓｅ」の信号を受信した場合、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が第２の閾値より小さいが、各波形の心拍間隔時間は適切に取得できていると判断できる。このとき、光源制御部１１５は、可視光波形に対して、赤外光波形の信号が弱く、各波形における所定の特徴点は取得できる状態であるが、例えば、ピーク点の尖度が小さいため、フィルタ処理等により、毎回ピークの位置がずれている場合と判断できる。したがって、この場合、光源制御部１１５は、赤外光光源１２３における光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで、増加させる。なお、第２の傾きは、赤外光波形の、ユーザの脈波の１周期分の波形における頂点から底点までの傾きである。

また、光源制御部１１５は、「ＴＲＵＥ」の信号を受信した場合、可視光波形および赤外光波形における所定の特徴点が一致していることを示していると判断できる。このため、光源制御部１１５は、照明装置３０における可視光の光量を下げて、赤外光光源１２３における赤外光の光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで増加させる。つまり、光源制御部１１５は、相関度が第２の閾値以上の場合、可視光光源における可視光の光量を減少させ、赤外光光源における赤外光の光量を増加させる。また、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリ（ストレージ１０３）に記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１１５は、例えば、「Ｆａｌｓｅ，ＩＲ」の信号を受信した場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「Ｆａｌｓｅ，ＩＲ」の信号は赤外光波形にノイズが多いということを示している。このため、照明装置３０における光源の量は調整せず、赤外光光源１２３における光源の量を増加させる。

また、光源制御部１１５は、「Ｆａｌｓｅ，ＲＧＢ」の信号を受信した場合、可視光波形演算部１１１が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部１１５は、この場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部１１５は、例えば、赤外光波形において、第１所定期間の心拍間隔時間の標準偏差が第４の閾値以下であれば、照明装置３０における光源の光量を減少させ、赤外光光源１２３における光源の光量を赤外光波形の頂点から底点までの間の傾きがＡになるまで、増加させる。また、光源制御部１１５は、赤外光波形における上記標準偏差が第４の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「Ｆａｌｓｅ，Ｂｏｔｈ」に変更する。

また、光源制御部１１５は、「ＦＡＬＳＥ，Ｂｏｔｈ」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部１１５は、この場合、可視光波形の頂点から底点までの傾きが第１の傾きＡになるまで、照明装置３０の光量を増加させる。なお、光源制御部１１５は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで照明装置３０の光量を増加させてもよい。また、光源制御部１１５は、赤外光光源１２３の光量を０まで減少させる。つまり、光源制御部１１５は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、照明装置３０の光量および赤外光光源１２３の光量を初期状態とし、再度光量の調整を行う。

つまり、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値（（−１）×第３の閾値）より小さい場合、照明装置３０における可視光の光量を減少させ、かつ、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第６の閾値（つまり第３の閾値）より大きい場合、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値から第６の閾値までの間の値である場合、照明装置３０における可視光の光量を増加させ、かつ、赤外光光源１２３における赤外光の光量を減少させる。

なお、光源制御部１１５は、「Ｆａｌｓｅ，Ｂｏｔｈ」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源１２３の光量を赤外光波形の第２の傾きが第１の傾きＡになるまで増加させるとしたが、これに限らない。光源制御部１１５は、例えば、ＲＯＩにおける平均輝度値が、第７の閾値、例えば２４０を超えている場合、光源の光量が強すぎることにより、ユーザの肌から撮像される画像がノイズ情報に埋もれてしまう。なお、平均輝度の「２４０」は、輝度を示す０から２５５の値のうちの「２４０」であり、大きい値ほど輝度が大きいことを示す。このため、光源制御部１１５は、この場合、赤外光波形の第２の傾きが第１の傾きＡを超えていると考えられるので、第２の傾きが第１の傾きＡになるまで、赤外光の光量を減少させてもよい。

図２０は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図２０における（ａ）〜（ｄ）の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図２０では、可視光波形をＲＧＢと表記し、赤外光波形をＩＲと表記している。

図２０の（ａ）は、ユーザが脈波計測装置１０で照明装置３０をＯＮにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図２０の（ａ）の可視光波形は、図２０の（ａ）〜（ｄ）の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとして、メモリに記憶する。

また、この時、赤外光光源１２３はＯＦＦとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部１１３は、光源制御部１１５に、例えば、「Ｆａｌｓｅ，ＩＲ」という信号を送信する。したがって、光源制御部１１５では、赤外光光源１２３における赤外光光源１２３の光量を増加させる。この時、赤外光光源１２３の光量を増加させるにつれて、赤外光波形演算部１１２では、赤外光波形の所定の特徴点が取得できるようになり、第２の心拍間隔時間が取得できる。また、取得した第２心拍間隔時間の標準偏差は、第４の閾値以内に収まるようになる。そして、図２０の（ｂ）に示すように、第２心拍間隔時間の標準偏差を第４の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるまで、赤外光光源１２３の光量を増加させる。第２の傾きが第１の傾きＡとなった場合、相関度演算部１１３は、光源制御部１１５に、例えば、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を送信する。このため、光源制御部１１５は、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を受信した時点で、光源の調整を一度中止する。

次に、図２０の（ｂ）の状態から、光源制御部１１５は、照明装置３０における可視光源の光量を減少させていく。図２０の（ｃ）は、赤外光波形演算部１１２において、心拍間隔時間の標準偏差が第４の閾値以下であり、照明装置３０における光源がＯＦＦとなっている状態である。また、図２０の（ｄ）は、さらに、照明装置３０における光源がＯＦＦとなっており、かつ、赤外光波形における第２の傾きが第１の傾きＡとなっている状態、すなわち、最終的に目指す状態である。

図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、１Ｗずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図２０の（ｄ）に示すように、赤外光光源１２３の光源における光量を、赤外光波形における第２の傾きが第１の傾きＡになるまで増加させる。

したがって、図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、相関度演算部１１３は、光源制御部１１５に対して、「Ｔｒｕｅ」の信号、もしくは、「Ｆａｌｓｅ，ＩＲ」の信号を送信し、光源制御部１１５は、「Ｆａｌｓｅ，ＩＲ」の信号を受信する度に「Ｔｒｕｅ」になるまで、赤外光光源１２３の光量を調整する。そして、光源制御部１１５は、照明装置３０の光量を減少させることで、相関度演算部１１３から「Ｆａｌｓｅ，ＲＧＢ」を受信すると、この過程を終了する。

または、図２０の（ｃ）の状態から図２０の（ｄ）の状態になる過程において、相関度演算部１１３は、光源制御部１１５に対し、「Ｆａｌｓｅ，ＲＧＢ」の信号を送信し、光源制御部１１５は、赤外光光源１２３における光源の光量を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第２の傾きが第１の傾きＡになったことを示す「Ｆａｌｓｅ，ＲＧＢ，ＡＭＰ＝Ａ」の信号を相関度演算部１１３から受信すれば、光源制御部１１５による光源の光量の制御を終了する。

また、光源制御部１１５は、可視光波形演算部１１１または赤外光波形演算部１１２において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する２つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部１１５は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、可視光光源における可視光の光量を制御する制御信号、または、赤外光光源における赤外光の光量を制御する制御信号の出力を待機する。

図２１は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図２１におけるグラフは、可視光波形または赤外光波形を示す。図２１のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。

光源制御部１１５は、照明装置３０、または、赤外光光源１２３の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには２つの連続するピーク点が必要である。したがって、図２１に示すように、光源制御部１１５は、可視光波形または赤外光波形において、連続してピーク点が２つ以上取れていることを確認した後、光源量を調整する。

ここまで、照明装置３０が、完全に調光制御可能である場合（つまり、第３制御パターンによって調光可能な照明装置である場合）の、光源制御部１１５における制御方法について説明した。次に、照明装置３０が、第１制御パターンによって調光可能な照明装置である場合、第２制御パターンによって調光可能な照明装置である場合について、それぞれ説明する。

基本的な制御手法については、照明制御パターン記憶部１１０における説明の通りであるが、相関度演算部１１３での判定に対する、光源の制御方法で特徴的な場合についてのみ説明する。

照明装置３０は、無段階で光量を調整する第３制御パターンの場合と比較して、オンオフの一段階で光量を調整する第１制御パターン、もしくは、第１可視光光量と第２可視光光量との二段階で光量を調整する第２制御パターンにより調光される装置である場合は、可視光の光量を任意の光量に自在に変えることができない。

そこで、光源制御部１１５は、例えば、相関度演算部１１３から、「ＴＲＵＥ」の信号を受け取った場合、赤外光の光源を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ、そこからさらに、赤外光波形の所定の特徴点（つまり、ピーク点）が検出できる範囲まで、増加させるための制御信号を、第１制御信号として赤外光光源１２３に出力する。

光源制御部１１５は、第１制御信号を出力した後、照明装置３０における照明の光量を一段階を下げる制御信号を第２制御信号として出力する。

具体的には、光源制御部１１５は、照明装置３０が第１制御パターンにより調光される装置である場合、照明装置３０をオンの状態からオフの状態にさせる制御信号を第２制御信号として出力する。

また、光源制御部１１５は、照明装置３０が第２制御パターンにより調光される装置である場合、照明装置３０の光量が第１可視光光量であれば、第１可視光光量から第１可視光光量よりも小さい第２可視光光量に変更する制御信号を第２制御信号として出力する。また、光源制御部１１５は、照明装置３０が第２制御パターンにより調光される装置である場合、照明装置３０の光量が第２可視光光量であれば照明装置３０をオフの状態にさせる制御信号を第２制御信号として出力する。

《第１制御パターン》
図２２は、照明装置が第１制御パターンにより調光される装置である場合の可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる光源の切り替え制御について説明するための図である。図２２の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２２の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２２の（ｂ）および（ｃ）は、共に、図２２の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２２の（ｂ）および（ｃ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。

また、可視光を照射する光源である照明装置３０から赤外光光源１２３への光源の切り替え制御において、光源の切り替えが完了する完了時間をＴとしている。この完了時間Ｔは、例えば、切り替えを開始してから２分から１０分程度の時間である。これにより、より正確に、可視光波形と赤外光波形とを取得し、比較することができる。

図２２に示すように照明装置３０の調光の段階が一段階である場合、照明装置３０は、照射される可視光はオンかオフかのいずれかで調光される。したがって、脈波計測装置１０は、照明装置３０がオンである状態で赤外光光源１２３における光量を調整することで、赤外光の下でユーザの脈波を取得できる状態の光量に調整する必要がある。具体的には、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、第１制御信号とし赤外光光源１２３に出力する。赤外光光源１２３は、当該第１制御信号を受信すると、第１変化量だけ光量が増加するように、図２２の（ａ）に示すような所定の電圧が印加され、図２２の（ｂ）および（ｃ）に示すように第１変化量だけ光量が増加する。

なお、赤外光撮像部１２４のハードウェアである赤外光カメラ２４は可視光領域の波長帯の光の影響も受ける。このため、脈波計測装置１０は、照明装置３０をオフにする前に、予め赤外光撮像部１２４における、照明装置３０をオフにすることによる輝度の減少を予測し、赤外光光源１２３における光量を増加させる必要がある。

そして、光源制御部１１５は、照明装置３０をオフにする制御信号を、第２制御信号として照明装置３０に出力する。照明装置３０は、第２制御信号を受信すると、オフになり、可視光を照射しない状態となる。このように、脈波計測装置１０は、照明装置３０をオフにした場合であっても、赤外光光源１２３における光量を予め増加させているため、効果的に赤外光波形の特徴点（例えば、ピーク点のタイミング等）を取得することができる。

なお、光源制御部１１５は、赤外光光源１２３の光量の調整を、数を重ねることで学習してもよい。例えば、図２７の（ｃ）に示すように、上記の切り替え制御を１回行っただけでは、赤外光光源１２３での光量の増加量が足りなかったせいで、照明装置３０での可視光がオフになった時に、赤外光波形の特徴点（例えばピーク点）を取得できない場合がある。この場合、光源制御部１１５は、赤外光波形の特徴点が取得できるまで、赤外光光源１２３における光量をさらに増加させる。そして、光源制御部１１５は、赤外光波形の特徴量が取得できた場合における、照明装置３０がオフになる直前の赤外光の光量と、照明装置３０がオフになった後、さらに増加させた赤外光光源１２３の光量とを記憶し、それらの光量の和を、次回の切り替え制御において照明装置３０をオフにする直前に設定する赤外光光源１２３の光量としてもよい。これにより、脈波計測装置１０は、毎回の赤外光波形の取得を失敗する確率を減少させることができ、より効果的にユーザの睡眠中の脈波を取得することができる。

《第２制御パターン》
次に、照明装置３０の調光の段階が二段階である場合について説明する。

図２３は、照明装置が第２制御パターンにより調光される装置である場合の光源の切り替え制御について説明するための図である。図２３の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２３の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２３の（ｂ）は、図２３の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２３の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。また、図２２と同様に、切り替え制御における完了時間をＴとしている。

図２３の（ａ）および（ｂ）に示すように、照明装置３０の調光の段階が二段階である場合、可視光が第１可視光光量から第２可視光光量に一段階下がっても、第２可視光光量は０ではないため、可視光波形が取得できる状態である。したがって、二段階である場合、まず、最初の一段階の調光を行う。つまり、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、第１制御信号として赤外光光源１２３に出力する。そして、光源制御部１１５は、照明装置３０を第１可視光光量から第２可視光光量に変化させる制御信号を、第２制御信号として照明装置３０に出力する。

赤外光光源１２３は、当該第１制御信号を受信すると、第２変化量だけ光量が増加するように、図２３の（ａ）の一段階目の変化に示すような所定の電圧が印加され、図２３の（ｂ）に示すように第２変化量だけ光量が増加する。また、照明装置３０は、当該第２制御信号を受信すると、第１可視光光量から第２可視光光量に光量を変化させる。

このとき、脈波計測装置１０では、一段階目の調光において、照明装置３０における電圧の降下による、可視光の輝度の減少量を把握できる。それによって、次の一段階の調光において、電圧降下による可視光の輝度降下を予測することができる。

つまり、光源制御部１１５は、第１制御信号を出力する前後の第１および第２赤外光画像から得られる赤外光の輝度変化と、第２制御信号を出力する前後の第１および第２可視光画像から得られる可視光の輝度変化とに応じて、赤外光光源１２３の赤外光の光量における第３変化量を決定する。

なお、第１赤外光画像は、第１制御信号が出力される前に赤外光撮像部１２４により撮像された赤外光画像であり、第２赤外光画像は、第１制御信号が出力された後に赤外光撮像部１２４により撮像された赤外光画像である。また、第１可視光画像は、第２制御信号が出力される前に可視光撮像部１２２により撮像された可視光画像であり、第２可視光画像は、第２制御信号が出力された後に可視光撮像部１２２により撮像された可視光画像である。

ここで決定する第３変化量は、例えば、照明装置３０が二段階目の調光によってオフとされたときに赤外光画像に影響しうる赤外光の輝度変化と同等以上の値であってもよい。そして、光源制御部１１５は、第２赤外光光量から、決定した第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、第１制御信号として赤外光光源１２３に出力する。その後、光源制御部１１５は、照明装置３０をオフにする二段階目の制御信号を、第２制御信号として照明装置３０に出力する。

赤外光光源１２３は、当該第１制御信号を受信すると、第３変化量だけ光量が増加するように、図２３の（ａ）の二段階目の変化に示すような所定の電圧が印加され、図２３の（ｂ）に示すように第３変化量だけ光量が増加する。照明装置３０は、当該第２制御信号を受信すると、オフになり、可視光を照射しない状態となる。

このように、脈波計測装置１０は、照明装置３０が第２制御パターンにより調光される装置である場合、一段階目の調光において可視光の輝度の減少量を取得し、取得した減少量に応じて、赤外光光源１２３の光量を増加させることで、より効果的に、赤外光波形を取得することができる。

また、照明装置３０が、調光する段階が三段階からさらに多くなる多段階になればなるほど、上記と同様の原理を一段階毎に繰り返すことにより、より効果的に赤外光波形を取得できる。

なお、光源制御部１１５は、「ＦＡＬＳＥ、ＢＯＴＨ」の信号を受け取った場合、照明装置３０における可視光の光量を一番明るい光量に戻した後、赤外光光源１２３の光量を、再び赤外光波形の第２の傾きが第１の傾きＡになるまで、大きくする処理を繰り返す。

《第３制御パターン》
次に、照明装置３０の調光の段階が無段階である場合について説明する。

図２４は、照明装置が第３制御パターンにより調光される装置である場合の光源の切り替え制御の一例について説明するための図である。図２４の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２４の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２４の（ｂ）は、図２４の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２４の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。

図２４の（ａ）に示すように、照明装置３０の調光の段階が無段階である場合、可視光の光量は、印加する電圧を線形的に下げていくと、線形的に減少し、完了時間Ｔで電源がオフになる。一方で、赤外光光源１２３における赤外光の光量は、印加する電圧を線形的に上げていくと、線形的に増加しているのがわかる。このとき、可視光波形は、図２４の（ｂ）に示すように、電圧の変化に応じて減少し、赤外光波形は、電圧の変化に応じて増加する。したがって、照明装置３０が、第３制御パターンにより調光される装置である場合、可視光波形の取得から赤外光波形の取得にうまく切り替えが行えなかった場合であっても、線形的に増減させることができるため、微調整をしながら、赤外光における脈波を取得することができる。さらに、段階がある場合の照明装置と異なり微調整が可能なため、より可視光における可視光波形の特徴点を捉えながら、赤外光における赤外光波形の特徴点を取得することができる。

なお、照明装置３０の調光の段階が無段階である場合、可視光を線形に減少させ、赤外光を線形に増加させるとしたが、これに限るものではない。例えば、図２５に示すように、光源制御部１１５は、照明装置３０による照度が所定の閾値、例えば、５０〜２００ルクスであり、赤外光波形演算部１１２において、赤外光波形の特徴点が取得できた場合、照度が所定の閾値となるように輝度が制御されている照明装置３０をオフとしてもよい。このように制御することで、可視光をオフにするまで線形に減少させる場合と比較して、より早くオフにすることができ、快適な睡眠への導入を行うことができる。

ここで、図２５は、照明装置の照度が所定の閾値である場合に、オフにする切り替え制御の一例を示す図である。図２５の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２５の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２５の（ｂ）は、図２５の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２５の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。

つまり、この場合、脈波計測装置１０は、相関度演算部１１３が演算した相関度が所定の閾値（第２の閾値）以上の場合に、赤外光光源１２３における赤外光の光量を増加させる制御信号を第１制御信号として赤外光光源１２３に出力し、照明装置３０における可視光の光量を減少させる制御信号を第２制御信号として照明装置３０に出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う。なお、第２可視光波形は、第２可視光画像から抽出した、ユーザの脈波を示す波形である。第２赤外光波形は、第２赤外光画像から抽出した、ユーザの脈波を示す波形である。

そして、光源制御部１１５は、照明装置３０の光量が第２の閾値以下となり、かつ、繰り返し行われた相関度の演算の結果、相関度が所定の閾値以上となった場合に、照明装置３０をオフにする制御信号を、第２制御信号として照明装置に出力してもよい。なおこの場合の第２の閾値とは、照度が所定の閾値の場合の照明装置３０による光量である。

また、照明装置３０は、より効果的に可視光を照射する光源である照明装置３０から赤外光光源１２３への光源の切り替え制御を行うために、切り替えにかかる完了時間をＴとして設定したが、これに限るものではない。特に、照明装置３０の調光の段階が無段階である場合は、ユーザによる指示に応じて、調整時間を早めた切り替え制御を行ってもよい。ユーザの中には、寝る時に毎回光源の切り替えのために完了時間Ｔ（例えば、２分から１０分もの間）、可視光を制御されるのは、苦痛を感じる人がいる。したがって、図５の（ｂ）に示したように、例えば、「通常モード」と「時短モード」との２種類の切り替え制御を用意してもよい。「通常モード」がユーザにより選択された場合、脈波計測装置１０は、通常設定されている完了時間Ｔをかけて、切り替え制御を行う。また、「時短モード」がユーザにより選択された場合、可視光波形や赤外光波形が取得されることの正確性よりも早さを重視し、例えば、切り替えにかかる完了時間をＴ／３（例えば、３０秒から３分程度）とし、この間に取得された可視光波形および赤外光波形を用いることで、切り替え制御を行ってもよい。

つまり、脈波計測装置１０は、通常モードにおける通常処理と、時短モードにおける短時間処理との、いずれかの処理を実行する。通常処理とは、演算した相関度が所定の閾値以上の場合に、赤外光光源１２３における赤外光の光量を第１速度で増加させる制御信号を第１制御信号として出力し、照明装置３０における可視光の光量を第２速度で減少させる制御信号を第２制御信号として出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う処理である。短時間処理とは、演算した相関度が所定の閾値以上の場合に、赤外光光源１２３における赤外光の光量を第１速度よりも２倍以上速い第３速度で増加させる制御信号を第１制御信号として出力し、照明装置３０における可視光の光量を第２速度よりも２倍以上速い第４速度で減少させる制御信号を第２制御信号として出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う処理である。

図２６は、短縮した完了時間において切り替え制御を行う場合の一例を示す図である。図２６の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２６の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２６の（ｂ）は、図２６の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２６の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。

図２６の（ａ）に示すように、照明装置３０から照射される光量は、切り替え制御開始から完了時間Ｔ／３でオフになっている。このとき、図２６の（ｂ）に示すように、可視光波形のピーク数は、完了時間がＴの通常モードでの切り替え制御において取得される可視光波形のピーク数よりも少ない。したがって、時短モードの場合、切り替え制御において赤外光波形を取得するために比較する可視光波形の特徴点のデータ数が減る。このため、切り替え制御の正確度が減ってしまうが、切り替え制御にかかる時間を短縮することができる。この時短モードで切り替え制御を行うことにより、ユーザは、早く寝たい日等は、素早く切り替えを行い、睡眠に入ることができる。

《第４制御パターン》
次に、照明装置３０の調光が光量および色温度を調整によって行われる場合について説明する。

照明装置３０が、光量および色温度を調整する第４制御パターンにより調光される装置である場合、まず、照明装置３０が照射する可視光の色温度を所定の色温度以下、例えば、２５００Ｋ以下にしてから、上述した光源の切り替え制御を行う。

図２７は、色温度の変化による、可視光撮像部１２２における、ユーザの顔の見え方の違いを説明するための図である。図２７の（ａ）は、日常の照明、例えば、昼白色（５０００Ｋ程度）の時の、ユーザの顔が撮像された画像の一例を示す図であり、図２７の（ｂ）は、色温度を低くし、電球色（２５００Ｋ程度）を照射した際のユーザの顔が撮像された画像の一例を示す図である。このとき、脈波計測装置１０では、使用するアルゴリズムを変更し、ＲＧＢの輝度信号から可視光波形を取得するのではなく、ＲＧＢの輝度信号から演算した色相Ｈの色相信号を用いる。

図２８は、ＲＧＢの輝度信号から色相Ｈの色相信号を演算する演算処理について説明するための図である。図２８の（ａ）〜（ｃ）は、可視光撮像部１２２によって、取得できる各ＲＧＢ信号（可視光波形）を示すグラフである。図２８の（ａ）〜（ｃ）のそれぞれにおいて、横軸は時間を示し、縦軸は各ＲＧＢの輝度を示す。また、図２８の（ｄ）は、これら３つの信号から演算した色相Ｈの信号（色相波形）を示すグラフである。図２８の（ｄ）において、横軸は時間を示し、縦軸は色相環における角度を示す。なお、色相環における０度は、Ｒ信号においてのみゲインがあり、他のＧ信号およびＢ信号は０である状態である。また、色相信号は、ＲＧＢの輝度信号から式２により演算される。

式２は、色における輝度信号がＲ＞Ｇ＞Ｂの順になっている場合の式であるが、ユーザの肌の色は、基本的にこの関係を満たしており、上記の式２を使用することができる。このように、式２を用いてＲＧＢの輝度信号を色相信号に変換すると、図２９に示すように、ユーザの肌の色は、色相環において、０度から６０度の間に存在する色として表される。つまり、ＲＧＢの輝度信号ではなく、色相Ｈの色相信号を用いることで、ＲＧＢの輝度信号に含まれる輝度成分を打ち消すことができ、色み成分のみの変化を得ることができる。このため、輝度変化によるノイズの影響を少なくできる。

つまり、光源制御部１１５は、照明装置３０の色温度を予め定められた温度（例えば、２５００Ｋ）に調整する制御信号を、第２制御信号として照明装置３０に出力する。そして、可視光波形演算部１１１は、第２制御信号の出力の後において取得した第２可視光画像から得られた色相を、式２を用いて演算し、演算した色相を用いて可視光波形を抽出する。

さらに、色温度を２５００Ｋ以下とする制御を最初に行うことで、電球色のような赤っぽい光をユーザの頬にあてることになる。これにより、可視光撮像部１２２で撮像した結果、ユーザの肌表面の色み変化は、色相環の３０度付近で振動する結果が得られるようになる。このとき、３０度の軸は、ＲＧＢのＧ信号の軸と垂直に交わるという特徴を持っているため、脈波の変化が現れやすいＧ信号の変化に最も影響を受けやすい。よって、ユーザの肌表面の色みを白から赤っぽく、特に、色相Ｈの値が３０度付近になるように、照明装置３０の色温度を変更することで、より体動や環境ノイズに対して、ロバストに可視光波形を取得することができる。つまり、可視光波形演算部１１１は、第２制御信号の出力の後において、照明装置３０により色温度が予め定められた温度の可視光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得する。そして、可視光波形演算部１１１は、取得した第２可視光画像の色相を演算し、演算した色相からユーザの脈波を示す波形である色相波形を抽出する。光源制御部１１５は、抽出された色相波形が所定の基準値（例えば、色相環における３０度）を基準とする範囲（例えば、０度から６０度までの範囲）に収まるように照明装置３０の色温度を調整する制御信号を、第２制御信号として照明装置３０に出力する。

また、さらに、電球色は、ユーザにとって、リラックス効果を与え、眠りやすくする効果があるため、ユーザにとっても、色温度を白（５０００Ｋ）から、赤（２５００Ｋ）に変更することは、メリットがある。

（外乱光認識部）
外乱光認識部１１７は、周囲撮像部１２５から出力された周囲画像を取得し、周囲画像を用いて、照明装置３０以外の光源（つまり、脈波演算装置１００を備える脈波計測装置が制御できない光源）が発する光である外乱光を認識する。また、外乱光認識部１１７は、認識した外乱光が脈波計測装置１０に対して位置する方向である外乱光方向と、外乱光の輝度特性とを認識する。ここで、外乱光の輝度特性とは、外乱光の輝度（または強度）の時間的な変化である。このように、外乱光認識部１１７は、周囲撮像部１２５により異なる複数のタイミングで撮像された周囲画像のそれぞれについて、上記認識処理を行うことで、外乱光の輝度の時間的な変化を得る。

外乱光認識部１１７は、例えば、周囲画像の各画素において、当該画素の輝度値が所定の輝度値以上であるか否かを判定し、判定の結果、所定の輝度値以上の画素を特定する。これにより、外乱光認識部１１７は、可視光領域の光強度が強い画素の集まりを特定し、当該画素に対応する方向を外乱光方向として特定する。また、外乱光認識部１１７は、外乱光の輝度特性から、外乱光が安定した輝度を有するか否かを判定する。そして、外乱光認識部１１７は、認識した外乱光方向、外乱光の輝度特性、及び、当該外乱光を認識した時間帯を対応付けた情報である外乱光情報を、位置決定部１１８に送信する。

図３０は、図１において、脈波計測装置が配置された部屋を天井側から見た平面図である。図３１は、外乱光認識部において、外乱光方向を認識する方法について説明するための図である。

図３０は、ユーザＵが睡眠中であり、部屋の窓５０から隣の部屋の照明光が入ってきている様子を示している。このとき、ユーザが就寝している部屋の照明、すなわち、照明装置３０は、消灯している。また、脈波計測装置１０は、外乱光とユーザＵとを結ぶ一直線上に配置されている。図３１は、外乱光認識部１１７が備える全方位カメラ２５により撮像された周囲画像の例を示している。

例えば、図３１で示す周囲画像は、図３０で示す状態において撮像された周囲画像である。全方位カメラ２５は、周囲３６０度を撮像することにより得られた画像を、図３１に示すような長方形の画像として出力する。周囲画像は、左端が０度であり、右端が３６０度である。つまり、周囲画像は、全方位カメラ２５の所定の基準位置を０度（３６０度）とした、長方形の画像であり、その左端の辺と右端の辺とが同一の方向を示す。

周囲画像には、当該周囲画像の６０度の方向周辺の領域にユーザＵの顔が撮像されており、その１８０度反対側である２４０度の方向周辺の領域に窓５０からの外乱光が撮像されている。例えば、図３１のような周囲画像では、照明装置３０がオフとなっているため、全体的な輝度が小さい。しかし、周囲画像において、外乱光が存在する場合、外乱光認識部１１７は、外乱光の領域の輝度値が大きくなるため、輝度値が第８の閾値（例えば、０〜２５５までの全２５６段階の輝度値のうちの１５０）より大きい画素の領域を認識し、当該領域に対応する方向（つまり２４０度の方向）に外乱光が存在すると判定する。

また、外乱光認識部１１７は、顔の特徴量を用いて、周囲画像のうちのユーザの顔が撮像されている領域を認識し、当該領域に対応する方向（つまり６０度の方向）にユーザの顔が存在すると判定する。つまり、外乱光認識部１１７は、周囲撮像部１２５による検出結果としての周囲画像を用いて、脈波計測装置１０に対してユーザ（特にユーザの顔）が位置する方向であるユーザ方向を認識してもよい。

外乱光認識部１１７は、外乱光方向及びユーザ方向から、外乱光の位置及びユーザの位置の間の位置関係を示す角度を外乱光情報として記録する。図３１の例であれば、位置関係を示す角度は、１８０度である。つまり、位置関係を示す角度は、外乱光方向を示す角度とユーザ方向を示す角度との差により求められる。また、ユーザの顔を認識する際に、撮像されたユーザの顔の向きから、本装置がユーザに対して、左右のどちら側に設置されているかを判定する。例えば、図３１のように、撮像されたユーザの頭が左側を向いている場合、外乱光認識部１１７は、脈波計測装置１０がユーザの右側に存在していると判定できる。なお、この場合のユーザの右側とは、ユーザが仰向けに寝ている場合を前提とした右側であり、ユーザがうつぶせで寝ている場合にはユーザの左側である。

なお、外乱光認識部１１７は、周囲画像からユーザの顔を認識して、外乱光との位置関係を判定するとしたが、これに限ったものではない。例えば、赤外光撮像部１２４において撮像した、赤外光によるユーザの顔情報を用いて、ユーザの脈波計測装置１０に対する方向を認識してもよい。例えば、脈波計測装置１０において、赤外光撮像部１２４が備える、赤外光カメラ２４が撮像した赤外光画像を、外乱光認識部１１７に送信し、外乱光認識部１１７は、赤外光画像を周囲画像に反映してもよい。脈波計測装置１０では、赤外光カメラ２４と全方位カメラ２５との位置関係が固定された状態である。図３０及び図３１の例では、赤外光カメラ２４がユーザ側を向いているため、赤外光カメラ２４は、全方位カメラ２５により撮像された周囲画像の例えば６０度〜１２０度の範囲に対応する領域を撮像する。よって、外乱光認識部１１７は、赤外光画像の中にユーザの顔が写っていれば、赤外光画像からユーザ方向を特定することができる。例えば、外乱光が発する可視光領域の光の強度が弱く、可視光撮像部１２２が撮像するユーザの画像を正確に撮像できない場合がある。このような場合に、赤外光画像を使用することで、外乱光の光が少なく、ユーザの顔を可視光で撮像することが難しい状況においても、外乱光とユーザの顔とを容易に認識できるため、脈波計測装置に対する外乱光の位置及びユーザの位置の間の位置関係を特定できる。よって、外乱光を有効に活用してユーザの脈波を検出するための、脈波計測装置１０の設置位置を特定することがより簡易になる。

外乱光認識部１１７は、外乱光の輝度特性から、その外乱光がユーザの脈波計測に利用できる光であるのか、利用できない光であるかを判定してもよい。

まず、外乱光がユーザの脈波計測に利用できる光である場合について説明する。

図３２は、ユーザが睡眠中の部屋の隣の部屋から、照明を光源とする照明光が差し込んでいる様子を示す図である。つまり、図３２の場合、照明光が外乱光である。例えば、このような照明光の場合、照明が点灯中に当該照明が発する照明光の輝度特性は、所定の値、例えば、輝度変化の周波数が１０Ｈｚで、輝度変化が１０以下であり、ほとんど変化がない。すなわち、このような照明光は、安定した可視光であることを示す第１輝度特性を有し、ユーザの脈波取得に利用できる。外乱光認識部１１７は、周囲画像を用いて認識した外乱光が、当該外乱光の輝度が第８の閾値（例えば、０〜２５５までの全２５６段階の輝度値のうちの１５０）より大きく、かつ、当該輝度の変化幅が第９の閾値（例えば、０〜２５５までの全２５６段階としたときの１０）以下である第１輝度特性を有するか否かを判定し、第１輝度特性を有する可視光を安定した可視光（脈波計測に利用できる光）であると判定する。

したがって、外乱光認識部１１７は、全方位カメラ２５が撮像した周囲画像から、ユーザの位置及び外乱光の位置の間の位置関係を算出し、図３２の（ｂ）に示すように、当該位置関係を示す角度が１８０度未満となる位置に脈波計測装置１０を移動させるために、位置関係を示す外乱光情報を位置決定部１１８に送信する。

なお、安定した光の例として、隣の部屋の照明としたが、これに限ったものではない。例えば、窓から差し込む隣の家の明かりや、道路の街灯の光、そして、夜明けとともに、差し込む太陽光を利用してもよい。この他にも、ユーザの肌領域における輝度変化幅が脈波の振幅より小さい、第９の閾値（例えば、１０）以下の光であれば、外乱光を利用して脈波取得をしてもよい。

次に、外乱光がユーザの脈波計測に利用できない光である場合について説明する。

図３３は、ユーザが睡眠中に部屋の隣の部屋から、隣の部屋に設置されたＴＶの光が差し込んでいる様子を示す図である。

ＴＶを光源とする光は、番組内容によって、時系列にその輝度や光の周波数が変化するため、その光がユーザの脈波取得のための肌領域に照射されると、当該光が照射された肌領域を撮像した可視光画像から脈波を取得しにくくなる。したがって、この場合、外乱光認識部１１７によって、外乱光の輝度変化の周波数が、例えば、１０Ｈｚ以上、輝度が、例えば、ユーザの肌領域で１０以上変化することを測定する。つまり、外乱光認識部１１７は、周囲画像を用いて認識した外乱光が、当該外乱光の輝度が第８の閾値（例えば、０〜２５５までの全２５６段階の輝度値のうちの１５０）以下、または、当該輝度の変化幅が第９の閾値（例えば、０〜２５５までの全２５６段階としたときの１０）を超える第２輝度特性を有するか否かを判定し、第２輝度特性を有する可視光を不安定な可視光（脈波計測に利用できない光）であると判定する。つまり、第２輝度特性を有する可視光は、輝度値が０に近い場合（つまり外乱光がない場合）も含む。

この結果、図３２に示すように、例えば、脈波計測装置１０を、外乱光の位置とユーザの位置とを結ぶ一直線上に設置するために、位置関係を示す外乱光情報を位置決定部１１８に送信してもよい。このように、ユーザと外乱光との間に、脈波計測装置１０を設置することで、脈波計測装置１０により外乱光がユーザに照射されるのをさえぎることができ、安定した赤外光のみで、ユーザの脈波を取得できる。

（位置決定部）
位置決定部１１８は、外乱光認識部１１７が認識した、脈波計測装置１０に対して外乱光が位置する方向と、外乱光の輝度特性とに応じて、ユーザの脈波をより取得しやすくするための、脈波計測装置を設置すべき設置場所を決定する手段である。

外乱光認識部１１７で認識した外乱光が、ユーザの脈波取得に有用な光であれば、脈波計測装置１０は、外乱光を利用するために、外乱光とユーザとを結ぶ直線上を除く位置を、設置場所として決定する。つまり、位置決定部１１８は、ユーザ方向と外乱光方向とが為す角度が１８０度よりも十分に小さい所定の角度（例えば、１６０度）以下となる位置を、設置位置として決定してもよい。例えば、図３２の場合には、外乱光認識部１１７は、外乱光が第１輝度特性を有すると判定しているため、位置決定部１１８は、図３２の（ｂ）に示すように、外乱光方向及びユーザ方向に基づいて、ユーザが存在する位置よりも外乱光側の位置であって、上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置を除く位置を、設置位置として決定する。

なお、所定の角度は、脈波計測装置１０がユーザの位置又は外乱光の位置に近いほど、小さい値に変更してもよい。理由は、脈波計測装置１０がユーザの位置又は外乱光の位置に近いほど、外乱光の位置とユーザの位置とを結ぶ直線に近くなるためである。この場合、周囲画像に写り込んでいるユーザ又は外乱光の周囲画像に対する大きさが所定の大きさ（つまり所定の大きさの画素領域）より大きい場合に、脈波計測装置１０がユーザの位置又は外乱光の位置に近いと判断してもよい。

さらに、位置決定部１１８は、外乱光がユーザの脈波計測に利用できる光であると外乱光認識部１１７により判定された場合、ユーザの位置よりも外乱光の位置側の位置を、設置位置として決定してもよい。つまり、位置決定部１１８は、具体的には、外乱光認識部１１７が認識した外乱光が第１輝度特性を有する場合、認識した外乱光方向及びユーザ方向を用いて、ユーザが存在する位置よりも外乱光側の位置を、設置位置として決定してもよい。これにより、位置決定部１１８は、図３５に示すように、外乱光−脈波計測装置１０−ユーザの順に並ぶ位置に、設置位置を決定することになる。

図３４は、例えば明け方の時間帯において、部屋の窓５０から外乱光として太陽光が差し込んでいる様子を示す図である。

図３４に示すように、例えば、窓５０がユーザの右側にあり、太陽光が差し込むまでは、脈波計測装置１０は、ユーザの左側に設置されていたとする。このとき、太陽光がユーザの右側にある窓５０から差し込んできた場合、ユーザの脈波を取得しやすいユーザの頬領域においては、左頬より右頬の方が、太陽光によってより照射される。すなわち、位置決定部１１８は、ユーザの脈波をより取得しやすい、光源側の位置（つまり、図３４においては、ユーザの右側の位置）にを、設置位置としてするように決定する。

ここで、図３１を用いて、脈波計測装置１０と外乱光とユーザとの位置関係から、脈波計測装置の設置位置を決定する決定方法について説明する。なお、以下では、外乱光がユーザの脈波計測に有用である場合に、当該外乱光を利用して脈波計測を行う場合について説明する。

前述した外乱光認識部１１７における認識結果（外乱光情報）によって、脈波計測装置１０がユーザの左右どちら側にいるかを認識できる。例えば、図３１では、撮像した周囲画像から、ユーザの頭の向きが左向きになっていることから、脈波計測装置１０がユーザの右側に設置されていると認識できる。

そして、前述したように、脈波計測装置１０は、できるだけユーザに対して、外乱光が存在する側に設置した方が、脈波を取得しやすい。しかし、外乱光については、その輝度の大きさ等から、脈波計測装置１０に対してどの方向にあるかという程度しか分からない。このため、ユーザと脈波計測装置１０と外乱光との正確な位置関係を認識することは難しい。そこで、位置決定部１１８は、周囲撮像部１２５から得た周囲画像からユーザ方向と外乱光方向との為す角度が例えば１５０度である位置を設置位置として決定する。そして、脈波計測装置１０が床面を自走するための移動部２６を有していれば、移動部２６により設定位置に近づくまで、脈波計測装置１０の位置をランダムに移動させ、移動させた先で撮像した周囲画像に対して外乱光認識部１１７による外乱光の方向及びユーザの方向を認識する処理を繰り返し行う。なお、移動部は、例えば、脈波計測装置１０の床面との接触する部位に設けられる車輪と、当該車輪を駆動するモータとにより実現されてもよい。

なお、外乱光−脈波計測装置１０−ユーザの順に並ぶ位置関係を実現するためには、ユーザ方向と外乱光方向との為す角度が１８０度であれば最もよい。しかし、前述したように、ユーザ方向と外乱光方向とが為す角度が１８０度である場合、脈波計測装置１０が外乱光を遮ってしまい、脈波計測に有用な外乱光をユーザに照射できないおそれがある。したがって、ユーザ方向と外乱光方向との為す角度が、１８０度から所定の角度（例えば、３０度）ずらした、１５０度になるまで、脈波計測装置１０はランダムに移動する。これは、ユーザに対して、外乱光がこの範囲であれば、本装置がユーザに対して、外乱光側に設置されている可能性が大きいからである。図３１の周囲画像において、ユーザの顔の位置は、６０度の地点にある。このとき、外乱光の位置が、２１０度の位置に来るように、脈波計測装置１０を移動させて、脈波計測装置１０の位置を変更する。

なお、ユーザ方向と外乱光方向とのなす角度は、１５０度としたが、これに限ったものではない。脈波計測装置１０が外乱光を邪魔しない角度で、１００度から１８０度の範囲であればよい。つまり、脈波計測装置１０は、外乱光がユーザの顔に照射されていることを認識できれば、外乱光の位置とユーザの位置とを結ぶ直線上の位置に配置されていてもよい。また、例えば、脈波計測装置１０は、設置位置を動かしながら、ユーザの頬領域等の可視光における輝度値を読み取り、所定のステップ、例えば１０ステップ移動した後で、もっとも読み取った輝度値が大きくなる位置を、脈波計測装置１０の設置位置として決定してもよい。これにより、脈波計測装置１０は、現在位置付近で最も、外乱光を脈波計測に利用しやすい位置を設置位置として挙げることができる。

なお、外乱光が第１特性を有する場合、脈波演算装置１００では、可視光波形演算部１１１が外乱光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、取得した第２可視光画像から、ユーザの脈波を示す波形である第２可視光波形を抽出する。そして、生体情報算出部１１６は、第２可視光波形の特徴量から第２生体情報を算出し、算出した第２生体情報を出力する。

また、位置決定部１１８は、外乱光認識部１１７が認識した外乱光が第２特性を有する場合、認識した外乱光方向及びユーザ方向を用いて、上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置を、設置位置として決定する。なお、位置決定部１１８は、ユーザ方向と外乱光方向とがなす角度が所定の角度より大きくなる位置を、上記直線上の位置としてもよい。例えば、図３３の場合には、外乱光認識部１１７は、外乱光が第２輝度特性を有すると判定しているため、位置決定部１１８は、図３３の（ｂ）に示すように、外乱光方向及びユーザ方向に基づいて、上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置を、設置位置として決定する。

なお、外乱光がユーザの脈波計測に利用できない光である場合（つまり、外乱光が第２輝度特性を有する場合）、脈波計測装置１０の設置位置を、外乱光の位置とユーザの位置とを結んだ直線上の位置に決定するとしたが、これに限ったものではない。例えば、図３５に示すように、外乱光の光源の位置が脈波計測装置１０よりも高い位置にある場合がある。

図３５は、外乱光の光源の位置が脈波計測装置よりも高い位置にある場合の脈波計測装置の設置位置の決定方法について説明するための図である。

図３５に示すように、脈波計測装置１０は、筐体２０の高さを変更する高さ変更部２７を備え、外乱光を筐体２０によって遮る位置まで高さを変更してもよい。高さ変更部２７は、例えば、ボールネジなどにより構成され、長さが伸縮可能な脚部である。なお、高さ変更部２７は、ボールネジに限らずに、油圧シリンダ、ガス圧シリンダ、電動シリンダなどにより構成されていてもよい。このように、脈波計測装置１０は、脚部を伸展させ、高い位置から、ユーザの脈波を取得してもよい。つまり、この場合、脈波計測装置１０が上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置に位置する場合、外乱光認識部１１７は、周囲撮像部１２５による検出結果である周囲画像を用いて、第２輝度特性を有する外乱光がユーザの顔に照射されているか否かを判定する。そして、位置決定部１１８は、外乱光認識部１１７により、第２輝度特性を有する外乱光がユーザの顔に照射されていると判定した場合、脈波計測装置１０の現在の高さよりも高い位置を、設置位置として決定する。その後、高さ変更部２７は、設置位置として決定された高さに脈波計測装置１０の高さを調整する。

この場合、位置決定部１１８は、脈波計測装置１０の現在の高さよりも所定の高さだけ高い位置を、設置位置として決定してもよい。そして、この場合においても、外乱光認識部１１７により、第２輝度特性を有する外乱光がユーザの顔に照射されていると判定した場合、位置決定部１１８は、さらに、所定の高さだけ高い位置を設置位置として決定してもよい。つまり、外乱光認識部１１７により、第２輝度特性を有する外乱光がユーザの顔に照射されていないと判定されるまで、位置決定部１１８は、現在の高さよりも所定の高さだけ高い位置に決定する処理を繰り返し行う。

また、位置決定部１１８は、外乱光認識部１１７で撮像した画像における輝度変化している画素の座標位置から、外乱光の高さを推定し、推定した高さの位置を設置位置として決定してもよい。

これにより、脈波計測装置１０は、高い位置からユーザの脈波計測に利用できない外乱光がユーザの顔に照射されている場合であっても、脈波計測装置１０の筐体２０の高さを、外乱光を遮る高さに変更する。このため、ユーザに当該外乱光が照射されるのを防ぐことができ、精度よくユーザの脈波計測を行うことができる。

なお、外乱光が第２特性を有する場合には、脈波演算装置１００は、外乱光を用いずに、上述で説明した照明装置３０による可視光または赤外光光源１２３による赤外光を用いた脈波計測を行う。つまり、この場合、脈波演算装置１００は、照明装置３０による可視光により撮像された可視光画像、又は、赤外光光源１２３による赤外光により撮像された赤外光画像を用いて、可視光波形又は赤外光波形を抽出し、抽出した可視光波形の特徴量又は赤外光波形の特徴量に基づいて、生体情報を算出する。

なお、ユーザの脈波計測に利用できない外乱光の例として、ＴＶの光としたが、これに限ったものではない。例えば、窓５０から差し込む車のヘッドライトの光なども、輝度の変化が起こるため、ユーザの脈波計測に利用できない外乱光と認識してもよい。

上述したように、位置決定部１１８は、脈波計測装置１０が移動部２６または高さ変更部２７を有する場合、決定した位置情報を移動部２６及び高さ変更部２７の少なくとも１つに出力することで、当該位置情報が示す位置に脈波計測装置１０を移動させてもよい。

また、位置決定部１１８は、位置情報を後述する提示装置４０に出力することで、脈波計測装置１０を移動させるべき設置位置をユーザに提示してもよい。つまり、提示装置４０は、この場合、設置位置に移動させることをユーザに促す情報を、ユーザに提示する。

（生体情報算出部）
生体情報算出部１１６は、可視光波形演算部１１１で取得された可視光波形または赤外光波形演算部１１２で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部１１６は、具体的には、照明装置３０がＯＮであり、かつ、可視光波形演算部１１１において可視光波形を取得できる場合、可視光波形演算部１１１から第１心拍間隔時間を取得する。そして、生体情報算出部１１６は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。

一方で、生体情報算出部１１６は、照明装置３０がＯＦＦである、または、可視光波形演算部１１１において可視光波形が取得できない場合であって、赤外光波形演算部１１２において赤外光波形が取得できる場合、赤外光波形演算部１１２から第２心拍間隔時間を取得する。そして、生体情報算出部１１６は、第２心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。

なお、生体情報算出部１１６は、可視光波形演算部１１１および赤外光波形演算部１１２の両方において各波形（可視光波形および赤外光波形）の特徴量（心拍間隔時間）が抽出できている場合、可視光波形演算部１１１からの第１心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。

なお、生体情報算出部１１６は、取得された可視光波形の特徴量を用いて生体情報を算出してもよいし、取得された赤外光波形の特徴量を用いて生体情報を算出してもよい。また、生体情報算出部１１６は、光源制御部１１５から第２制御情報が出力された後に取得された第２可視光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から第２制御情報が出力される前に取得された第１可視光波形の特徴量を用いてユーザの生体情報を算出してもよい。同様に、生体情報算出部１１６は、光源制御部１１５から第１制御信号が出力された後に取得された第２赤外光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から第１制御信号が出力される前に取得された第１赤外光波形の特徴量を用いてユーザの生体情報を算出してもよい。

なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、２箇所の異なるユーザの部位から脈波のタイミングを正確に取得し、その時間差（脈波伝播時間）から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、睡眠深度を算出してもよい。

なお、生体情報算出部１１６は、ストレス指数としては、ＬＦ／ＨＦの数値に応じて、「ストレスが高い」、「ストレスが低い」などを示す情報を出力してもよい。

また、生体情報算出部１１６は、睡眠深度として、特許文献３に示すように、求めることができる。睡眠深度は、具体的には、ＬＦ、ＨＦおよび体動の有無に基づいて、判定できる。なお、睡眠深度とは、被験者の脳の活動状態の程度を示す指標である。例えば、睡眠深度として、ノンレム睡眠、レム睡眠のいずれに該当するかを判定してもよい。さらにノンレム睡眠においてはさらに浅睡眠、深睡眠のいずれに該当するかを判定してもよい。

なお、生体情報算出部１１６は、判定された睡眠深度の段階毎に段階に応じた数値を付与することで、当該数値を睡眠深度として出力してもよい。

なお、ＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）およびＨＦ（Ｈｉ Ｆｒｅｑｕｅｎｃｙ）は、特許文献３に示すような処理を行うことで得られる。つまり、脈拍間隔データ（心拍間隔時間）を例えばＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）にて周波数スペクトル分布に変換する。次に、得られた周波数スペクトル分布より、ＬＦ，ＨＦを得る。具体的には、複数のパワースペクトルのピーク値とピーク値を中心として前後等間隔の１点との３点の合計値の算術平均をとってＬＦ、ＨＦとする。なお、周波数解析法としてＦＦＴ法の他の例としては、ＡＲモデル、最大エントロピー法、ウェーブレット法などを用いることができる。

（提示装置）
提示装置４０は、生体情報算出部１１６から受診した、生体情報を提示する装置である。提示装置４０は、具体的には、生体情報算出部１１６より得た心拍数やストレス指数、睡眠深度等の生体情報を提示する装置である。提示装置４０は、例えば、携帯端末２００により実現され、携帯端末２００のディスプレイ２０４に生体情報を示すグラフィックを表示してもよいし、携帯端末２００の図示しないスピーカから生体情報を示す音声を出力してもよい。

なお、提示装置４０は、脈波計測装置１０にディスプレイが内蔵されている場合、当該ディスプレイによって実現してもよいし、脈波計測装置１０にスピーカが内蔵されている場合、当該スピーカによって実現してもよい。

なお、提示装置４０は、生体情報算出部１１６より得た生体情報を提示するとしたが、これに限らない。提示装置４０は、例えば、常に、照明装置３０における光源の光量や、赤外光光源１２３における光源の光量を提示してもよい。また、提示装置４０は、相関度演算部１１３より、現在時点での一致度を、例えば、信頼度として％表示で提示してもよい。具体的には、提示装置４０は、可視光波形と赤外光波形との間の相関係数を提示してもよい。

また、提示装置４０は、位置決定部１１８により決定された位置情報を、脈波計測装置１０を移動させるべき位置としてユーザに提示してもよい。

図３６は、提示装置への表示例を示す図である。図３６に示すように、提示装置４０は、心拍数、ストレス指数、睡眠深度、また、現在の信頼度（すなわち、可視光波形および赤外光波形の心拍間隔時間の相関係数）を示すグラフィックを表示する。また、提示装置４０は、現時点における可視光光源および赤外光光源の光量の比も表示してもよい。また、提示装置４０は、これらのパラメータからユーザの睡眠状態がどのような状態なのかを心拍数、ストレス指数および睡眠深度の各数値と、睡眠状態とが予め対応付けられたテーブルを参照することで睡眠状態を判定し、判定した睡眠状態を表示してもよい。提示装置４０は、例えば、心拍数６５以下、ストレス指数４０以下、睡眠深度が７０以上だと「ＧＯＯＤ」と表示する。なお、提示装置４０は、上記の生体情報などの提示内容を、算出した直後に表示しなくてもよい。つまり、ユーザは、基本的に睡眠を行っているため、算出することにより得られた生体情報などの提示内容をすぐに提示するのではなく、例えば、記録（蓄積）しておき、ユーザが、例えば次の日の朝に、起きた時点で、当該提示内容を提示してもよい。これにより、ユーザは起きてすぐに、いい睡眠が取れたのかどうかを確認できる。

［１−３．動作］
次に、本実施の形態に係る脈波計測装置１０の動作について説明する。図３７は、本実施の形態における脈波計測装置１０の処理の流れを示すフローチャートである。

まず、照明装置３０は、ユーザが部屋に入室する、または、ユーザ自身が照明装置３０のコントローラを制御することにより、起動する。可視光波形演算部１１１は、照明装置３０により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、取得した可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、可視光波形において所定の特徴点である第１特徴点を複数抽出する。そして、可視光波形演算部１１１は、可視光波形の特徴量として、第１心拍間隔時間を算出する（Ｓ００１）。また、可視光波形演算部１１１は、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとしてメモリに記憶させる。

次に、赤外光波形演算部１１２は、赤外光光源１２３により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光波形において所定の特徴点である第２特徴点を複数抽出する。そして、赤外光波形演算部１１２は、赤外光波形の特徴量として、第２心拍間隔時間を算出する（Ｓ００２）。

そして、相関度演算部１１３は、ピーク点の判定を行う（Ｓ００３）。具体的には、相関度演算部１１３は、可視光波形において抽出された第１特徴点について、過剰取得されたピーク点がないか否かを判定する。また、相関度演算部１１３は、赤外光波形において抽出された第２特徴点について、過剰取得されたピーク点がないか否かを判定する。なお、相関度演算部１１３によるピーク点の判定処理の詳細は、後述する。

次に相関度演算部１１３は、可視光波形および赤外光波形の相関度を演算する（Ｓ００４）。なお、相関度演算部１１３による相関度の演算処理の詳細は、後述する。

次に、光源制御部１１５は、各光源の光量の調整を行う（Ｓ００５）。光源制御部１１５は、光量の調整の結果に応じて、各光源の光量を制御するための制御信号を出力する。お、光源制御部１１５による光量の調整処理の詳細は、後述する。

次に、生体情報算出部１１６は、可視光波形の特徴量および赤外光波形の特徴量の少なくとも一方から、生体情報を算出する（Ｓ００６）。

次に、生体情報算出部１１６は、算出した生体情報を提示装置４０へ出力する（Ｓ００７）。

図３８は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。

相関度演算部１１３は、第１心拍間隔時間の標準偏差ＳＤ_ＲＧＢを算出する（Ｓ１０１）。

次に、相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値以下であるか否かを判定する（Ｓ１０２）。

相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値以下であると判定した場合（Ｓ１０２でＹｅｓ）、第２心拍間隔時間の標準偏差ＳＤ_ＩＲを算出する（Ｓ１０３）。

そして、相関度演算部１１３は、標準偏差ＳＤ_ＩＲが第４の閾値以下であるか否かを判定する（Ｓ１０４）。

相関度演算部１１３は、標準偏差ＳＤ_ＩＲが第４の閾値以下であると判定した場合（Ｓ１０４でＹｅｓ）、「Ｆａｌｓｅ」の信号を光源制御部１１５に送信する（Ｓ１０５）。

一方で、相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値を超えると判定した場合（Ｓ１０２でＮｏ）、または、標準偏差ＳＤ_ＩＲが第４の閾値を超えると判定した場合（Ｓ１０４でＮｏ）、対応する第１心拍間隔時間と第２心拍間隔時間との間の絶対誤差ｅを算出する（Ｓ１０６）。

相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいか否かを判定する（Ｓ１０７）。

相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より大きいと判定した場合（Ｓ１０７でＮｏ）、「Ｆａｌｓｅ，ＲＧＢ」の信号を光源制御部１１５に送信する（Ｓ１０９）。

一方で、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいと判定した場合（Ｓ１０７でＹｅｓ）、絶対誤差ｅが２００〔ｍｓ〕より大きいか否かを判定する（Ｓ１０８）。

相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より大きいと判定した場合（Ｓ１０８でＹｅｓ）、「Ｆａｌｓｅ，ＩＲ」の信号を光源制御部１１５に送信する（Ｓ１１０）。

相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より小さいと判定した場合（Ｓ１０８でＮｏ）、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を光源制御部１１５に送信する（Ｓ１１１）。

図３９は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。

まず、相関度演算部１１３は、複数の第１心拍間隔時間と複数の第２心拍間隔時間との相関度を演算する（Ｓ２０１）。

相関度演算部１１３は、演算することにより得られた相関度が第２の閾値より大きいか否かを判定する（Ｓ２０２）。

相関度演算部１１３は、相関度が第２の閾値より大きいと判定した場合（Ｓ２０２でＹｅｓ）、「Ｔｒｕｅ」の信号を光源制御部１１５に送信する（Ｓ２０３）。

一方で、相関度演算部１１３は、相関度が第２の閾値以下で有ると判定した場合（Ｓ２０２でＮｏ）、「Ｆａｌｓｅ」の信号を光源制御部１１５に送信する（Ｓ２０４）。

図４０は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。

光源制御部１１５は、相関度演算部１１３から受信した信号が、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＩＲ」、「Ｆａｌｓｅ，ＲＧＢ」および「Ｆａｌｓｅ，Ｂｏｔｈ」の信号のいずれの信号であるかを判定する（Ｓ３０１）。

光源制御部１１５は、受信した信号が「Ｔｒｕｅ」の信号である場合、可視光の光量を減少させ、かつ、赤外光の光量を増加させる（Ｓ３０２）。

光源制御部１１５は、受信した信号が「Ｆａｌｓｅ」または「Ｆａｌｓｅ，ＩＲ」の信号である場合、赤外光の光量のみを増加させる（Ｓ３０３）。

光源制御部１１５は、ステップＳ３０２またはステップＳ３０３において、赤外光の光量を増加させた場合、赤外光波形の第２の傾きがメモリに記憶している第１の傾きＡに等しいか否かを判定する（Ｓ３０４）。また、光源制御部１１５は、さらに、ステップＳ３０２において、可視光の光量を減少させた場合、可視光の光量が０であるか否かを判定してもよい。

光源制御部１１５は、第２の傾きが第１の傾きに等しいと判定すれば（Ｓ３０４でＹｅｓ）、光量の調整処理を終了する。また、光源制御部１１５は、さらに、可視光の光量が０であると判定すれば、光量の調整処理を終了してもよい。

光源制御部１１５は、受信した信号が「Ｆａｌｓｅ，ＲＧＢ」である場合、標準偏差ＳＤ_ＩＲが第４の閾値以下であるか否かを判定する（Ｓ３０５）。

光源制御部１１５は、標準偏差ＳＤ_ＩＲが第４の閾値以下であると判定した場合（Ｓ３０５でＹｅｓ）、ステップＳ３０２の処理を行う。

光源制御部１１５は、受信した信号が「Ｆａｌｓｅ，Ｂｏｔｈ」である場合、または、標準偏差ＳＤ_ＩＲが第４の閾値より大きいと判定した場合（Ｓ３０５でＮｏ）、可視光の光量を増加させて初期の光量に戻し、かつ、赤外光の光量を減少させ赤外光光源１２３をＯＦＦにする（Ｓ３０６）。

光源制御部１１５は、ステップＳ３０４において第２の傾きが第１の傾きＡと異なると判定した場合（Ｓ３０４でＮｏ）またはステップＳ３０６が終了した場合、ステップＳ００１に戻る。つまり、脈波計測装置１０は、この場合、照明装置３０における可視光の光量、および、赤外光光源１２３における赤外線の光量の変更を行ってもステップＳ３０４の判定条件を満たさない場合、ステップＳ００１に戻り、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、および、相関度の演算を繰り返し、繰り返し行われた相関度の演算の結果に応じて、第１制御信号の出力、および、第２制御信号の出力を行う。つまり、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、相関度の演算、第１制御信号の出力、および、第２制御信号の出力は、ステップＳ３０４の判定条件を満たすまで繰り返し行われる。なお、ｎ回目の処理で取得された可視光画像を第ｎ可視光画像とし、ｎ回目の処理で取得された赤外光画像を第ｎ赤外光画像とし、ｎ回目の処理で抽出された可視光波形を第ｎ可視光波形とし、ｎ回目の処理で抽出された赤外光波形を第ｎ赤外光波形とする。

なお、脈波計測装置１０は、外乱光の輝度特性に応じて、ユーザの脈波の計測に最適な設置位置を決定し、決定した設置位置において生体情報を算出してもよい。次に、脈波計測装置１０の脈波演算装置１００による生体情報の算出方法について説明する。

図４１は、本実施の形態における外乱光の輝度特性に応じた生体情報の算出方法を示すフローチャートである。

脈波演算装置１００は、外乱光認識処理を行う（Ｓ４０１）。外乱光認識処理の詳細について、図４２を用いて説明する。

図４２は、本実施の形態における外乱光を認識する処理を示すフローチャートである。

外乱光認識部１１７は、周囲画像を取得して、照明装置３０がオフであるか否かを判定する（Ｓ４１１）。なお、外乱光認識部１１７は、光源制御部１１５の照明装置３０への制御結果から、照明装置３０がオフであるか否かを判定してもよい。

外乱光認識部１１７は、照明装置３０がオフであると判定した場合（Ｓ４１１でＹｅｓ）、周囲画像の輝度値が第８の閾値より大きい画素の領域があるか否かを判定する（Ｓ４１２）。なお、外乱光認識部１１７は、照明装置３０がオフでないと判定した場合（Ｓ４１１でＮｏ）、ステップＳ４１１の処理を繰り返す。脈波演算装置１００は、照明装置３０がオフでない場合、外乱光を利用しない図３７で示した処理を行う。

外乱光認識部１１７は、周囲画像の輝度値が第８の閾値より大きい画素の領域があると判定した場合（Ｓ４１２でＹｅｓ）、外乱光方向及び外乱光の輝度特性を認識する（Ｓ４１３）。

外乱光認識部１１７は、外乱光の輝度変化が第９の閾値以下であるか否かを判定する（Ｓ４１４）。

そして、位置決定部１１８は、外乱光認識部１１７により外乱光の輝度変化が第９の閾値以下であると判定されれば（Ｓ４１４でＹｅｓ）、外乱光を利用できる位置を設置位置として決定する（Ｓ４１５）。つまり、位置決定部１１８は、ユーザよりも外乱光側の位置であって、ユーザの位置と外乱光との位置とを結ぶ直線上を除く位置を設置位置として決定する。

一方で、位置決定部１１８は、外乱光認識部１１７により、第８の閾値よりも輝度値が大きい画素領域がないと判定された場合（Ｓ４１２でＮｏ）、または、外乱光の輝度変化が第９の閾値を超えると判定された場合（Ｓ４１４でＮｏ）、外乱光を利用できない位置を設置位置として決定する（Ｓ４１６）。つまり、位置決定部１１８は、ユーザの位置と外乱光との位置とを結ぶ直線上の位置を、設置位置として決定する。

位置決定部１１８は、ステップＳ４１５またはステップＳ４１６で決定した設置位置を出力する（Ｓ４１７）。この場合、移動部２６及び高さ変更部２７に出力することにより、脈波計測装置１０を移動させてもよいし、提示装置４０に出力することにより、ユーザに設置位置に脈波計測装置１０を移動させることを促す情報を提示してもよい。

図４１に戻り、外乱光認識処理が終了すると、脈波演算装置１００は、決定した設置位置に脈波計測装置１０が移動したか否かを判定する（Ｓ４０２）。脈波演算装置１００の外乱光認識部１１７は、具体的には、周囲撮像部１２５により撮像された周囲画像を用いて、脈波計測装置１０に対する外乱光方向およびユーザ方向を認識する。そして、外乱光認識部１１７は、決定した設置位置により示される外乱光方向およびユーザ方向が為す第１角度の所定の角度範囲（例えば、１００度〜１８０度の範囲）内に、認識した外乱光方向およびユーザ方向が為す第２角度が収まっているか否かを判定することで、脈波計測装置１０が決定した設定位置に移動したか否かを判定する。つまり、外乱光認識部１１７は、第２角度が所定の角度範囲内の角度である場合、決定した設置位置に脈波計測装置１０が移動したと判定する。反対に、外乱光認識部１１７は、第２角度が所定の角度範囲内の角度でない場合、決定した設置位置に脈波計測装置１０が移動していないと判定する。

脈波演算装置１００は、決定した設置位置に脈波計測装置１０が移動したと判定した場合（Ｓ４０２でＹｅｓ）、外乱光を利用できるか否かを判定する（Ｓ４０３）。具体的には、脈波演算装置１００の外乱光認識部１１７は、ステップＳ４０１の外乱光認識処理におけるステップＳ４１２およびステップＳ４１４でＹｅｓと判定された場合に、外乱光を利用できると判定する。また、外乱光認識部１１７は、ステップＳ４０１の外乱光認識処理におけるステップＳ４１２またはステップＳ４１４でＮｏと判定された場合に、外乱光を利用できないと判定する。

なお、ステップＳ４０３では、改めて、ステップＳ４１２およびステップ４１４を組み合わせた判定を行うことで、上述したように外乱光を利用できるか否かを判定してもよい。

一方で、脈波演算装置１００は、決定した設置位置に脈波計測装置１０が移動していないと判定した場合（Ｓ４０２でＮｏ）、ステップＳ４０２の判定を繰り返す。この場合、移動部２６により設定位置に近づくまで、脈波計測装置１０の位置をランダムに移動させ、移動させた先で撮像した周囲画像に対して外乱光認識部１１７による外乱光の方向及びユーザの方向を認識する処理を繰り返し行ってもよい。

脈波演算装置１００は、外乱光を利用できると判定した場合（Ｓ４０３でＹｅｓ）、脈波計測装置１０において取得された第１可視光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量から生体情報を算出する（Ｓ４０４）。

脈波演算装置１００は、外乱光を利用できないと判定した場合（Ｓ４０４でＮｏ）、制御信号が出力された後において、脈波計測装置１０において取得された第１可視光画像および赤外光画像のうちの少なくとも赤外光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量から生体情報を算出する（Ｓ４０５）。具体的には、図３７で説明した処理が終了している場合には、当該処理によって決定された赤外光の光量で赤外光光源１２３を発光させ、赤外光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量から生体情報を算出してもよい。また、赤外光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量を算出するのが困難である場合には、図３７で説明した処理のステップＳ００１〜ステップＳ００６を繰り返すことでユーザの脈波を示す波形を可視光画像または赤外光画像から抽出し、抽出した波形の特徴両から生体情報を算出してもよい。

脈波演算装置１００は、ステップＳ４０４またはステップＳ４０５において算出された生体情報を出力する（Ｓ４０６）。

［１−４．効果など］
本開示の一態様に係る脈波演算装置１００によれば、外乱光の外乱光方向及び輝度特性を認識するため、認識した外乱光に応じてユーザの脈波計測に適切な位置を設置位置として出力する。このため、ユーザの脈波計測に適切な位置に、脈波計測装置１０を移動させることができ、外乱光がある場合であっても精度よくユーザの脈波を計測できる。

また、脈波演算装置１００は、認識した外乱光がユーザの脈波の取得に利用できる光であるか否かを外乱光の輝度特性を用いて判定し、外乱光がユーザの脈波の取得に利用できる光であると判定した場合、脈波計測装置１０において取得された第１可視光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量から生体情報を算出する。また、脈波演算装置１００は、外乱光がユーザの脈波の取得に利用できる光でないと判定した場合、制御信号が出力された後において脈波計測装置１０において取得された第１可視光画像および赤外光画像のうちの少なくとも赤外光画像からユーザの脈波を示す波形を抽出し、抽出した波形の特徴量から生体情報を算出する。

このため、外乱光が脈波の取得に利用できる光である場合、外乱光を利用して第１可視光画像を用いることで効果的にユーザの脈波を計測でき、外乱光が脈波の取得に利用できない光である場合、脈波計測装置１０の赤外光による赤外光画像を少なくとも用いることで効果的にユーザの脈波を計測できる。

また、脈波演算装置１００は、波形の抽出において、取得した第１可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出し、かつ、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出し、抽出した可視光波形と、抽出した赤外光波形との間の相関度を演算し、制御信号の出力において、演算した相関度に応じて、赤外光光源が発する赤外光の光量を制御する第１制御信号を赤外光光源に出力する。このため、より効果的にユーザの脈波を計測できる。

また、脈波演算装置１００は、認識した外乱光が、当該外乱光の輝度が第１の閾値より大きく、当該輝度の変化幅が第２の閾値以下である第１輝度特性を有する場合、外乱光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、取得した第２可視光画像から、ユーザの脈波を示す波形である第２可視光波形を抽出し、第２可視光波形の特徴量から第２生体情報を算出し、算出した第２生体情報を出力する。このため、外乱光がユーザの脈波計測に利用できる光である場合に、外乱光により得られた可視光画像に基づいて、ユーザの脈波計測を行うことができる。このため、より効果的にユーザの脈波計測を行うことができる。

また、脈波演算装置１００は、さらに、周囲撮像部による検出結果を用いて、脈波計測装置１０に対してユーザが位置する方向であるユーザ方向を認識し、認識した外乱光が第１輝度特性を有する場合、認識した外乱光方向及びユーザ方向を用いて、ユーザが存在する位置よりも外乱光側の位置を、設置位置として決定する。このため、外乱光がユーザの脈波計測に利用できる光である場合に、外乱光により照射されたユーザを効果的に撮像できる位置に脈波計測装置１０を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、脈波演算装置１００は、さらに、周囲撮像部による検出結果を用いて、脈波計測装置１０に対してユーザが位置する方向であるユーザ方向を認識し、認識した外乱光が、当該外乱光の輝度が第１の閾値以下、または、当該輝度の変化幅が第２の閾値を超える第２輝度特性を有する場合、認識した外乱光方向及びユーザ方向を用いて、上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置を、設置位置として決定する。このため、外乱光がユーザの脈波計測に利用できない光である場合に、ユーザが外乱光により照射されないように、外乱光を遮る位置に脈波計測装置１０を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、脈波演算装置１００は、脈波計測装置１０が上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置に位置する場合、周囲撮像部による検出結果を用いて、第２輝度特性を有する外乱光がユーザの顔に照射されているか否かを判定し、第２輝度特性を有する外乱光がユーザの顔に照射されていると判定した場合、脈波計測装置１０の現在の高さよりも高い位置を、設置位置として決定する。このため、外乱光が脈波計測装置１０よりも高い位置に位置する場合に、ユーザが外乱光により照射されないように、外乱光を遮る高さに脈波計測装置１０を移動させることが容易にできる。よって、より効果的にユーザの脈波計測を行うことができる。

また、脈波計測装置１０は、さらに、平面上を移動する移動機構を有し、脈波演算装置１００は、位置情報を出力することで、脈波計測装置１０を位置情報が示す設置位置に移動させる。このため、決定された設置位置に自動的に脈波計測装置１０を移動させることができる。

本実施の形態に係る脈波計測装置１０によれば、赤外光光源１２３が発する赤外光の光量の制御に応じて、照明装置３０に予め定められた制御パターンを用いて、照明装置３０が照射する光量を制御する。このため、例えば市販の照明装置を利用した場合であっても、可視光の光量の調整と赤外光光量の調整とを適切に行うことができ、精度よく生体情報を算出できる。

また、脈波計測装置１０によれば、第１可視光波形の特徴量および第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した第２生体情報を出力する。

このため、可視光または赤外光の光量の調整前に取得された、第１可視光波形の特徴量および第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した第２生体情報を出力することができる。

また、脈波計測装置１０によれば、照明装置３０が、オンオフの一段階で光量を調整する第１制御パターンにより調光される装置である場合、赤外光光源が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、第１制御信号として赤外光光源１２３に出力し、照明装置３０をオフにする制御信号を、第２制御信号として照明装置３０に出力する。

このため、照明装置３０が一段階で光量を調整する照明装置であっても、適切に可視光の光量の調整と赤外光の光量の調整とを行うことができる。

また、脈波計測装置１０によれば、照明装置３０が、第１可視光光量と、第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する第２制御パターンにより調光される装置である場合、赤外光光源１２３が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、第１制御信号として赤外光光源１２３に出力し、照明装置３０を第１可視光光量から第２可視光光量に変化させる制御信号を、第２制御信号として照明装置３０に出力し、第１および第２赤外光画像から得られる赤外光の輝度変化と、第１および第２可視光画像から得られる可視光の輝度変化とに応じて、赤外光の光量における第３変化量を決定し、第２赤外光光量から、決定した第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、第１制御信号として赤外光光源に出力し、照明装置３０をオフにする二段階目の制御信号を、第２制御信号として照明装置３０に出力する。

これによれば、脈波計測装置１０は、照明装置３０が第２制御パターンにより調光される装置である場合、一段階目の調光において可視光の輝度の減少量を取得し、取得した減少量に応じて、赤外光光源の光量を増加させることで、より効果的に、赤外光波形を取得することができる。

また、脈波計測装置１０によれば、照明装置３０が、無段階で光量を調整する第３制御パターンにより調光される装置である場合において、演算した相関度が所定の閾値以上の場合に、第１制御信号の出力では、赤外光光源における赤外光の光量を増加させる制御信号を第１制御信号として赤外光光源に出力し、第２制御信号の出力では、照明装置３０における可視光の光量を減少させる制御信号を第２制御信号として照明装置３０に出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行い、照明装置の光量が第２の閾値以下となり、かつ、繰り返し行われた相関度の演算の結果、相関度が所定の閾値以上となった場合に、照明装置３０をオフにする制御信号を、第２制御信号として照明装置３０に出力する。

これによれば、可視光をオフにするまで線形に減少させる場合と比較して、より早くオフにすることができ、快適な睡眠への導入を行うことができる。

また、脈波計測装置１０によれば、照明装置３０が、無段階で光量を調整する第３制御パターンにより調光される装置である場合において、（ｉ）演算した相関度が所定の閾値以上の場合に、第１制御信号の出力では、赤外光光源１２３における赤外光の光量を第１速度で増加させる制御信号を第１制御信号として赤外光光源に出力し、第２制御信号の出力では、照明装置における可視光の光量を第２速度で減少させる制御信号を第２制御信号として照明装置に出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う通常処理と、（ｉｉ）演算した相関度が所定の閾値以上の場合に、第１制御信号の出力では、赤外光光源における赤外光の光量を第１速度よりも２倍以上速い第３速度で増加させる制御信号を第１制御信号として赤外光光源に出力し、第２制御信号の出力では、照明装置における可視光の光量を第２速度よりも２倍以上速い第４速度で減少させる制御信号を第２制御信号として照明装置３０に出力し、第２可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う短時間処理と、のいずれかの処理を実行する。

このため、切り替え制御にかかる時間を短縮することができる。

また、脈波計測装置１０によれば、照明装置３０が、光量および色温度を調整する第４制御パターンにより調光される装置である場合、照明装置３０の色温度を予め定められた温度に調整する制御信号を、第２制御信号として照明装置３０に出力し、第２制御信号の出力の後において取得した第２可視光画像から得られた色相を用いて、第２可視光波形を抽出する。また、脈波計測装置１０では、第２制御信号の出力の後において、照明装置３０により色温度が予め定められた温度の可視光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、取得した第２可視光画像の色相から、ユーザの脈波を示す波形である色相波形を抽出し、抽出した色相波形が所定の基準値を基準とする範囲に収まるように照明装置の色温度を調整する制御信号を、第２制御信号として照明装置３０に出力する。

これによれば、ユーザの肌表面の色みを白から赤っぽく、特に、色相Ｈの値が例えば３０度付近になるように、照明装置の色温度を変更することで、より体動や環境ノイズに対して、ロバストに可視光波形を取得することができる。

また、脈波計測装置１０によれば、ユーザの脈波が撮像された可視光画像から得られた可視光波形と、同一の脈波が撮像された赤外光画像赤外光波形から得られた赤外光波形との相関度を演算し、相関度に応じて赤外光光源が発する赤外光の光量を制御する。このため、赤外光光量の調整を適切に行うことができ、睡眠中などの暗闇状態であっても、ユーザの生体情報を取得することができる。これにより、人に接触する生体センサを設けることなく、非接触での睡眠時の生体モニタリング等が可能になる。

また、脈波計測装置１０によれば、相関度演算部１１３は、可視光波形から算出した第１心拍間隔時間と、赤外光波形から算出した第２心拍間隔時間とを比較することで、相関度を演算する。このため、可視光波形と赤外光波形との間の相関度を容易に演算できる。

また、脈波計測装置１０によれば、赤外光光源の光量を調整した後の赤外光波形における第２の傾きとメモリに記憶している第１の傾きＡとを比較するため、赤外光光源の光量が適切な光量になったか否かを判定できる。

また、脈波計測装置１０によれば、絶対誤差ｅが第３の閾値を超えている場合、第３の閾値を超えていると判定された第１心拍間隔時間および第２心拍間隔時間のうち、所定の特徴点が多い方の波形における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外する。このため、過剰に取得されたピーク点を削除することができ、適切な値の第１心拍間隔時間または第２心拍間隔時間を求めることができる。

また、脈波計測装置１０によれば、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じて、可視光光源および赤外光光源における光量をそれぞれ、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた制御信号を可視光光源および赤外光光源に出力する。これにより、適切に可視光光源および赤外光光源の光量を調整することができる。

また、脈波計測装置１０によれば、制御信号により照明装置３０または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点を抽出しない。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。

また、脈波計測装置１０によれば、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、照明装置３０における可視光の光量を制御する制御信号、または、赤外光光源における赤外光の光量を制御する制御信号の出力を待機する。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。

［１−５．変形例］
［１−５−１．変形例１］
変形例１に係る脈波計測装置１０Ａが備える脈波演算装置１００Ａは、上記実施の形態の脈波演算装置１００の各構成に、さらに、記憶部１１９を備えることで、外乱光の時系列による特徴や場所による特徴を記憶し、より早くかつ正確に、ユーザの脈波を計測するために、外乱光を利用してもよい。なお、記憶部１１９は、例えば、記憶装置としてのストレージ１０３により実現される。

図４３は、変形例１に係る脈波計測装置の機能構成の一例を示すブロック図である。

記憶部１１９は、外乱光認識部１１７で得た、外乱光の特徴、例えば、外乱光方向や外乱光の輝度変化の周波数、及び、輝度変化を記憶し、また、ユーザ方向と、脈波計測装置１０が移動した移動履歴を記憶し、その記憶した各種情報を、位置決定部１１８に送信する。位置決定部１１８は、各種情報を用いて、最も脈波が取得しやすい場所を決定する。

図４４及び図４５を用いてその例を示しながら、具体的に説明する。

図４４は、ユーザが睡眠中の部屋の隣の部屋から、時間帯によって異なる外乱光が差し込んでいる様子について示す図である。図４４の（ａ）は、外乱光が隣の部屋の照明、すなわち、ユーザの脈波計測に利用できる外乱光である場合の時間帯を示す図である。図４４の（ｂ）は、外乱光が隣の部屋のテレビ、すなわち、ユーザの脈波計測に利用できない外乱光である場合の時間帯を示す図である。

この時、記憶部１１９は、外乱光が脈波計測に利用できるのか、利用できないのかを判断した結果（つまり、第１輝度特性を有するか、第２輝度特性を有するかを示す情報）と共に、当該外乱光が発光している時間帯を記憶する。つまり、記憶部１１９は、第１輝度特性を有する外乱光を認識した時間帯と、当該外乱光の外乱光方向とを対応付けた外乱光情報を記憶する。また、記憶部１１９は、第２輝度特性を有する外乱光を認識した時間帯と、当該外乱光の外乱光方向とを対応付けた情報をさらに外乱光情報として記憶してもよい。

そして、外乱光の輝度特性の種類及び時間帯を示す外乱光情報が、所定の日数、例えば、３日間一致していれば、４日目からは、第１輝度特性を有する有用な外乱光を利用し、かつ、第２輝度特性を有する有用でない外乱光を遮るように、それらの外乱光が発光すると予測される時間帯の前に、脈波計測装置１０の位置を、移動部２６を用いて移動する。図４４の例では、ユーザの脈波計測に有用な、隣の部屋の照明は、２０時から２４時まで点灯しており、脈波計測に有用でないテレビの光は、２１時から２３時まで点灯しているという情報が記憶部１１９に記憶されている。また、ユーザは、２０時には消灯し、睡眠を行っているとする。

このとき、脈波計測装置１０は、２０時から２１時までの間は、隣の部屋の照明光が可能な限り、ユーザの顔の照射するように位置を動かし、２１時から２３時までの間は、テレビからの光を遮断するように、脈波計測装置１０を外乱光の位置とユーザの位置とを結んだ直線上、かつ、外乱光とユーザとの間の位置に移動し、外乱光がユーザに照射されない状態にする。そして、２３時から２４時までの間は、再び、２０時から２１時の間に存在していた位置に移動し、外乱光を利用して、ユーザの脈波を可視光で取得する。

つまり、位置決定部１１８は、記憶部１１９に記憶された、外乱光を認識した時間帯と、外乱光方向とに応じて、第１輝度特性を有する外乱光が照射されると予測される時間帯の前に、認識した外乱光方向及びユーザ方向を用いて、ユーザが存在する位置よりも外乱光側の位置を、設置位置として決定する。また、位置決定部１１８は、記憶部１１９に記憶された、外乱光を認識した時間帯と、外乱光方向とに応じて、第２輝度特性を有する外乱光が照射されると予測される時間帯の前に、認識した外乱光方向及びユーザ方向を用いて、上面視において外乱光の位置とユーザの位置とを結ぶ直線上の位置を、設置位置として決定してもよい。そして、移動部２６及び高さ変更部２７の少なくとも一方は、位置決定部１１８によって決定された設置位置に、脈波計測装置１０を移動させる。

なお、上述したように、外乱光を遮っている場合には、照明装置３０の可視光または赤外光光源１２３の赤外光を用いて可視光画像または赤外光画像を撮像し、撮像した各画像を用いて脈波を計測する。ここで、ユーザは、睡眠中であるので、照明装置３０による可視光を照射せずに、赤外光光源１２３の赤外光を用いて撮像した赤外光画像を用いて、ユーザの脈波を計測することが好ましい。

また、例えば、脈波計測装置１０Ａは、設置位置を動かしながら、ユーザの頬領域等の可視光における輝度値を読み取り、読み取った輝度値を記憶部１１９に記憶する。そして、所定のステップ、例えば１０ステップ移動した撮像した可視光画像を用いて読み取ったユーザの頬領域などの可視光における輝度値のうちで、もっとも読み取った輝度値が大きくなる位置を、脈波計測装置１０の設置位置として決定してもよい。つまり、記憶部１１９は、決定した第１の設置位置で撮像された可視光画像のうちのユーザを撮像した領域における第１輝度を記憶する。また、記憶部１１９は、第１の設置位置とは異なる位置であって、第１の設置位置の近傍の位置である第２の設置位置で撮像された第２可視光画像のうちのユーザを撮像した領域における第２輝度を記憶する。位置決定部１１８は、記憶部１１９が記憶している第１輝度及び第２輝度を比較することにより、輝度の高い方に対応する位置を、設置位置として決定する。なお、第１の設置位置の近傍の位置とは、例えば、脈波計測装置１０の筐体２０の幅の半分の量だけ移動させた位置であってもよいし、外乱光方向とユーザ方向とが為す角度が所定の角度（例えば、５度）変化した位置としてもよい。これにより、脈波計測装置１０は、現在位置付近で最も、外乱光を脈波計測に利用しやすい位置を設置位置として挙げることができる。

次に、太陽光を利用して、ユーザの脈波を取得する場合について、説明する。

図４５は、太陽光がユーザの睡眠中の部屋に差し込む様子を示す図である。

太陽光は、毎朝、時間帯によって、照射する方向が異なる。このため、ユーザの頬を照射する光の方向や強度も変化する。記憶部１１９は、時間における太陽光の照射方向を記憶し、記憶した太陽光の照射方向に応じて、脈波計測装置１０の設置位置を決定してもよい。

図４５では、朝６時から８時までの１時間ごとの太陽光の照射方向の変化の例を示す。午前中は、太陽光は時間に伴って、昇っていくため、ユーザへの照射角度が、徐々に大きくなり、照射される面積も徐々に大きくなる。したがって、例えば、図４５に示すように、脈波計測装置１０が所定位置における各時間帯による太陽光の照射方向を記憶し、記憶した照射方向に応じて、脈波計測装置１０の位置及び高さの少なくとも一方を調整することで、ユーザの顔において、よく太陽光が照射されている領域を狙って、脈波を取得してもよい。また、季節によって、太陽光が照射する時間帯と方向が異なるため、日付と連動して記憶してもよい。つまり、記憶部１１９は、周囲撮像部１２５による検出結果としての周囲画像を用いて、外乱光としての太陽光が入射する時間帯と太陽光の行役とを対応付けた太陽光情報を記憶する。そして、位置決定部１１８は、記憶部１１９が記憶している太陽光情報を用いて現在の時間に対応する太陽光の仰角を推測し、推測した仰角に応じた位置及び高さを、設置位置として決定する。なお、外乱光が太陽光であるかは、周囲画像において輝度値が所定の輝度値（例えば、２５０以上）となる光が所定の画素数（例えば１００）よりも多い場合に、外乱光が太陽光であると判断してもよい。また、太陽光の仰角は、太陽光であると判断される領域が周囲画像のどの位置に位置するかによって求めることができる。これにより、前もって、脈波計測装置１０の位置及び高さの少なくとも一方を制御することで、外乱光を有効活用し、より早くかつ正確に、ユーザの脈波を取得することができる。

［１−５−２．変形例２］
上記実施の形態では、制御パターン取得部１１４は、ユーザにより入力された照明装置３０の品番に応じて、当該照明装置３０に対応する制御パターンを脈波計測装置１０のストレージ１０３に記憶されている複数の制御パターンの中から選択することで、当該制御パターンを取得するとしたが、これに限るものではない。制御パターン取得部１１４は、例えば、赤外線によって、照明装置３０と通信を行うことで、当該照明装置３０の制御パターンを読み取ってもよい。具体的には、脈波計測装置１０は、赤外線等により複数の制御パターンに含まれる制御信号を送信することで、送信した信号に対する照明装置３０の反応を、照明装置３０の光量変化に応じて制御パターン取得部１１４にて判定することで、当該照明装置３０に対応する制御パターンを特定してもよい。これにより、ユーザにより品番の入力を受け付けなくても、照明装置３０の制御パターンを自動的に特定できる。

具体的には、脈波計測装置１０は、図４６に示す動作を行ってもよい。

図４６は、変形例２における制御パターン認識処理のフローチャートである。

脈波計測装置１０では、光源制御部１１５が照明装置３０に所定の制御信号を送信する（Ｓ５０１）。光源制御部１１５は、複数種類の制御信号を照明装置３０に送信する。例えば、光源制御部１１５は、「００００」から「１１１１」までの１６ビットの信号を送信する。

次に、可視光波形演算部１１１は、取得した可視光画像から照明装置３０の光量変化を取得する（Ｓ５０２）。

そして、光源制御部１１５は、可視光波形演算部１１１が取得した光量変化に応じて、予め記憶されている複数の制御パターンのうちで最適な制御パターンを選択するマッチング処理を行う（Ｓ５０３）。

光源制御部１１５は、マッチング処理によって最適な制御パターンを認識するまで、マッチング処理を行う（Ｓ５０４）。

［１−５−３．変形例３］
上記実施の形態では、ユーザは、切り替え制御において、脈波取得の正確性を重視するか、照明装置３０のオフまでの速さを重視するかを選択できるとしたが、これに限るものではない。例えば、ユーザの使用回数に応じて、自動的に光源の制御方法を変えてもよい。

具体的には、初期設定時や一度設定を行ってから、１０回程度使用した場合には、正確性を重視し、じっくりと可視光と赤外光の光源を切り替えながら、正確な脈波が取得できるようにしてもよい。

また、一方で、一度設定してから数回は、ほとんど環境や条件等が変わらないことが考えられるため、あらかじめ、光源の切り替え制御における可視光および赤外光の光量を記憶しておき、記憶した光量の周辺で微調整することで、速さを重視した制御（つまり、時短モードによる切り替え制御）を行ってもよい。

このように、最低限必要なときにのみ、正確性を重視してしっかり脈波を比較することで、ユーザの睡眠を邪魔することなく、正確に生体センシングができるようになる。

以上のように、本発明は、外部の照明装置に対して、その制御手段を獲得し、付随の赤外光光源との切り替えを行うことができるので、ユーザは照明がある場所ならばどこでも、睡眠中の生体センシングを行うことができるようになる。

［１−５−４．変形例４］
上記実施の形態では、特に言及していないが、照明装置３０は、光量０から起動する場合、光量をあらかじめ設定した初期値になるように制御してもよい。これにより、ユーザが好みの照度、または、ユーザによって、脈波が取得しやすい照度があった場合、すぐにその状態にすることができる。

［１−５−５．変形例５］
また、可視光波形演算部１１１により、可視光波形が取得でき、かつ、可視光波形の頂点−底点間の傾きが最も大きかった時の、照明装置３０の光量を記録し、ユーザが部屋に入るたびに、照明装置３０の光量が記録した値になるように制御してもよい。

［１−５−６．変形例６］
また、上記実施の形態では特に言及していないが、赤外光は、人の目に照射し続けると、視力が下がる可能性がある。このため、赤外光光源１２３は、ユーザの顔のうちで、人の目を除く領域にＲＯＩを限定して、赤外光を照射してもよい。赤外光光源１２３は、例えば、ユーザの顔に光を照射する場合、特に頬において脈波が取得しやすい。このため、光源制御部１１５は、例えばユーザの目の下の部分を特定し、当該部分のみに向けて赤外光光源１２３に赤外光を照射させてもよい。光源制御部１１５は、例えば、赤外光撮像部１２４により撮像された画像を解析することでユーザの顔認識を行い、顔認識の結果を用いて、ユーザの目の下の部分を特定する。また、光源制御部１１５は、赤外光光源１２３から照射されている赤外光のパワーが所定の閾値以上であり、かつ、所定の時間以上経っている場合、赤外光の光量を所定の光量未満に抑えるように赤外光光源１２３の光量を調整してもよい。また、前述したように、赤外光の場合、ユーザの視力に影響を及ぼすため、ユーザの顔認識から頬の場所を特定し、ユーザの頬のみに赤外光が照射するように、照射領域を絞ってもよい。

［１−５−７．変形例７］
また、上記実施の形態では、脈波計測装置１０における脈波演算装置１００は、脈波計測装置１０に内蔵されているが、これに限らない。例えば、脈波演算装置１００は、外部のサーバ装置として実現されてもよいし、携帯端末２００により実現されてもよいし、ＰＣなどの情報端末により実現されてもよい。つまり、この場合、可視光撮像部１２２および赤外光撮像部１２４から撮像された画像を取得でき、かつ、照明装置３０および赤外光光源１２３の光量を制御できる構成であれば、脈波演算装置１００は、どのような装置により実現されてもよい。

［１−５−８．変形例８］
また、脈波計測装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。

また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示制御方法などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、プロセッサおよびメモリを備える脈波計測装置が実行する脈波計測方法であって、照明装置により可視光を照射されたユーザを可視光領域において撮像することにより得られた第１可視光画像を取得し、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得し、取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、演算した前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する第１制御信号を前記赤外光光源に出力し、前記照明装置を調光するための制御パターンであって、前記照明装置に予め定められた制御パターンを取得し、前記赤外光光源が発する赤外光の光量の制御に応じて、取得した前記制御パターンを用いて、前記照明装置が照射する光量を制御する第２制御信号を前記照明装置に出力し、前記照明装置により前記第２制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、赤外光光源により前記第１制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた第２赤外光画像を取得し、取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、算出した前記第１生体情報を出力する脈波計測方法を実行させる。

以上、一つまたは複数の態様に係る脈波計測装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

本開示は、精度よく生体情報を算出できる脈波計測装置などとして有用である。

１ 脈波計測システム
１０、１０Ａ 脈波計測装置
２０ 筐体
２２ 可視光カメラ
２３ 赤外光ＬＥＤ
２４ 赤外光カメラ
２５ 全方位カメラ
３０ 照明装置
３１ 可視光ＬＥＤ
３２ コントローラ
４０ 提示装置
５０ 窓
１００、１００Ａ 脈波演算装置
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１１１ 可視光波形演算部
１１２ 赤外光波形演算部
１１３ 相関度演算部
１１４ 制御パターン取得部
１１５ 光源制御部
１１６ 生体情報算出部
１１７ 外乱光認識部
１１８ 位置決定部
１１９ 記憶部
１２２ 可視光撮像部
１２３ 赤外光光源
１２４ 赤外光撮像部
１２５ 周囲撮像部
２００ 携帯端末
２０１ ＣＰＵ
２０２ メインメモリ
２０３ ストレージ
２０４ ディスプレイ
２０５ 通信ＩＦ
２０６ 入力ＩＦ

Claims (15)

1. ユーザの脈波を計測する脈波計測装置により計測された情報を用いて演算を行う脈波演算装置であって、
   前記脈波計測装置は、
   可視光を照射されたユーザを可視光領域において撮像する可視光撮像部と、
   赤外光光源と、
   前記赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像する赤外光撮像部と、
   前記脈波計測装置の周囲の可視光領域における画像である周囲画像を撮像する周囲撮像部と、を備え、
   前記脈波演算装置は、プロセッサを備え、
   前記プロセッサは、
   前記可視光撮像部により撮像された第１可視光画像を取得し、
   前記赤外光撮像部により撮像された赤外光画像を取得し、
   前記第１可視光画像及び前記赤外光画像の少なくとも一方から前記ユーザの脈波を示す波形を抽出し、
   抽出した前記波形に応じて、前記赤外光光源及び前記可視光を発する可視光光源の少なくとも一方が発する光量を制御する制御信号を出力し、
   前記周囲撮像部によって撮像された前記周囲画像を用いて、前記脈波計測装置に対して、前記脈波演算装置が制御できない光源による光である外乱光が位置する方向である外乱光方向と、前記外乱光の輝度特性とを認識し、
   認識した前記外乱光方向と、前記外乱光の輝度特性とに応じて、脈波計測装置を設置すべき前記ユーザの脈波の計測に最適な設置位置を決定し、
   決定した前記設置位置を示す位置情報を出力し、
   決定した前記設置位置に移動された前記脈波計測装置おいて取得された前記第１可視光画像及び前記赤外光画像の少なくとも一方から抽出された前記波形の特徴量から生体情報を算出し、
   算出した前記生体情報を出力する
   脈波演算装置。
2. 前記プロセッサは、
   認識した前記外乱光が前記ユーザの脈波の取得に利用できる光であるか否かを前記外乱光の輝度特性を用いて判定し、
   前記外乱光が前記ユーザの脈波の取得に利用できる光であると判定した場合、
   前記脈波計測装置において取得された前記第１可視光画像から前記ユーザの脈波を示す波形を抽出し、
   抽出した前記波形の特徴量から前記生体情報を算出し、
   前記外乱光が前記ユーザの脈波の取得に利用できる光でないと判定した場合、
   前記制御信号が出力された後において、前記脈波計測装置において取得された前記第１可視光画像および前記赤外光画像のうちの少なくとも前記赤外光画像から前記ユーザの脈波を示す波形を抽出し、
   抽出した前記波形の特徴量から前記生体情報を算出する
   請求項１に記載の脈波演算装置。
3. 前記プロセッサは、
   前記波形の抽出において、取得した前記第１可視光画像から、前記ユーザの脈波を示す波形である可視光波形を抽出し、かつ、取得した前記赤外光画像から、前記ユーザの脈波を示す波形である赤外光波形を抽出し、
   抽出した前記可視光波形と、抽出した前記赤外光波形との間の相関度を演算し、
   前記制御信号の出力において、演算した相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する第１制御信号を前記赤外光光源に出力する
   請求項１または２に記載の脈波演算装置。
4. 前記プロセッサは、
   認識した前記外乱光が、当該外乱光の輝度が第１の閾値より大きく、当該輝度の変化幅が第２の閾値以下である第１輝度特性を有する場合、前記外乱光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得し、
   取得した前記第２可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
   前記第２可視光波形の特徴量から第２生体情報を算出し、
   算出した前記第２生体情報を出力する
   請求項１から３のいずれか１項に記載の脈波演算装置。
5. 前記プロセッサは、
   さらに、前記周囲撮像部による検出結果を用いて、前記脈波計測装置に対して前記ユーザが位置する方向であるユーザ方向を認識し、
   認識した前記外乱光が前記第１輝度特性を有する場合、認識した前記外乱光方向及び前記ユーザ方向を用いて、前記ユーザが存在する位置よりも前記外乱光側の位置を、前記設置位置として決定する
   請求項４に記載の脈波演算装置。
6. 前記プロセッサは、
   さらに、前記周囲撮像部による検出結果を用いて、前記脈波計測装置に対して前記ユーザが位置する方向であるユーザ方向を認識し、
   認識した前記外乱光が、当該外乱光の輝度が第１の閾値以下、または、当該輝度の変化幅が第２の閾値を超える第２輝度特性を有する場合、認識した前記外乱光方向及び前記ユーザ方向を用いて、上面視において前記外乱光の位置と前記ユーザの位置とを結ぶ直線上の位置を、前記設置位置として決定する
   請求項１から５のいずれか１項に記載の脈波演算装置。
7. 前記プロセッサは、
   前記脈波計測装置が上面視において前記外乱光の位置と前記ユーザの位置とを結ぶ直線上の位置に位置する場合、前記周囲撮像部による検出結果を用いて、前記第２輝度特性を有する前記外乱光が前記ユーザの顔に照射されているか否かを判定し、
   前記第２輝度特性を有する前記外乱光が前記ユーザの顔に照射されていると判定した場合、前記脈波計測装置の現在の高さよりも高い位置を、前記設置位置として決定する
   請求項６に記載の脈波演算装置。
8. さらに、
   記憶装置を備え、
   前記プロセッサは、前記第１輝度特性を有する前記外乱光を認識した時間帯と、当該外乱光の前記外乱光方向と対応付けた外乱光情報を前記記憶装置に記憶させる
   請求項５に記載の脈波演算装置。
9. 前記プロセッサは、
   前記記憶装置に記憶させた、前記外乱光を認識した時間帯と、前記外乱光方向とに応じて、前記第１輝度特性を有する前記外乱光が照射されると予測される時間帯の前に、認識した前記外乱光方向及び前記ユーザ方向を用いて、前記ユーザが存在する位置よりも前記外乱光側の位置を、前記設置位置として決定する
   請求項８に記載の脈波演算装置。
10. 前記プロセッサは、
    決定した第１の設置位置で撮像された前記第２可視光画像のうちの前記ユーザを撮像した領域における第１輝度を前記記憶装置にさらに記憶させ、
    前記第１の設置位置とは異なる位置であって、前記第１の設置位置の近傍の位置である第２の設置位置で撮像された前記第２可視光画像のうちの前記ユーザを撮像した領域における第２輝度を前記記憶装置にさらに記憶させ、
    前記記憶装置が記憶している前記第１輝度及び前記第２輝度を比較することにより、輝度の大きい方に対応する設置位置を、前記設置位置として決定する
    請求項８または９に記載の脈波演算装置。
11. 前記プロセッサは、
    前記周囲撮像部による検出結果を用いて、前記外乱光としての太陽光が入射する時間帯と仰角とを対応付けた太陽光情報を前記記憶装置にさらに記憶させ、
    前記記憶装置が記憶している前記太陽光情報を用いて、現在の時間に対応する前記太陽光の仰角を推測し、推測した前記仰角に応じた位置及び高さを、前記設置位置として決定する
    請求項８から１０のいずれか１項に記載の脈波演算装置。
12. 前記脈波計測装置は、さらに、平面上を移動する移動機構を有し、
    前記プロセッサは、
    前記位置情報を出力することで、前記脈波計測装置を前記位置情報が示す前記設置位置に移動させる
    請求項１から１１のいずれか１項に記載の脈波演算装置。
13. 可視光を照射されたユーザを可視光領域において撮像する可視光撮像部と、赤外光光源と、前記赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像する赤外光撮像部と、周囲の可視光領域における画像である周囲画像を撮像する周囲撮像部と、を備える脈波計測装置により計測された情報を用いて演算を行う脈波演算装置が実行する脈波演算方法であって、
    前記可視光撮像部により撮像された可視光画像を取得し、
    前記赤外光撮像部により撮像された赤外光画像を取得し、
    前記可視光画像及び前記赤外光画像の少なくとも一方から前記ユーザの脈波を示す波形を抽出し、
    抽出した前記波形に応じて、前記赤外光光源及び前記可視光を発する可視光光源の少なくとも一方が発する光量を制御する制御信号を出力し、
    前記周囲撮像部によって撮像された前記周囲画像を用いて、前記脈波計測装置に対して、前記脈波演算装置が制御できない光源による光である外乱光が位置する方向である外乱光方向と、前記外乱光の輝度特性とを認識し、
    認識した前記外乱光方向と、前記外乱光の輝度特性とに応じて、脈波計測装置を設置すべき前記ユーザの脈波の計測に最適な設置位置を決定し、
    決定した前記設置位置を示す位置情報を出力し、
    決定した前記設置位置に移動された前記脈波計測装置おいて取得された前記可視光画像及び前記赤外光画像の少なくとも一方から抽出された前記波形の特徴量から生体情報を算出し、
    算出した前記生体情報を出力する
    脈波演算方法。
14. 請求項１３に記載の演算方法をコンピュータに実行させるプログラム。
15. 請求項１４に記載のプログラムを格納するコンピュータ読み取り可能な非一時的な記録媒体。

Images