JP2007319246A

JP2007319246A - 電子機器及び電子機器を用いた脈拍検出方法

Info

Publication number: JP2007319246A
Application number: JP2006150265A
Authority: JP
Inventors: Tomoko Soma; 知子相馬
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2006-05-30
Filing date: 2006-05-30
Publication date: 2007-12-13

Abstract

【課題】脈拍数などをいつでもどこでも測定するための電子機器を安価なコストで提供可能とする。
【解決手段】光学系と２次元撮像素子とを備えた撮像部を有し、撮像部で時間的に連続して撮像された指画像データから時間的周期情報を取得する電子機器を提供する。このような電子機器を、カメラを有する携帯電話として提供し、脈拍数などを測定する場合には、電子機器の所持者はカメラに指画像を撮影させ、電子機器は、指画像の変化を検出して脈拍数などを測定してその結果を表示などする。
【選択図】図５

Description

本発明は、撮像部で時間的に連続して撮影された画像から時間的周期情報を取得する電子機器及びそのような電子機器を用いた脈拍検出方法に関する。

所定の時間内での脈拍数（あるいは脈拍値）は、生体から取得できる基本的なパラメータの一つである。例えば、生体の病態を推定するために脈拍数の取得が行なわれる。また、運動の強度を表わすパラメータでもあり、１分あたりの最高脈拍数が（２２０−年齢）という式により計算される値の５０％から８０％になるように運動することが推奨されている。また、脈拍数は、心理状態を表わすパラメータの一つでもあり、ポリグラフ（うそ発見器）の測定の対象でもある。

したがって、脈拍数をいつでもどこでも測定できるようにすることは、病気の診断などの手がかりを提供し、健康の増進につながり、また、パーティーなどでの心理ゲームなどの余興の一つとなり得る。

従来、脈拍数は、人が動脈を指などで触り、時計の秒針を見ながら拍動の数を計数したり、自動血圧測定器などを用いたりして測定されていた。また、近年、非特許文献１などに見られるように、光電式の脈拍検出器が提案されている。光電式の脈拍検出器では、指をフォトトランジスタなどのセンサから構成される測定部に押し当て、また、発光ダイオードなどの発光素子を、測定部のセンサの近傍に配置したり、あるいは指を測定部とで挟むように配置したりして、指からの反射光や透過光の変化を検出する。これは、拍動により、指の血管中の血流量が変化し、それに伴って、反射光や透過光の強度、波長などの測定パラメータ値が変化することを測定原理としている。
"１−４−３−２−１指紋／高性能化技術／セキュリティ／なりすまし防止／生体検知"，［ｏｎｌｉｎｅ］，特許庁，［検索日：２００６．４．１６］，インターネット＜ＵＲＬ：http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/biometric/1-4-3.pdf＞

人が拍動の数を計数するのは正確性の点で問題がある。また、自動血圧測定器を常に持ち歩くのは、大きさや使用形態などからして不便である。また、光電式の脈拍検出器は小型化ができる余地はあるものの、発光素子及び受光のための特別なセンサを用いる必要があり、製品コストを引き下げる際に問題となる。

そこで、以下では、脈拍数をいつでもどこでも測定するための電子機器であって、安価なコストで提供可能な電子機器について開示を行ない、また、そのような電子機器を用いた脈拍検出方法についての開示を行なう。

本発明では、光学系と２次元撮像素子とを備えた撮像部を有し、撮像部で時間的に連続して撮像された指画像データから時間的周期情報を取得する電子機器を提供する。このような電子機器の代表的な例としては、ＣＣＤカメラを備えた携帯電話がある。ＣＣＤカメラにより、手などの指を撮影し、その指を透過した光の強度などの変化を時間的周期情報として取得する。これにより、脈拍数などをいつでもどこでも測定でき、なおかつ、測定のための電子機器の低コストな提供が可能となる。

なお、撮像部は、開口を有し、その開口の全部または一部に指を当てた状態で、時間的に連続して指画像データを撮像するようになっていてもよい。

また、時間的周期情報の取得は、指画像データの輝度または／および明度の時間的変化から周期を取得することで行なわれてもよいし、指画像データから判別しうる略円形の形状の時間変化から周期を取得することで行なわれてもよい。

また、取得された周期に基づいて、脈拍値を算出するようになっていてもよい。さらに算出された脈拍値を表示するようになっていてもよい。また、時間的周期情報に応じて指画像データに対してリアルタイムに画像処理を施して表示を行なってもよい。

また、指画像データを表示する際には、指を撮像部の有する開口に当てる際の目安となるガイド画像を表示してもよい。また、撮像部に指を当てるガイド枠がその撮影部の開口にあってもよい。

また、撮像部の近傍に光源を備え、撮像部の有する開口の全部または一部に指を当てた場合、指画像データは、その光源から出た光により得られた画像データであってもよい。

本発明によれば、脈拍値などの検出に特別の発光素子や受光素子が必要ではなく、いつでもどこでも脈拍数などの測定が行なえ、また、そのような測定のための機器を安価に提供することができる。

以下、本発明を実施するための最良の形態について、図を用いて実施形態として説明する。なお、本発明はこれら実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

（実施形態１）
実施形態１として、光学系と２次元撮像素子とを備え、撮像された指画像データから時間的周期情報を取得する電子機器について説明する。

（実施形態１：構成）
図１は、本実施形態に係る電子機器の機能ブロック図を例示する。電子機器１００は、撮像部１０３と、周期情報取得部１０４と、を有する。ここに、「撮像部」１０３は、光学系１０１と、２次元撮像素子１０２とを備えている。「光学系」とは、光の進路を屈折などの現象を用いて変化させ、２次元撮像素子上に像を結ばせ得るようにするための系である。具体的には、一枚または複数枚のレンズから構成され得る。「２次元撮像素子」とは、２次元状に複数の受光素子が配置された光の有無、強弱を検出するセンサである。具体的には、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）により実現され得る。撮像部１０３は、光学系１０１と２次元撮像素子１０２とを備えることから、通常のデジタルカメラとして動作することにより、静止画または／および動画を取得することが可能となる。

「周期情報取得部」１０４は、撮像部１０３で時間的に連続して撮像された指画像データから時間的周期情報を取得する。「時間的に連続して」とは、撮像部で静止画を撮像する場合には、一枚の静止画の撮像を行なってから次の静止画の撮像を行なう準備ができ次第、可及的速やかに次の静止画の撮像を行なうことを意味する。また、撮像部で動画を撮像する場合には、そのような動画を撮像することを意味する。なお、静止画、動画の撮像を時間的に連続して行なう場合、撮像の対象物（以下に説明するように、この場合は指となる）にピントが必ずしも合っている必要はない。「指画像データ」とは、時間的に連続して撮像する対象が指であるときに時間的に連続して撮像して得られるデータである。ここでいう「指」とは、主にヒトの手の指が想定され、足の指であってもよい。「時間的周期情報」とは、時間的に連続して撮像することで得られたデータの内容の時間経過に伴って周期的な変化を示す属性そのものの存在の有無、あるいはそのような属性の値を意味する。

具体的には、生体の指であれば、指の中の血管中を血液が流れるが、血液の流れの量（流量）は一定ではなく、心臓の拍動によって流量が周期的に変化する。この周期的な変化により、指から反射して（より正確には、指の内部の血管あるいは血管を流れる血液から反射して）光学系１０１に到達する光や、指を透過して光学系１０１に到達する光の強度や波長などが変化する。結果として、心臓の拍動により、光学系１０１に到達することで撮像される指画像データが周期的に変化することになる。そこで、この周期的な変化を示す情報の有無、その変化の属性値（例えば、変化の強弱や、変化の周期の時間長など）が時間的周期情報となる。

例えば、時間的周期情報が変化の周期の時間長である場合において、周期情報取得部１０４での時間的周期情報の取得は次のように行なう。時間ｔにおいて撮像された静止画、あるいは動画を構成する静止画をＰ（ｔ）とし、Ｐ（ｔ）から抽出される特徴量をＣ（ｔ）とする。Ｃ（ｔ）の例としては、Ｐ（ｔ）を構成する画素の輝度値の和がある。この和は、Ｐ（ｔ）全体の画素に対して算出してもよいし、Ｐ（ｔ）の中央部分などの所定の一部の画素に対して算出してもよい。このとき、Ｃ（ｔ）をフーリエ変換し、係数が最大となる三角関数などの項を求め、その項が示す時間長を時間的周期情報としてもよい。なお、ここでの説明は一例であり、他にも種々の取得手法があり、本発明では、特定の一つの手法に限定するものではない。

（実施形態１：電子機器として携帯電話を用いる場合）
以下、本実施形態に係る電子機器として、カメラを有する携帯電話を用いる場合について説明する。

図２（Ａ）、（Ｂ）はカメラを有する携帯電話の代表的な外観の二例を示す。図２（Ａ）において、携帯電話２００は、筐体を開いた状態にすると、カメラ部の開口２０１が外部に露出する。開口２０１の内側２０２の内部には、光学系などとしてレンズが配置されており、この下に２次元撮像素子が配置されている。これにより、通常は風景や人物、ものを撮影することができる。同様に図２（Ｂ）において、携帯電話２０３は、筐体を開かなくてもカメラ部の開口２０４が外部に露出している。開口２０４の内側２０５の内部には図２（Ａ）と同様に光学系が配置されている。また、部分２０６は、内側２０５の内部の光学系の近傍に備えられた光源を示す。このような光源は必須のものではないが、例えば、夜間などにおいてフラッシュ撮影を行なうために主に用いられ得る。

図３は、カメラを有する携帯電話の機能ブロック図を例示している。光学系３０１と２次元撮像素子３０２とを有するカメラ３０３と、記憶メモリ３０４と、表示部３０５と、スピーカ３０６と、マイク３０７と、キー入力部３０８と、無線部３０９とが備えられている。カメラ３０３は、開口２０１、開口２０４とその内部とで構成され、これは、撮像部１０３に対応する。記憶メモリは、アドレス帳を記憶したり、送受信を行なった電子メールを記憶したり、カメラ３０３で撮影した画像を記憶したり、携帯電話の各部を制御するプログラム（あるいはプログラムモジュール）を記憶したりするために用いられる。このプログラム（以下、プログラムといえば、プログラムモジュールを含むこととする。）は制御部３１０の有するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）で実行される。このプログラムの中には、カメラ３０３で撮像された指画像データから時間的周期情報を取得するためのプログラムがある。このようなプログラムがＣＰＵで実行されることにより、周期情報取得部１０４が実現される。表示部３０５は、携帯電話の状態を表示したり、カメラ３０３で撮影された画像を表示したり、電子メールの表示を行なったりするなどのディスプレイである。スピーカ３０６は、電話として機能する場合の音声を発するために用いられる。マイク３０７は、電話として機能する場合の音声を取得するために用いられる。キー入力部３０８は、携帯電話に備えられたキー操作を検出するために用いられる。無線部３０９は、無線通信を行なうために用いられる。

図４は、指画像データをカメラ３０３に撮影させ、時間的周期情報を取得するために、携帯電話に対して行なわれる操作を例示する。まず、携帯電話の所持者は、キー入力部３０８を操作して、携帯電話を画像撮影モードにして、その旨の表示を表示部３０５にさせるよう、制御部３１０に指示を行なう。すると、制御部３１０は、記憶メモリ３０４から必要なプログラム及び必要なデータを読み取り、プログラムを実行する。その結果、表示部３０５には、表示４０１が行なわれ、モード選択の画面が表示される。所持者が「カメラ撮影」を選択すると、表示４０１が表示４０２に置き換わり、例えば、脈拍測定、人物撮影、風景撮影、夜景撮影のモードが選択できるようになる。ここで「脈拍測定」を選択すると、制御部３１０は、周期情報取得部１０４を実現するためのプログラムを読み込み、実行する。この状態で、カメラ３０３により指を撮影して、制御部３１０が指画像データを取得すると、周期情報取得部１０４を実現するプログラムの動作により、指画像データから時間的周期情報が取得される。

なお、カメラ３０３により指を撮影する場合には、指を光学系３０１から離して撮影してもよいし、開口２０１、２０４に指を当てて指画像データを撮像するようになっていてもよい。指を当てる場合には、指を開口の全部または一部に当てる。

図５は、図２（Ａ）に例示した外観を有する携帯電話のカメラの開口の全部に指を当てた場合を例示する。携帯電話の所持者は、例えば左手によって、携帯電話の筐体部分のうち、キーが備えられた部分を主に握ると同時に、左手の親指をカメラ部の開口に当てる。このように指を開口に当てることにより、左手の親指を透過した光がカメラ部により取得され、指画像データが得られる。あるいは、図２（Ｂ）に示したように、光学系２０５の近傍に光源２０６が備えられている場合には、光源２０６から出た光が指に反射し、その反射した光がカメラ部により取得され、指画像データが得られる。

なお、光源２０６そのものがスイッチとなっており、光源２０６が指により押下されることにより、そのスイッチがＯＮとなり、光源２０６から光が発するようになっていてもよい。また、光源２０６に明るさのセンサがあり、所定の明るさ以下になったことが検出されると、光源２０６から光が発するようになっていてもよい。また、このスイッチの操作やセンサの検出により、撮像部１０３で指画像データの連続的な撮像が開始され、時間的周期情報が取得されるようになっていてもよい。

図６（Ａ）は、指６０２を透過した光が撮像部６０１により取得される場合の断面図を示す。この場合、指６０２を透過する光は、太陽光であってもよいし、白熱灯、水銀灯、ナトリウム灯、蛍光灯などの人工的に発生する光であってもよい。また、直接光である必要はなく、壁などに一度以上反射して得られる間接光でもよい。図６（Ｂ）は、撮像部６０３の近傍に備えられた光源６０４から出た光が指６０５に反射して撮像部６０３により指画像データが取得される場合の断面図である。光源６０４は連続的に発光するものであってもよいし、撮像部６０３による指画像データの取得に同期して断続的に発光するものであってもよい。

図７（Ａ）は、撮像部で時間的に連続して撮像された指画像データから得られた特徴量Ｃ（ｔ）のグラフを例示する。横軸が時間ｔに対応し、縦軸がＣ（ｔ）の値に対応している。Ｃ（ｔ）としては、指画像データの輝度または／および明度を用いてもよい。この場合、Ｃ（ｔ）のグラフは指画像データの輝度または／および明度の時間的変化を示す。輝度や明度を測定するのは、２次元撮像素子の全体での測定値を用いてもよいし、中心付近などの一部を用いてもよい。また、指の画像の範囲を指画像データの有する色相、明度、彩度などの画素のパラメータのいずれか一以上から推定して、その範囲の輝度、明度を用いてもよい。

Ｃ（ｔ）から時間的周期情報を取得する方法については、上述したが、それ以外の方法として、微分を使う方法がある。すなわち、Ｃ（ｔ＋１）−Ｃ（ｔ）を各ｔについて求めることにより、図７（Ｂ）のようなグラフを得る。そこで、このグラフにおいて、値が０になってから２回目に０の値を取る時間の長さを求めたり、このグラフにおいて、極小値（あるいは極大値）を取ってから次の極小値（極大値）を取るまでの時間を求めたりする。このように微分を算出することにより、値の変化が拡大し、より変化を検出しやすくなる場合がある。また、さらに２次微分を求めてもよい。これにより、図７（Ｃ）のようなグラフが得られ、さらに値の変化が拡大する場合がある。ただし、極小値や極大値の出現の仕方が複雑となることに注意しなければならない。

（実施形態１：電子機器として携帯電話以外を用いる場合）
図８は、電子機器として携帯電話以外を用いる場合の例を示す。この場合、例えば、２次元撮像素子８０１を、光学系８０２を含むリング８０３に接して配置する。リング８０３の内側の直径はヒトの指の直径とほぼ同じかやや大きく、リングに指を入れると、光学系８０２が指に接することになり、例えば、リング８０３に透明部分８０４から入射した光が指を透過して、光学系８０２に入射して、２次元撮像素子８０１による指画像データが連続的に撮像される。撮像された結果は、本体８０５に有線あるいは無線手段により送信され、本体８０５で動作する周期情報取得部により、時間的周期情報が取得される。なお、図８に示した電子機器は、撮像部に開口を有しない場合の一例でもある。

（実施形態１：処理のフロー）
図９は、本実施形態に係る電子機器における処理のフローチャートを例示する。まず、ステップＳ９０１において、周期情報取得モードになるまで待つ。「周期情報取得モード」とは、周期情報取得部１０４が動作するモードであることを意味する。より具体的には、制御部３１０により記憶メモリ３０４から周期情報取得部を実現するためのプログラムが読み込まれ、動作可能な状態をいう。あるいは、さらに指が光学系の前方などに配置され、指画像データが撮影可能となった状態をいってもよい。

ステップＳ９０２において、指画像データの取得が可能になれば、指画像データを取得する。この取得は、撮像部１０３により指を撮影し、その結果の静止画や動画を取得することにより行なわれる（なお、動画の場合には、ステップＳ９０２では、例えば１フレーム分のデータの取得を行なって、次のステップに進んでもよい）。

ステップＳ９０３において、取得した指画像データの処理を行なう。例えば、輝度または／および明度の情報を取得する処理を行なう。

ステップＳ９０４においては、ステップＳ９０４での処理の結果を記憶する。記憶は例えば、記憶メモリ３０４により行なわれる。

ステップＳ９０５においては、周期情報取得モードを終了するかどうかを判断する。この判断は、例えば、キー入力部３０８により操作の検出結果により判断する。周期情報取得モードの終了ボタンが押下されたり、他のモードに入るためのキー操作が行なわれたりすることが検出されると、周期情報取得モードを終了する。あるいは、指を撮像部から離すことで指画像データが得られなくなったり、画像全体が明るくなったりしたことを検出することで、判断を行なってもよい。

ステップＳ９０５において、終了しないと判断すれば、ステップＳ９０６へ処理を移行し、十分な数の結果が記憶されているかどうかを判断する。これは、時間的周期情報を取得するために十分な数の指画像データを処理した結果が記憶されているかどうかを判断する。例えば、ヒトの脈拍を検出するためには、例えば、０．５秒から１秒程度の時間区間長に相当する指画像データを処理した結果が記憶されているかどうかを判断する。もし、十分な数の結果が記憶されていなければ、ステップＳ９０２へ戻る。もし、十分な数の結果が記憶されていれば、ステップＳ９０７へ移行する。

ステップＳ９０７においては、時間的周期情報の取得を行なう。この取得は上述したようにいくつかの方法がある。その後、ステップＳ９０２へ戻る。

なお、時間的周期情報を取得した場合、その時間的周期情報を対象とする処理にはいくつかのものがある。例えば、無線部３０９により、時間的周期情報を送信してもよい。例えば、指画像データとして取得された指の画像が確かに生体のものである旨を送信して認証などのために用いる。あるいは、ウェブサーバなどに送信して、ブログなどを執筆している際やコンテンツを見ている際の興奮度を脈拍値などにより表示するようになっていてもよい。あるいは、時間的周期情報を取得した時刻などとともに、記憶メモリ３０４に記憶して、後に読み出し可能になるようにしてもよい（例えば、時刻とともに記憶して、脈拍値などの時間変化を後で検討することができるようになっていてもよい）。あるいは、表示部３０５に時間的周期情報を表示してもよい。例えば、時間的周期情報の取得の有無が表示されたり、指画像データの変化の周期を示す値が表示されたりしてもよい。

図１０は、指以外の画像が指画像データに含まれている状態を示す。すなわち、指画像データ１００１に指を撮影した画像部分１００２とそれ以外の部分とが含まれている。画像部分１００２が、例えば、図６（Ａ）に示したように指を透過して得られる光によるものである場合には、画像部分１００２は、それ以外の部分よりも暗いこととなる。そこで、画像部分１００２の範囲を上述したように認識し、画像部分１００２を切り出して、明度、輝度を補正して、ステップＳ９０３の処理を行なうようにしてもよい。

（実施形態１：主な効果）
本実施形態によれば、例えば、携帯電話など、カメラを有する電子機器を用いて、指画像データから時間的周期情報を取得することができ、脈拍などの検出に特別の発光素子や受光素子が必要ではなく、いつでもどこでも脈拍数など（脈拍以外としては、物体の周期的な位置の変化などによるテンポなどがある）の測定が行なえ、また、そのような測定のための機器を安価に提供することができるという効果が得られる。

（実施形態２）
実施形態２として、指画像データから判別し得る略円形の形状の時間的変化から時間的周期情報を取得する電子機器について説明する。

（実施形態２：構成）
本実施形態に係る電子機器の構成は、実施形態１に係る電子機器と同じである。ただし、本実施形態では、周期情報取得部は、指画像データから判別し得る略円形の形状の時間的変化から周期を取得するように構成される。

ここに、「指画像データから判別し得る略円形」とは、例えば、携帯電話などのカメラの光学系の全体または一部を指先で閉塞すると、中心部分が明るく円状となり周辺部分が暗い画像が得られる。そこで、その画像の明るい部分を、「指画像データから判別し得る略円形」という。図１１に、指画像データから判別し得る略円形の画像１１０１を例示する。なお、必要に応じて、所定の明度の値以上・輝度の値以上の部分とそうでない部分とに分けて、所定の明度の値以上・輝度の値以上の部分をいうとしてもよい。比較的明るい部分がほぼ円の形となることから、略円形としたが、円形に限定されるものではない（例えば、楕円であってもよい）。そして、そのような円形の画像を連続して撮像すると、脈拍に応じてその円形の形状が変化して、その半径や面積が変化する。

そこで、本実施形態では、その略円形の形状の時間的変化を、図７などを用いて説明したように求め、そこから時間的周期情報を得るようにしたものである。

（実施形態２：主な効果）
本実施形態においても、実施形態１のように脈拍などの検出に特別の発光素子や受光素子が必要ではなく、いつでもどこでも脈拍数などの測定が行なえ、また、そのような測定のための機器を安価に提供することができるという効果が得られる。

（実施形態３）
実施形態３として、時間的周期情報に基づいて脈拍値を算出する電子機器について説明する。

（実施形態３：構成）
図１２は、本実施形態に係る電子機器の機能ブロック図を例示する。電子機器１２００は、撮像部１２０３と、周期情報取得部１２０４と、脈拍値算出部１２０５とを有する。撮像部１２０３は、光学系１２０１と２次元撮像素子１２０２とを備えている。また開口を備えていてもよい。

したがって、本実施形態に係る電子機器の構成は、実施形態１または２に係る電子機器がさらに脈拍値算出部を有する構成となっている。

「脈拍値算出部」１２０５は、周期情報取得部１２０４により取得した時間的周期情報に基づいて、脈拍値を算出する。例えば、時間的周期情報の示す周期回数と時間から１分あたりの脈拍値を算出する。また、通常は、ヒトの脈拍は一分あたり３００を越えることはまずなく、また、２０を下まわることはまずありえない。そこで、本実施形態では、例えば、一分あたり２０から３００の範囲内の時間的周期情報の値が得られれば、脈拍値と判断し、そうでなければ、測定エラーとしたり、時間的周期情報を再度取得するように周期情報取得部１２０４を制御する。また、一分あたり２０から３００の範囲内の時間的周期情報の値が得られなければ、無線部３０９による時間的周期情報の送信を抑制したり、記憶メモリ３０４への記憶を抑制するようになっていてもよい（なお、３００、２０という値は例示にすぎない）。

（実施形態３：主な効果）
本実施形態によれば、測定エラーなどにより、脈拍値以外による時間的周期情報が得られたとしても脈拍によるものではないと判断がされ、適切な処理が行なわれ、例えば無駄な無線通信を防止することができたり、メモリの無駄使いを防止することができたりするなどの効果が得られる。

（実施形態４）
実施形態４として、脈拍値を表示する電子機器について説明する。

（実施形態４：構成）
図１３は、本実施形態に係る電子機器の機能ブロック図を例示する。電子機器１３００は、撮像部１３０３と、周期情報取得部１３０４と、脈拍算出部１３０５と、脈拍表示部１３０６とを有する。撮像部１３０３は、光学系１３０１と２次元撮像素子１３０２とを備えている。また開口を備えていてもよい。

したがって、本実施形態に係る電子機器の構成は、実施形態３に係る電子機器がさらに脈拍表示部を有する構成となっている。

「脈拍表示部」１３０６は、脈拍値算出部で算出した脈拍値を表示する。例えば、一分あたりの脈拍数を表示部３０５に表示する。あるいは、脈拍値に応じて、色を変化させたり、アニメーションを表示部３０５に表示してもよい。色を変化させる場合には、電子機器の所持者の年齢に応じても変化させてもよい（例えば、高齢者である場合に、あまりに脈拍数が大きいと、赤く警告を発するなど）。この場合、所持者の年齢は、電子機器の設定として記憶しておく。また、「表示」とは、視覚に訴えるものである必要はない。例えば、聴覚に訴えるものであってもよく、脈拍値のテンポで音楽を再生してもよい。この場合、本来は固定されている音楽のテンポを脈拍に合わせてその音楽を再生してもよいし、脈拍数と関連する音楽、例えば、脈拍数のテンポに近い音楽を検索して、検索して得られる音楽を再生するようになっていてもよい。

（実施形態４：主な効果）
本実施形態によれば、測定された脈拍値が表示されるので、測定した脈拍値を容易に知ることができる。

（実施形態５）
実施形態５として、時間的周期情報に応じて、指画像データに対しリアルタイムに画像処理を施して表示する電子機器について説明する。

（実施形態５：構成）
図１４は、実施形態５に係る電子機器の機能ブロック図を例示する。電子機器１４００は、撮像部１４０３と、周期情報取得部１４０４と、指画像表示部１４０５とを有する。また、さらに脈拍値算出部を有していてもよいし、これに加えて、脈拍表示部を有していてもよい。また、撮像部１４０３は、光学系１４０１と２次元撮像素子１４０２とを備えている。さらに開口を有していてもよい。したがって、本実施形態に係る電子機器は、実施形態１から４のいずれかに係る電子機器が指画像表示部を有する構成を有している。

「指画像表示部」１４０５は、周期情報取得部１４０４で取得した時間的周期情報に応じて、指画像データに対しリアルタイムに画像処理を施し、表示する部である。「時間的周期情報に応じて」とは、時間的周期情報の有無やその値に対応して、表示が変化し得ることをいう。時間的周期情報により、例えば、周期が１秒の場合と、１．５秒の場合とでは、表示が異なることであったり、あるいは、時間的周期情報が時間の経過の度合いに伴って変化すると、その変化の度合いに応じて表示が変化したりすることをいう。また、この両方であってもよい。「リアルタイムに」とは、即時にという意味であり、時間的周期情報が周期情報取得部１４０４により取得されると直ちに、あるいは、時間的周期情報が変化すると、その変化から直ちにという意味であり、両方の場合を含んでいてもよい。「直ちに」とは、通常の人であれば、遅延が認知できない状態をいう。「指画像データに対し画像処理を施す」とは、指画像データを変形するとの意味であるが、撮像部１４０３で撮像された指画像データを基にして変形をする必然性はなく、記憶メモリ３０４などに記憶されている仮想的な指画像データを変形してもよい。例えば、撮像部１３０３は、ヒトの指を撮像するが、表示としてはアニメーションなどでネコの指が表示されてもよいし、指先を示す円形などの象徴的な図形が表示されてもよい。また、表示される画像は指の形状を示す必要はなく、例えば、実施形態２で説明したような円形でもよい。

図１５は、表示され画像処理を施す指画像データが円形の画像データである場合の指画像表示部１４０５による表示の例を示す。ディスプレイ１５０１には、同心円状に色や明るさが段階的に変化する円形が表示されている。時間的周期情報に応じて、変化する段階数が減ったり増えたりし、また、円と円との境界が明瞭になったり不明瞭になったりする。また、円の大きさが変化したりしてもよい。例えば、図７（Ａ）においてグラフの値にしたがって、円の大きさが変化する。また、極大値になった場合、極小値になった場合とで色が変わったり、段階数が変化したりしてもよい。

このようにすることにより、時間的周期情報が、脈拍の変化を示している場合には、脈拍に応じて円の大きさや色が変化するなどし、見た目が変化するので、パーティーなどの心理ゲームなどには好適である。

（実施形態５：主な効果）
本実施形態においては、表示が脈拍などに応じて変化するので、脈拍などの状態を視覚的に把握することができる。

（実施形態６）
実施形態６として、指画像表示部によりガイド画像を表示可能な電子機器について説明する。

（実施形態６：構成）
実施形態６に係る電子機器の構成は、実施形態５の電子機器の構成と同じである。ただし、指画像表示部１４０５は、ガイド画像を表示する。「ガイド画像」とは、指を撮像部１４０３の有する開口（図示せず）に当てる際、あるいは、指を撮影する時の指の位置、大きさなどの目安となる画像である。例えば、実施形態２のように、指画像データから判別し得る略円形が取得される場合、その略円形が表示部３０５に表示がされ、その表示位置として望ましい位置も表示される。例えば、望ましい円形の中心位置や円形のおおよその大きさが表示される。

図１６は、表示部が表示するディスプレイ１６０１に、ガイド画像１６０２が表示されている例を示す。所持者は、指画像データから判別し得る略円形の外縁が、ガイド画像１６０２とほぼ重なるように、指を換えたり、指の位置を動かしたり、開口へ指を押し付ける力の加減をしたり、光のあたり具合を調節したりする。

また、ガイド画像と指画像データの表示とが所定の条件を満たすように重なった場合には、「測定準備ＯＫとなりました」という旨の知らせが、ディスプレイ１６０１に表示されたり、スピーカ３０６から聞こえるようになっていてもよい。あるいは、バイブレータの振動により認知されるようになっていてもよい。

（実施形態６：主な効果）
本実施形態により、脈拍を測定するのに最適な位置へ指を置くことが可能となる。

（実施形態７）
実施形態７として、撮像部の有する開口の周囲にガイド枠が備えられた電子機器について説明を行なう。

（実施形態７：構成）
実施形態７に係る電子機器の構成は、実施形態１から６のいずれかの電子機器の構成と同じである。ただし、本実施形態では、撮像部の有する開口の周囲にガイド枠が備えられている。

図１７（Ａ）は、ガイド枠の例を示す。ガイド枠１７０１は、内側が略すり鉢状に中央付近に向けて凹んでおり、中央付近に穴が開いた形状をしている。ここで、「略すり鉢状」とは、凹み方が対称ではない場合を含んでいる。このガイド枠１７０１は、中央付近に開いた穴が開口２０１の内側２０２や開口２０４の内側２０５と一致するように、開口の周囲に設置される。そして、図１７（Ｂ）に示されるようにガイド枠の内側の凹みに沿うように指が置かれる。図１７（Ｂ）は、ガイド枠１７０２、撮像部１７０３の断面図を示しており、指１７０４の先端がガイド枠１７０２の内側に置かれている様子を示す。

（実施形態７：主な効果）
このようにガイド枠を備えることにより、指を適した位置に置き、ずれないようにその位置を固定することが容易となる。また、ガイド枠の半径、高さ、凹み方を調整することにより、撮像部の光学系を構成するレンズに指が接してレンズが汚れてしまうことを防止することができる。

実施形態１に係る電子機器の機能ブロック図カメラを有する携帯電話の外観の例を示す図カメラを有する携帯電話の機能ブロック図時間的周期情報を取得するために、携帯電話に対して行なわれる操作を示す図携帯電話のカメラの開口の全部に指を当てた場合の一例図指画像データの取得の様子を示す断面図指画像データから得られた特徴量のグラフの例を示す図携帯電話以外を用いた場合の電子機器の外観の一例図電子機器における処理のフローチャート指以外の画像が指画像データに含まれている状態の一例図指画像データから判別し得る略円形の一例図実施形態３に係る電子機器の機能ブロック図実施形態４に係る電子機器の機能ブロック図実施形態５に係る電子機器の機能ブロック図表示され画像効果を施す指画像データが略円形の画像データである場合の指画像表示部の表示の一例図ガイド画像の一例図ガイド枠の一例図

符号の説明

１００電子機器
１０１光学系
１０２２次元撮像素子
１０３撮像部
１０４周期情報取得部

Claims

光学系と２次元撮像素子とを備えた撮像部と、
前記撮像部で時間的に連続して撮像された指画像データから時間的周期情報を取得する周期情報取得部と、
を有する電子機器。
前記撮像部は開口を有し、前記開口の全部または一部に指を当てた状態で、時間的に連続して指画像データを撮像する請求項１に記載の電子機器。
前記周期情報取得部は、前記指画像データの輝度または／および明度の時間的変化から時間的周期情報を取得する請求項１または２に記載の電子機器。
前記周期情報取得部は、前記指画像データから判別しうる略円形の形状の時間的変化から時間的周期情報を取得する請求項１または２に記載の電子機器。
前記周期情報取得部により取得した時間的周期情報に基づき脈拍値を算出する脈拍値算出部を有する請求項１から４のいずれか一に記載の電子機器。
前記脈拍値算出部で算出した脈拍値を表示する脈拍表示部を有する請求項５に記載の電子機器。
前記周期情報取得部により取得した時間的周期情報に応じて、指画像データに対しリアルタイムに画像処理を施し、表示する指画像表示部を有する請求項１から６のいずれか一に記載の電子機器。
前記指画像表示部は、更に指を撮像部の有する開口に当てる際の目安となるガイド画像を表示する請求項７に記載の電子機器。
前記撮像部は、指を当てる為のガイド枠を撮像部が有する開口の周囲に有する請求項２から８のいずれか一に記載の電子機器。
前記撮像部の近傍に光源を備え、撮像部が有する開口の全部または一部に指を当てた場合、前記指画像データは前記光源から出た光により得られた画像である請求項２から９のいずれか一に記載の電子機器。
光学系と２次元撮像素子を備えた撮像部と、この撮像部は更に開口を有し、開口の全部または一部に指を当てる事が可能である電子機器を用いた脈拍検出方法であって、前記撮像部から取得する指画像データから時間的変化の周期を示す時間的周期情報を取得する周期情報取得ステップを含む電子機器を用いた脈拍検出方法。