JP2013202260A - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】人体の深部体温を測定するために、より正確に鼓膜温度を測定可能な情報処理装置を提供する。
【解決手段】本技術の情報処理装置は、鼓膜の画像情報に基づいて鼓膜の位置を認識する鼓膜認識部と、鼓膜を含む外耳道内の温度を取得する温度測定部と、鼓膜認識部の認識結果および温度測定部の測定温度に基づいて、鼓膜の温度を決定する温度処理部と、を備える。
【選択図】図７

Description

本開示は、鼓膜温度を測定する情報処理装置、情報処理方法およびコンピュータプログラムに関する。

近年、鼓膜から放出される放射熱を測定して体温を測定する形式の体温計が提案されている。このような体温計では、外耳道より鼓膜の放射熱を測定するセンサを挿入し、非接触で鼓膜から放出される放射熱を測定している。例えば特許文献１には、鼓膜からの赤外線を検出し周囲温度と鼓膜温度との温度差に比例して出力電圧を発生する第１の温度センサと、第１の温度センサ近傍の温度を検出する第２の温度センサとからなるセンサ部を外耳道内に挿入する鼓膜温度測定装置が開示されている。センサ部が収納されたパッケージは、外耳道入口と外耳道の第１屈曲部との間に略充填される形状のシリコンゴムからなる支持体により保持され、支持体を外耳道に挿着することでパッケージを外耳道内に位置させることができる。

従来の鼓膜の放射熱を測定する温度計の挿入部分の形状は、外耳道内で安定的に固定するために、外耳道に沿った形状（例えば、特許文献１、２）やコーン型（例えば、特許文献３）に形成されるのが一般的である。また、鼓膜から温度センサまでの距離の測定は、レーザ照射による測距や音波の跳ね返りを利用した方法が一般的である。

特許第２６７１９４６号公報 特開２００２−３４０６８１号公報 特開平１１−２８１９４号公報 特許第３８９６８０７号公報 特許第４５１７６３３号公報 特許第４３３３３６４号公報 特開２００５−１５７６７９号公報

しかし、上記特許文献１〜３では、温度計による鼓膜の放射熱の計測は、短時間で１回のみの計測を前提としており、長時間計測し続けることについて考慮されていない。外耳道入口側において温度計の挿入部分を鼓膜側へしっかりと押し付けていなければ温度計が耳から脱落してしまうため、外耳道内に挿入されたセンサ部の向きを一定に保持することが難しく、また、ユーザによっての不快感も大きい。

また、特許文献４には、検出センサにより鼓膜から放射される赤外線を検出して、プローブの外耳道への挿入状態が適正か否かを判定する赤外線体温計が開示されている。特許文献４の赤外線体温計では、外耳道に正確にプローブが挿入されている場合にのみ体温測定が行われる。しかし、特許文献４の赤外線体温計は、温度が所定範囲内にある場合を測定可能範囲としており、正確に鼓膜の放射熱を測定しているとは言い難い。

そこで、人体の深部体温を測定するため、より正確に鼓膜温度を測定する手法の提案が求められている。

本開示によれば、鼓膜の画像情報に基づいて鼓膜の位置を認識する鼓膜認識部と、鼓膜を含む外耳道内の温度を取得する温度測定部と、鼓膜認識部の認識結果および温度測定部の測定温度に基づいて、鼓膜の温度を決定する温度処理部と、を備える、情報処理装置が提供される。

また、本開示によれば、鼓膜の画像情報に基づいて鼓膜の位置を認識するステップと、鼓膜を含む外耳道内の温度を取得するステップと、鼓膜の位置の認識結果および測定温度に基づいて、鼓膜の温度を決定するステップと、を含む、情報処理方法が提供される。

さらに、コンピュータを、鼓膜の画像情報に基づいて鼓膜の位置を認識する鼓膜認識部と、鼓膜を含む外耳道内の温度を取得する温度測定部と、鼓膜認識部の認識結果および温度測定部の測定温度に基づいて、鼓膜の温度を決定する温度処理部と、を備える、情報処理装置として機能させるコンピュータプログラムが提供される。

以上説明したように本開示によれば、鼓膜を画像認識して、温度測定をすることで、確実に鼓膜温度の測定をすることができる。

本開示の実施形態に係る耳介装着具の構成を示す外観図である。 図１に示す耳介装着具をユーザの耳に装着させた状態を示す説明図である。 耳介装着具を装着したときの、外耳道内部での状態を示す説明図である。 本体部の一構成例を示す部分拡大図である。 本体部の他の構成例を示す部分拡大図である。 同実施形態に係る情報処理部の構成を示すブロック図である。 撮像画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を示すブロック図である。 温度センサ部の一具体的構成例を示す説明図である。 温度センサ部の他の具体的構成例を示す説明図である。 温度センサ部の他の具体的構成例を示す説明図である。 同実施形態に係る鼓膜温度処理装置による温度測定処理を示すフローチャートである。 鼓膜の撮像画像の一例を示す説明図である。 鼓膜認識処理の一例を示すフローチャートである。 鼓膜と放射温度計による温度測定可能範囲との位置関係を示す説明図である。 放射温度計による温度測定可能範囲に鼓膜の一部が含まれている状態を示す説明図である。 放射温度計による温度測定可能範囲に鼓膜が含まれていない状態を示す説明図である。 鼓膜温度を補正する補正部を備える鼓膜温度処理装置の構成を示すブロック図である。 鼓膜占有率と鼓膜温度との相関関係の一例を示すグラフである。 熱画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を示すブロック図である。 熱画像を取得する温度センサ部の一具体的構成例を示す説明図である。 熱画像を用いる鼓膜温度処理装置による温度測定処理を示すフローチャートである。 熱画像と当該熱画像内における鼓膜領域との関係を示す説明図である。 同実施形態に係る鼓膜温度処理装置のハードウェア構成例を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．耳介装着具の構成
２．耳介装着具による体温測定
２−１．情報処理部の構成
２−２．鼓膜認識処理
（１）撮像画像を用いた鼓膜認識処理を行う鼓膜温度処理装置
（１−Ａ）鼓膜温度処理装置の構成
（１−Ｂ）鼓膜温度処理装置による温度測定処理
（１−Ｃ）測定温度の補正
（２）熱画像を用いた鼓膜認識処理を行う鼓膜温度処理装置
（２−Ａ）鼓膜温度処理装置の構成
（２−Ｂ）鼓膜温度処理装置による温度測定処理
３．ハードウェア構成例

＜１．耳介装着具の構成＞
まず、図１〜図５を参照して、本開示の実施形態に係る鼓膜温度を測定する情報処理装置を備えた耳介装着具１００の構成について説明する。なお、図１は、本実施形態に係る耳介装着具１００の構成を示す外観図である。図２は、図１に示す耳介装着具１００をユーザの耳に装着させた状態を示す説明図である。図３は、耳介装着具１００を装着したときの、外耳道内部での状態を示す説明図である。図４は、本体部１２０の一構成例を示す部分拡大図である。図５は、本体部１２０の他の構成例を示す部分拡大図である。

本実施形態に係る耳介装着具１００は、ユーザの鼓膜の鼓膜温度を検出することにより深部体温を計測するための非接触温度計である。耳介装着具１００は、例えば図１に示すように、鼓膜温度を検出する温度センサ部１１０と、本体部１２０と、温度処理を行う情報処理部１３０とからなる。

温度センサ部１１０は、非接触で鼓膜温度を検出する検出部であり、例えは焦電型の赤外線センサを用いることができる。温度センサ部１１０は、図２に示すようにユーザの外耳道１２内へ挿入され、鼓膜から放射される赤外線を検出する。そして、温度センサ部１１０は、検出結果を電気信号として本体部１２０内に配置された配線を介して情報処理部１３０へ出力する。温度センサ部１１０と本体部１２０との接続部分には、温度センサ部１１０を外耳道１２内に保持するためのイヤーピース１２２が設けられている。イヤーピース１２２は、例えばシリコーン樹脂等の材料で形成されている。

本体部１２０は、温度センサ部１１０をユーザの外耳道１２内に挿入した状態を保持するための装着部材である。本体部１２０は、図１に示すように、一端が温度センサ部１１０と接続され、他端が情報処理部１３０と接続されている。温度センサ部１１０と情報処理部１３０とを接続する間の部分には、ユーザの耳介Ｅ上部に装着される第１の湾曲部１２０ａと、ユーザの耳介Ｅの下部にある耳垂Ｅ１に装着される第２の湾曲部１２０ｂとが、耳の形状に対応して形成されている。図２のように耳介装着具１００を装着すると、図３に示すように、温度センサ部１１０が外耳道１２内で鼓膜１４と対向した状態となり、外耳道１２開口付近でイヤーピース１２２によってその状態が保持される。

本体部１２０は、また、温度センサ部１１０による検出結果を情報処理部１３０へ伝達する配線をその内部に備えている。図４および図５に本体部１２０の内部構造を示す。本体部１２０は、塑性変形可能な形状保持材料によって形成されている。

例えば、図４に示すように、本体部１２０は、シリコーン樹脂等の伸縮性素材からなる筒状のカバー１２１と、カバー１２１内部に設けられた１本の針金１２４および配線１２６とから構成することができる。針金１２４は、本体部１２０の形状を保持するために設けられ、針金１２４の形状を変形させることで本体部１２０を耳の形状に合わせることができる。配線１２６は、温度センサ部１１０と情報処理部１３０とを接続して信号が流れるケーブルであり、図４に示すように、針金１２４とともにカバー１２１の長手方向に沿って設けられる。このように、本体部１２０の構成を簡素にすることにより耳介装着具１００を軽量にすることができる。

あるいは、図５に示すように、配線１２６を針金１２４の周囲に巻回してもよい。これにより、本体部１２０の形状を変化させた際に配線１２６が断線することを防ぐことができる。このとき配線１２６は、温度センサ部１１０から情報処理部１３０にわたって配線１２６全体を巻回させてもよく、一部のみを巻回させてもよい。

情報処理部１３０は、温度センサ部１１０の検出結果に基づいて、鼓膜温度を算出する機能部であって、図２に示すように、本体部１２０の他端に接続されて、耳垂Ｅ１の下部に配置されている。情報処理部１３０は、電子回路基板等で構成されており、温度センサ部１１０から配線１２６を介して出力された電気信号を、ユーザの体温の測定値として変換する処理等を行う。また、本実施形態に係る情報処理部１３０は、画像情報に基づいて鼓膜１４の位置を認識する鼓膜認識処理も実行する。鼓膜認識処理を行うことで、精度よく鼓膜温度を測定することが可能となる。

このような耳介装着具１００の装着は、まず、温度センサ部１１０をユーザの耳介Ｅへ装着しやすいように、本体部１２０を変形させる。第１の湾曲部１２０ａと第２の湾曲部１２０ｂとを緩やかに湾曲させることで、本体部１２０の両端間の直線距離を広げることができ、本体部１２０を耳介Ｅに装着しやすくなる。また、第１の湾曲部１２０ａと第２の湾曲部１２０ｂとの距離を耳介Ｅの上端から耳垂Ｅ１の下端までの距離以上に広げることもできる。この際、第１の湾曲部１２０ａおよび第２の湾曲部１２０ｂは、変形された湾曲形状を維持することができる。

次いで、温度センサ部１１０を外耳道１２内へ挿入し、イヤーピース１２２を外耳道１２の開口付近に配置する。この状態で本体部１２０をユーザの耳介Ｅに合うように変形させて調整し、耳介装着具１００を装着する。例えば、広げた第１の湾曲部１２０ａと第２の湾曲部１２０ｂとの距離を、耳介Ｅの上端から耳垂Ｅ１の下端までの距離に狭めることで、耳介装着具１００を安定して耳介Ｅに装着させることができる。また、第１の湾曲部１２０ａの湾曲形状を耳介Ｅ上部に掛けるような形状とし、第２の湾曲部１２０ｂの湾曲形状をユーザの耳介Ｅを軽く挟むような形状に変形させてもよい。この際、第１の湾曲部１２０ａおよび第２の湾曲部１２０ｂは、これらの湾曲形状を維持することができる。

このように、耳介装着具１００は、ユーザの耳介Ｅ周囲に圧力を加えることなく、その装着状態を維持させることができる。また、第１の湾曲部１２０ａがユーザの耳介Ｅ上部に掛かり、さらに第２の湾曲部１２０ｂが耳垂Ｅ１を挟み込んで装着されるため、耳介装着具１００に対する外力の方向が一定でない場合にも耳介Ｅからの脱落を抑制でき、安定した体温計測が可能である。さらに、耳介装着具１００を軽量に構成することができるため、長時間の装着でもユーザの負担を軽減することができる。したがって、本実施形態に係る耳介装着具１００は、例えば、活動時や、就寝中の体温計測など、長時間かつ多方向からの外力が負荷され得る条件での体温計測にも用いることができる。

＜２．耳介装着具による体温測定＞
本実施形態に係る耳介装着具１００は、外耳道１２内部に温度センサ部１１０を挿入して鼓膜１４と対向させることで、鼓膜１４の位置や鼓膜１４を含む外耳道１２内部の温度を鼓膜情報として取得する。そして、温度センサ部１１０により取得された鼓膜情報に基づいて、情報処理部１３０により鼓膜温度が算出される。以下、図６〜図２１に基づいて、本実施形態に係る耳介装着具１００による体温測定方法を説明する。

［２−１．情報処理部の構成］
まず、図６に基づいて、本実施形態に係る情報処理部１３０の構成について説明する。なお、図６は、本実施形態に係る情報処理部１３０の構成を示すブロック図である。情報処理部１３０は、図６に示すように、増幅器１３１と、フィルタ１３２と、Ａ／Ｄ変換部１３３と、解析部１３４と、記憶部１３５と、通信部１３６とを有する。

増幅器１３１は、温度センサ部１１０から送信された電気信号を増幅し、フィルタ１３２へ出力する。フィルタ１３２は、増幅された電気信号から所定帯域のノイズを除去して補正し、Ａ／Ｄ変換部１３３へ出力する。Ａ／Ｄ変換部１３３は、電気信号をアナログ信号からデジタル信号に変換し、解析部１３４へ出力する。解析部１３４は、デジタル信号を解析して測定温度を決定する処理部であり、集積回路により構成することができる。解析部１３４により決定された測定温度は、記憶部１３５または通信部１３６のうち少なくともいずれか一方に送信される。

通信部１３６は、解析部１３４により決定された測定温度をコンピュータ等の外部機器（図示せず。）へ出力する。通信部１３６の通信形態は無線通信であってもよく有線通信であってもよい。無線通信で行う場合は、例えばユーザが耳介装着具１００を装着しながら体温の測定結果をコンピュータ等に送信することが可能である。また、有線通信で行う場合は、例えば測定した結果を記憶部１３５に記憶させておき、測定の終了後、耳介から外された耳介装着具１００とコンピュータ等とをケーブル等で接続し、記憶部１３５に記憶された測定結果をコンピュータ等に送信することが可能である。具体的には、ＵＳＢや無線ＬＡＮ、ＺｉｇＢｅｅ（登録商標）、ｂｌｕｅｔｏｏｔｈ（登録商標）等である。

このように耳介装着具１００によってユーザの鼓膜温度が計測される。また、耳介装着具１００は、長時間の装着においてもユーザの耳介Ｅを圧迫することなくその装着状態を維持できることから、例えば耳介装着具１００を長時間装着しながら一定間隔で体温を計測し、体温の日内変動の解析等を行うことが可能となる。

なお、耳介装着具１００に、通信部１３６と接続された表示部（図示せず。）を耳介装着具１００にさらに設け、得られた測定温度を表示させることもできる。さらに、耳介装着具１００は、情報処理部１３０に電力を供給する電池等を備えていてもよい。表示部や電池等を耳介装着具１００に設ける際、これらが配置される場所については特に限定されない。例えば、電池および表示部を情報処理部１３０とともに本体部１２０の他端に接続させてもよく、表示部および電池を第１の湾曲部１２０ａと第２の湾曲部１２０ｂとの間に設けてもよい。

［２−２．鼓膜認識処理］
次に、温度センサ部１１０の構成を説明する。耳介装着具１００によってユーザの鼓膜温度を長時間正確に測定し続けるには、耳介装着具１００の温度センサ部１１０が正しく鼓膜１４の方に向いている必要がある。外耳道１２と鼓膜１４との間には僅かな温度差がある。通常鼓膜１４の温度の方が高く、温度センサ部１１０により測定された温度のピークを鼓膜１４の温度としている。そこで、本実施形態に係る耳介装着具１００は、温度センサ部１１０が正しく鼓膜１４と対向していることを認識する鼓膜認識処理を行い、鼓膜温度を測定する。これにより、従来よりも高精度に鼓膜温度を測定することが可能となる。

以下、本実施形態に係る耳介装着具１００に備えられる、鼓膜認識処理を行い、鼓膜温度を測定する、鼓膜温度処理装置（情報処理装置）について説明する。鼓膜温度処理装置は、温度センサ部１１０により取得された鼓膜の画像情報から鼓膜１４の位置および鼓膜を含む耳道内の温度を認識し、これらの情報に基づいて鼓膜の温度を算出する。なお、鼓膜温度処理装置は、耳介装着具１００に設けられる情報処理装置であり、上述した耳介装着具１００の温度センサ部１１０、配線１２６および情報処理部１３０により構成することができる。また、以下に示す鼓膜温度処理装置は耳介装着具１００にすべて設けられているものとして説明するが、本技術はかかる例に限定されず、一部の機能を耳介装着具１００と通信可能な外部機器に設けることもできる。

鼓膜温度処理装置が解析する鼓膜の画像情報としては、例えば、撮像画像や熱画像などがある。そこで、以下では、鼓膜認識処理を、撮像画像を用いて行う場合と熱画像を用いて行う場合とについて、それぞれ説明する。

（１）撮像画像を用いた鼓膜認識処理を行う鼓膜温度処理装置
（１−Ａ）鼓膜温度処理装置の構成
まず、図７に基づいて、撮像画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を説明する、なお、図７は、撮像画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を示すブロック図である。

耳介装着具１００に設けられる、撮像画像を用いて鼓膜認識処理を行う鼓膜温度処理装置は、図７に示すように、まず、温度センサ部１１０に、発光部２１２、画像撮像部２１４、および温度測定部２１６を備える。発光部２１２は、情報処置部１３０からの指示に基づき発光する発光素子である。発光部２１２としては、例えばＬＥＤ等を用いることができる。画像撮像部２１４は、鼓膜１４を含む画像情報を撮像する撮像素子であって、例えばＣＭＯＳイメージセンサ等を用いることができる。画像撮像部２１４は、情報処理部１３０からの指示に基づき撮像し、取得した画像を情報処理部１３０へ出力する。温度測定部２１６は、鼓膜１４を含む耳介内１２の温度を測定する測定部であり、例えば熱起電力を利用したサーモパイルや電気抵抗の温度変化を利用したサーミスタ等の熱型赤外線センサを用いることができる。温度測定部２１６により測定された温度情報は、情報処理部１３０へ出力される。

ここで、温度センサ部１１０の具体的構成例について、図８〜図１０に基づき説明する。温度センサ部１１０は、例えば図８に示すように、発光部２１２としてその先端にＬＥＤ１１１が設けられている。ＬＥＤ１１１は、鼓膜１４に対して光を出射するように配置されており、情報処理部１３０の指示に基づき発光する。また、画像撮像部２１４として、レンズ１１２およびＣＭＯＳイメージセンサ１１３が設けられている。ＬＥＤ１１１の発光により外耳道１２や鼓膜１４で反射した光は、レンズ１１２を介してＣＭＯＳイメージセンサ１１３に結像され、情報処理部１３０へ出力される。さらに、温度測定部２１６として、対象物から放出される赤外線を受光して温度差を測定する赤外線センサ１１４ａと、測定器の絶対的な温度を測定する基準温度センサ１１４ｂとからなる放射温度計１１４が設けられている。赤外線センサ１１４ａとしては例えばサーモパイル等を用いることができ、基準温度センサ１１４ｂとしては例えばサーミスタ等を用いることができる。放射温度計１１４により検出された赤外領域の光は電気信号に変換されて情報処理部１３０へ出力される。

温度センサ部１１０の他の構成例として、例えば図９に示すように、図８に示す温度センサ部１１０に、温度測定部２１６である放射温度計１１４に赤外領域の光を結像させるレンズ１１２ｂを設けてもよい。これにより、温度測定部２１６は赤外領域の光をより確実に受光することができる。

温度センサ部１１０のさらに他の構成例として、例えば図１０に示すように、ＣＭＯＳイメージセンサと赤外線センサとを一体に形成した一体型イメージ赤外線センサ１１６および基準温度センサ１１４ｂを用いて、画像撮像部２１４および温度測定部２１６を構成してもよい。これにより、温度センサ部１１０を構成する部品数を削減することができる。

図７の説明に戻り、一方、情報処理部１３０には、鼓膜認識部２２１と、発光制御部２２２と、温度処理部２２３と、温度・鼓膜状況記憶部２２４と、通知部２２５とを備える。鼓膜認識部２２１は、温度センサ部１１０の先端が鼓膜１４と対向しているか否かを判断し、判断結果に基づいて各機能部を制御する。鼓膜認識部２２１は、鼓膜１４を含む画像情報を取得し、鼓膜１４の位置を認識する。温度センサ部１１０が外耳道１２に挿入されたとき、鼓膜認識部２２１は、ユーザからの温度測定指示の入力に基づき、発光制御部２２２に対して発光部２１２を発光させるよう指示する。また、鼓膜認識部２２１は、発光部２１２の発光に応じて画像撮像部２１４が撮像した画像を画像情報として取得し、鼓膜１４の位置を解析する。画像情報が正しく取得されると、鼓膜認識部２２１は、発光制御部２２２に対して発光部２１２を消灯させるよう指示する。

鼓膜認識部２２１は、さらに、取得した画像情報の画像認識処理を行い、画像中において鼓膜１４が占める割合（鼓膜占有率）を算出する。そして、鼓膜認識部２２１は、算出した鼓膜占有率を、温度処理部２２３および、温度・鼓膜状況記録部２２４または通知部２２５のうち少なくともいずれか一方へ出力する。

発光制御部２２２は、発光部２１２の発光制御を行う。発光制御部２２２は、鼓膜認識部２２１からの発光指示に基づき発光部２１２を発光させ、消灯指示に基づき発光部２１２を消灯させる。

温度処理部２２３は、温度測定部２１６による測定温度および鼓膜認識部２２１の認識結果に基づいて、鼓膜１４の鼓膜温度を決定する。温度処理部２２３は、鼓膜認識部２２１の算出した鼓膜占有率が所定値以上である場合、温度センサ部１１０が鼓膜１４と対向していると判断し、温度測定部２１６の測定温度が信頼性のあるものであると判断する。このとき、温度処理部２２３は、測定温度を鼓膜温度として決定し、当該鼓膜温度を温度・鼓膜状況記録部２２４または通知部２２５のうち少なくともいずれか一方へ出力する。

温度・鼓膜状況記録部２２４は、鼓膜認識部２２１により検出された鼓膜判断結果および温度測定部２１６により測定された鼓膜温度を記憶部（図示せず。）に記録する記憶部である。記憶部は、鼓膜認識処理装置に設けられるメモリ等であってもよく、鼓膜認識処理装置から着脱可能なメモリカード等であってもよい。温度・鼓膜状況記録部２２４により記録される鼓膜判断結果および鼓膜温度は、例えば温度測定結果の有効無効の判断に利用される。

通知部２２５は、鼓膜認識部２２１の検出結果に基づいて、鼓膜１４に対する温度測定部である温度センサ部１１０の位置状況、すなわち、温度センサ部１１０の先端が鼓膜１４と対向しているか否かをユーザに通知する。通知部２２５は、例えば温度センサ部１１０の先端が鼓膜１４と対向していないときに音声等により通知するようにしてもよく、温度センサ部１１０の先端が鼓膜１４と対向しているときに音声等により通知するようにしてもよい。あるいは、温度センサ部１１０の先端が鼓膜１４と対向している場合と対向していない場合とで異なる音声を出力することにより、温度センサ部１１０が鼓膜１４と対向しているか否かを通知してもよい。また、通知部２２５は、温度処理部２２３により決定された鼓膜温度をユーザに通知する。

（１−Ｂ）鼓膜温度処理装置による温度測定処理
図７に示す鼓膜温度処理装置による温度測定処理を、図１１に基づき説明する。なお、図１１は、本実施形態に係る鼓膜温度処理装置による温度測定処理を示すフローチャートである。

鼓膜温度処理装置による温度測定処理は、図１１に示すように、測定時刻になった際に開始される（Ｓ１００）。測定時刻は、例えば１秒毎、１分毎、あるいはユーザにより設定された指定時間等のように、任意に設定することができる。鼓膜認識部２２１は、測定時刻に到達していない場合にはステップＳ１００の処理を繰り返し実行し、測定時刻に到達した場合には測定時刻を取得した後（Ｓ１０１）、まず、温度測定部２１６により外耳道１２内の温度が測定される（Ｓ１０２）。ステップＳ１０２による測定温度は鼓膜１４の温度（鼓膜温度）とされるが、本実施形態では、以下の鼓膜認識処理を行い、温度センサ部１１０が鼓膜１４と正しく対向しているとき測定温度を鼓膜温度として決定する。これにより、正確に鼓膜温度を測定することができる。

次いで、鼓膜認識処理を行うため、鼓膜認識部２２１は、発光制御部２２２に対して発光部２１２を発光させる発光指示を行う。発光制御部２２２は、発光指示を受けて、発光部２１２を発光させる（Ｓ１０３）。発光部２１２が発光すると、画像撮像部２１４は、鼓膜１４の画像を取得し（Ｓ１０４）、鼓膜認識部２２１へ出力する。鼓膜認識部２２１は、鼓膜１４の画像の入力を受けると、発光制御部２２２に対して発光部２１２を消灯させる消灯指示を行い、発光部２１２を消灯させる（Ｓ１０５）。発光部２１２を発光させたままとすると外耳道１２内の温度が上昇する可能性があり、正確に鼓膜温度を測定できない恐れもあるため、測定時以外は発光部２１２を消灯させてもよい。

ステップＳ１０３〜Ｓ１０５の処理により鼓膜１４の撮像画像が取得されると、鼓膜認識部２２１は、当該画像に基づいて鼓膜認識処理を行う（Ｓ１０６）。鼓膜認識処理では、鼓膜１４を撮像した画像から光錐を認識することにより、鼓膜１４の位置を特定する。図１２に、鼓膜１４の撮像画像の一例を示す。鼓膜１４を撮影すると、特徴的に見えるものとしてツチ骨１４ａ、光錐１４ｂがある。ツチ骨１４ａは鼓膜１４の内側に密着している骨で、鼓膜１４を見たときに同時に見える。光錐１４ｂは耳の中で発光部２１２が出射した光が鼓膜１４上で反射してみえるものである。鼓膜認識部２２１は、このような特徴を認識して、撮像画像内の鼓膜の位置を特定する。

鼓膜認識処理に用いられる画像認識のアルゴリズムとしては、例えば、ピクセル差分特徴をブースティングで学習する手法（特許文献５）がある。さらに、フィルタベースではガボワフィルタを用いた手法（特許文献６）や、Ｈａａｒ−ｌｉｋｅフィーチャーを用いた手法等も鼓膜認識処理に適用可能である。

これらの手法では、鼓膜画像や鼓膜の一部（例えば半分）だけが写った画像、外耳道だけが写った画像等を大量に収集し、これらの画像１枚１枚について予め鼓膜温度処理装置の設計者が鼓膜１４である部分と鼓膜１４でない部分を切り分けてラベリングする。ラベリングは以下の手順で行われる。

手順１：画像を集める
まず、外耳道内の撮像画像を収集する。この際、放射温度計１１４に使用しているレンズと同等の画角のレンズで撮影することが望ましい。鼓膜１４が正面にはっきり写っているものや、斜めに写っているもの、全く写っていないもの等、様々な画像を撮像して収集する。
手順２：鼓膜領域の決定（ラベリング）
手順１で収集された画像について、鼓膜１４の領域（鼓膜領域）が写っているか、写っていないかを人により判断する。画像中に鼓膜領域が写っている場合には、人により鼓膜領域を矩形で囲み、さらにツチ骨１４ａが見える場合にはツチ骨１４ａの角度を測定する。あるいは、ツチ骨１４ａに沿って直線を引いてもよい。機械学習の教師データとして、画像内の鼓膜領域とツチ骨１４ａの角度が重要な情報となるためである。

ラベリングの際、鼓膜１４が写っている画像については、ツチ骨１４ａの向きが一定方向に揃うように（例えば図１２に示すように縦方向となるように）画像を回転して正規化しておく。これにより特徴量が出やすくなり、強い認識器を作成することができる。

ここで、ステップＳ１０６の鼓膜認識処理の一例を、図１３に基づき詳細に説明する。図１３は、鼓膜認識処理の一例を示すフローチャートであって、特許文献７に開示された対象物検出処理を適用したものである。対象物が鼓膜１４となる。この場合、鼓膜認識部２２１は、入力画像である濃淡画像を拡大又は縮小してスケーリングを行うスケーリング部と、スケーリングされた入力画像を所定サイズのウィンドウ画像の大きさで順次スキャンする走査部と、して機能する。さらに鼓膜認識部２２１は、走査部にて順次スキャンされた各ウィンドウ画像が対象物か非対象物かを判別する判別器として機能する。すなわち、鼓膜認識部２２１は、入力画像を指定された全てのスケールに拡大又は縮小しスケーリング画像を生成し、各スケーリング画像について、検出したい対象物の大きさとなるウィンドウを順次スキャンしてウィンドウ画像を切り出し、対象物か否かを判別する。

詳細に説明すると、まず、鼓膜認識部２２１は、画像撮像部２１４により撮像された画像を一定の割合で縮小スケーリングする（Ｓ２００）。鼓膜認識部２２１で処理される画像は濃淡画像である。スケーリング画像を生成するタイミングは、前に出力したスケーリング画像全領域の鼓膜検出が終了した時点とし、スケーリング画像がウィンドウ画像より小さくなった時点で次のフレームの入力画像の処理に移る。スケーリング画像を生成すると、鼓膜認識部２２１は、スケーリングされた画像に対し、探索ウィンドウの位置を縦横に走査してウィンドウ画像を切り出す（Ｓ２０１）。

次いで、鼓膜認識部２２１は、ステップＳ２０１で切り出されたウィンドウ画像が対象物であるか、すなわち鼓膜１４であるか否かを判定する。鼓膜認識部２２１は、ウィンドウ画像に対して複数の弱判別器の推定値ｆ（ｘ）を逐次重み付き加算した値（重み付き多数決の値の更新値）を評価値ｓとして算出する。そして、この評価値ｓに基づきウィンドウ画像が対象物か否か、及び判別を打ち切るか否かを判定する。

すなわち、鼓膜認識部２２１は、ウィンドウ画像を入力されるとその評価値ｓ＝０に初期化し、ピクセル間差分特徴ｄ_ｔを算出する（Ｓ２０２）。ピクセル間差分特徴ｄ_ｔは、任意の２つの画素の輝度値（Ｉ_１、Ｉ_２）の差であり、下記数式（１）で表される。なお、画素の輝度値Ｉは下記数式（２）で表される。（ｘ，ｙ）は画像を構成する画素の位置を表す。

鼓膜認識部２２１は、さらに、対象物である否かの推定値をウィンドウ画像が対象物か否かを判定するための評価値ｓに反映させる（Ｓ２０３）。そして、鼓膜認識部２２１は、評価値ｓが判別工程において検出を途中で打ち切るための打ち切り閾値Ｒ_ｔより大きいか否かを判定する（Ｓ２０４）。評価値ｓが打ち切り閾値Ｒ_ｔより大きい場合は、鼓膜認識部２２１は、所定回数（Ｋ回）繰り返したか否かを判定し（Ｓ２０５）、繰り返していない場合はステップＳ２０２からの処理を繰り返す。

一方、ステップＳ２０５にて所定回数（Ｋ回）繰り返していると判定した場合、またはステップＳ２０４にて評価値ｓが打ち切り閾値Ｒ_ｔより小さいと判定した場合は、鼓膜認識部２２１は、次の探索ウィンドウがあるか否かを判断する（Ｓ２０６）。鼓膜認識部２２１は、取得した評価値ｓが０より大きいか否かに応じて対象物であるか否かを判定する。そして、対象物である場合は、鼓膜認識部２２１は、現在のウィンドウ位置を記憶し、次の探索ウィンドウがあるか否かを判別し、次の探索ウィンドウがある場合はステップＳ２０１からの処理を繰り返す。一方、次の全ての領域について探索ウィンドウを走査した場合は、鼓膜認識部２２１は、次のスケーリング画像があるか否かを判定する（Ｓ２０７）。

ステップＳ２０７にて次のスケーリング画像があると判定した場合、鼓膜認識部２２１は、ステップＳ２００からの処理を繰り返す。なお、ステップＳ２００のスケーリング処理は、ウィンドウ画像よりスケーリング画像が小さくなった時点で終了する。一方、ステップＳ２０７にて次のスケーリング画像がないと判定した場合、鼓膜認識部２２１は、重なり領域の削除処理を実行する（Ｓ２０８〜Ｓ２１０）。重なり領域の削除処理は、１枚の入力画像において、対象物体であると判定された領域が重複している場合に、互いに重なっている領域を取り除く処理である。

まず、鼓膜認識部２２１は、互いに重複する領域が在るか否かを判定する（Ｓ２０８）。そして、ステップＳ２０５にて記憶した領域が複数あり、かつ重複している場合は、鼓膜認識部２２１は、互いに重複する２つの領域を抽出し、２つの領域のうち評価値ｓが小さい領域は信頼度が低いとみなし削除し、評価値ｓの大きい領域を選択する（Ｓ２１０）。そして、再びステップＳ２０８からの処理を繰り返す。これにより、複数回重複して抽出されている領域のうち、最も評価値ｓが高い領域１枚のみが選択される。なお、２以上の対象物領域が重複しない場合及び対象物領域が存在しない場合は１枚の入力画像についての処理を終了し、次のフレーム処理に移る。

このような鼓膜認識処理によれば、ピクセル間差分特徴により弱判別する弱判別器を集団学習により学習した判別器を使用して対象物を検出する。このため、ウィンドウ画像において、対応する２つの画素の輝度値を読出し、その差を算出するだけで対象物の特徴量の算出工程が終了し、極めて高速に鼓膜認識処理することができるため、リアルタイムな鼓膜認識が可能である。

また、鼓膜認識部２２１は、その特徴量から判別した判別結果（推定値）と判別に使用した弱判別器に対する信頼度とを乗算した値を加算して評価値ｓを逐次更新する毎に打ち切り閾値Ｒ_ｔと比較し、弱判別器の推定値の演算を続けるか否かを判定する。このとき、評価値ｓが打ち切り閾値Ｒ_ｔを下回った場合に弱判別器の演算を打ち切り、次のウィンドウ画像の処理に移ることにより、無駄な演算を飛躍的に低減して更に高速に鼓膜認識が可能となる。

すなわち、入力画像及びそれを縮小スケーリングしたまたスケーリング画像の全ての領域を走査してウィンドウ画像を切り出した場合、それらのウィンドウ画像のうち対象物である確率は小さく、ほとんどが非対象物である。この非対象物であるウィンドウ画像の判別を途中で打ち切ることで、判別工程を極めて高効率化することができる。なお、逆に検出すべき対象物が多数含まれるような場合、上述した打ち切り閾値と同様の手法にて、対象物であると明らかなウィンドウ画像の演算を途中で打ち切るような閾値も設けてもよい。さらに、入力画像をスケーリング部にてスケーリングすることで、任意の大きさの探索ウィンドウを設定し、任意の大きさの対象物を検出することができる。

また、鼓膜認識処理を行う際には、撮像画像を一定角度（例えば約１５°）ずつ回転させて、鼓膜認識部２２１により判断することで、温度センサ部１１０の挿入の向きによらない認識結果を得ることができる。回転だけでなく、鼓膜サイズの大小に対応するために画像を拡大あるいは縮小させるスケーリングを行い、鼓膜認識部２２１により判断することで、サイズが多様な鼓膜に対してより高精度に認識を行えるようになる。

また、回転不変な特徴量であるＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ ＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴量を用いた処理方法や画像の輝度勾配を求め、角度毎に離散化したヒストグラムを局所領域毎に作成する処理方法等を用いることで、予め回転やスケーリングさせることなく認識処理が可能となる。

鼓膜認識処理により鼓膜１４の位置情報を取得すると、鼓膜認識部２２１は、撮像画像における鼓膜１４が写っている部分の割合である鼓膜占有率を算出する。鼓膜占有率より、温度センサ部１１０が鼓膜１４とほぼまっすぐに対向して温度測定を正しく行えているかを判断することができる。鼓膜認識部２２１は、算出した鼓膜占有率を温度処理部２２３へ出力する。温度処理部２２３は、鼓膜占有率が所定値以上であるとき温度測定部２１６の測定温度を鼓膜温度として決定する。

また、鼓膜認識部２２１は、鼓膜占有率に基づいて、温度センサ部１１０が鼓膜１４と対向した状態であるか否かを判断し、これらが対向していない場合には温度センサ部１１０の向きをユーザに調整させるようにする。このため、鼓膜認識部２２１は、鼓膜１４の位置を継続して認識する。鼓膜１４の位置の認識は、上述のように鼓膜認識処理を実行して行ってもよく、一度認識した鼓膜１４の位置をトラッキングすることで行ってもよい。鼓膜認識処理は一般に処理に時間を要するため、処理が完了するまでは鼓膜１４を見失っている状態となっている。トラッキングは鼓膜認識処理よりも処理負荷が低いので、鼓膜１４の位置を高速に特定することが可能であり、消費電力を低減することもできる。

鼓膜１４のトラッキングについて、図１４〜図１６に基づきより具体的に説明する。トラッキングは、鼓膜認識処理により鼓膜１４の位置が特定されると実行され、鼓膜１４を見失うまで継続して行われる。図１４は、鼓膜占有率を説明する説明図であり、温度センサ部１１０が外耳道１２内に挿入され、鼓膜１４と対向した状態を示している。このとき、温度センサ部１１０のレンズ１１２の画角をα、放射温度計１１４の温度測定可能角度をβ（＜α）とする。レンズ１１２の画角に応じてＣＭＯＳイメージセンサ１１３により撮像される画像（外耳道内撮像画像）のサイズが決まる。一方、放射温度計１１４の温度測定可能範囲は、温度測定可能角度βにより決まる。

鼓膜占有率Ｏ_Ｒは、温度測定可能面積Ｓ_ｔｅｍｐに対する温度測定可能範囲内の鼓膜面積Ｓ_ｅａｒｄで表される（Ｏ_Ｒ＝Ｓ_ｅａｒｄ／Ｓ_ｔｅｍｐ）。したがって、温度測定可能範囲内に含まれる鼓膜面積Ｓ_ｅａｒｄが小さいほど、鼓膜占有率Ｏ_Ｒは小さくなる。例えば図１５に示すように、外耳道１２内における温度センサ部１１０が鼓膜１４と十分に対向していないと、放射温度計１１４の温度測定可能範囲内には鼓膜１４の一部しか含まれない。また、図１６に示すように、外耳道１２へ挿入された温度センサ部１１０の向きが鼓膜１４に向かう方向と異なる場合には、放射温度計１１４の温度測定可能範囲内に鼓膜１４が含まれないことも考えられる。鼓膜占有率Ｏ_Ｒが所定値より小さくなると、放射温度計１１４の測定温度は実際の鼓膜温度からかけ離れてしまい、正しい鼓膜温度を測定できない。

そこで、鼓膜認識部２２１は、鼓膜認識処理により鼓膜１４の位置が特定されると鼓膜１４をトラッキングするため、鼓膜認識結果に基づき、検出された鼓膜１４の輝度勾配等の特徴量を抽出する。そして、鼓膜認識部２２１は、抽出した特徴量を元にその近傍のみを探索して鼓膜１４をトラッキングする。トラッキングにより温度測定可能範囲に対する鼓膜１４の位置を特定すると、鼓膜認識部２２１は、鼓膜１４が放射温度計１１４の温度測定可能範囲内に入るようになる温度センサ部１１０の正しい向きを算出する。そして、鼓膜認識部２２１は、算出した温度センサ部１１０の正しい向きを通知部２２５へ出力する。

なお、トラッキング中に鼓膜１４を見失うと、鼓膜認識部２２１は、再度鼓膜認識処理を実行する。あるいは、鼓膜認識部２２１は、鼓膜１４を見失っていなくとも、トラッキングを開始してから所定時間経過後に鼓膜認識処理を実行して鼓膜１４の位置をリセットしてもよい。トラッキングは鼓膜認識処理よりも簡単な情報を用いて処理を行っているため、精度の観点からはトラッキングより鼓膜認識処理の方が優れている。このため、鼓膜１４の位置を正しく認識するため、トラッキング中も定期的に鼓膜認識処理により鼓膜１４の位置を認識するのがよい。

図１１の説明に戻り、ステップＳ１０６にて鼓膜１４が認識されると、鼓膜認識部２２１は、鼓膜１４の認識結果を温度・鼓膜状況記録部２２４に記録する（Ｓ１０７）。温度・鼓膜状況記録部２２４には、ステップＳ１０１にて取得された測定時刻およびステップＳ１０２にて測定された鼓膜温度も記録される。その後、鼓膜認識部２２１は、通知部２２５を介して鼓膜認識結果をユーザに通知する（Ｓ１０８）。そして、鼓膜認識部２２１は温度測定処理の終了指示があるか否かを確認し、終了指示がなければステップＳ１００から処理を繰り返し実行し、終了指示があれば図１１に示す処理を終了する（Ｓ１０９）。

このように、本実施形態に係る鼓膜温度処理装置では、鼓膜１４の位置を認識する鼓膜認識処理を行い、鼓膜１４の鼓膜温度を測定する。鼓膜１４の画像情報から鼓膜１４を画像認識して温度測定することで、確実に鼓膜温度を測定することができる。また、ユーザに鼓膜１４に対する温度センサ部１１０の位置状況を通知し、ずれがあるときには温度センサ部１１０が正しく鼓膜１４を向くように調整する指示を通知する。このように鼓膜温度が正しく測定できない状況を認識してユーザに機器の装着状態を調整させることで、正しく測温することが可能となる。

さらに、測定時刻を鼓膜温度および画像情報とともに温度・鼓膜状況記録部２２４に出力して記憶媒体に記憶させることで、鼓膜温度の時間変化を履歴管理することが可能となる。したがって、例えば耳介装着具１００を長時間装着して一定間隔で鼓膜温度を測定することで、体温の日内変動の解析等を行うことが可能となる。

（１−Ｃ）測定温度の補正
図７に示す鼓膜温度処理装置は、鼓膜認識処理により認識された鼓膜１４の画像中の占有率（鼓膜占有率）と温度測定部２１６による測定温度とに基づき、鼓膜温度を算出した。ここで、鼓膜温度処理装置は、鼓膜１４が写っている面積の大きさに応じて算出した鼓膜温度を補正する補正部をさらに備えてもよい。このような補正部を備えることにより、より高精度に鼓膜温度を算出することができる。上述のトラッキングは、放射温度計１１４の温度測定可能範囲と鼓膜１４との範囲とがどの程度離れているかを認識するためにも行われる。補正部は、温度測定可能範囲と鼓膜１４の範囲との離隔程度によって測定温度をどの程度補正する必要があるかを決定している。

鼓膜温度を補正する補正部を備える鼓膜温度処理装置の構成例を図１７に示す。図１７に示す鼓膜温度処理装置は、図７の鼓膜温度処理装置と比較して補正部を備える点で相違している。なお、他の機能部の構成および機能は同一であるため、ここではこれらの説明は省略する。

補正部２２６は、撮像画像における鼓膜が写っている面積の割合である鼓膜占有率に基づいて鼓膜温度を補正する。補正部２２６は、鼓膜認識部２２１の鼓膜認識処理の認識結果、温度処理部２２３により決定された鼓膜温度、および温度測定部２１６による測定温度に基づき、撮像画像中に対する鼓膜占有率に応じて温度を補正し、鼓膜温度を決定する。鼓膜占有率と鼓膜温度との間には相関関係があり、補正部２２６はこの相関関係に基づき測定温度を補正することができる。鼓膜占有率と鼓膜温度との相関関係の一例を図１８に示す。図１８のグラフは、横軸に鼓膜占有率［％］を、縦軸に鼓膜温度［℃］をとり、その関係性を示したものである。鼓膜占有率が高くなるほど、鼓膜温度も高くなることがわかる。

鼓膜占有率と鼓膜温度との相関関係は、鼓膜温度の測定対象者毎に、鼓膜温度の測定中に作成してもよい。鼓膜認識処理の結果およびトラッキングによって、鼓膜１４の位置および鼓膜占有率とともに鼓膜温度も測定されている。そこで、最初に鼓膜占有率が高い位置を探索している間に図１８に示すような鼓膜占有率‐鼓膜温度の相関関係を測定し、鼓膜温度の測定対象者固有の鼓膜占有率‐鼓膜温度の相関関係の相関関係を作成することで、精度よく温度補正を行うことができる。なお、同一測定対象者であっても鼓膜占有率‐鼓膜温度の相関関係は変化する可能性があるため、当該相関関係は鼓膜温度の測定時毎に作成し、適宜更新するのが望ましい。

図１８に示すような鼓膜占有率‐鼓膜温度の相関関係が得られると、鼓膜認識部２２１は、例えば鼓膜認識処理あるいはトラッキングにより鼓膜占有率を算出する。補正部２２６は、鼓膜占有率‐鼓膜温度の相関関係を参照して、算出された鼓膜占有率における測定温度と鼓膜占有率が最大のときの温度との温度差を算出する。例えば、図１８では、鼓膜占有率が最大のときの温度が３７℃であり、鼓膜占有率が２０％となると測定温度は３７℃より０．４℃低くなっている。すなわち、鼓膜占有率が小さくなるほど、測定温度は実際の鼓膜温度よりも低くなっている。そして、補正部２２６は、測定温度を算出された鼓膜占有率に基づき補正する。例えば、鼓膜占有率が２０％、測定温度が３６．４℃であるとき、補正部２２６は、測定温度が実際の鼓膜温度より低くなっている分（この場合、０．４℃）だけ測定温度３６．４℃に加算し、加算後の温度３６．８℃を鼓膜温度とする。

補正部２２６は、測定温度を相関関係に基づき補正して鼓膜温度を算出した後、当該鼓膜温度および鼓膜認識部２２１による鼓膜認識結果を温度・鼓膜状況記録部２２４へ出力する。また、補正後の鼓膜温度は通知部２２５へも出力され、ユーザに通知される。このように、補正部２２６を設けて測定温度を補正することで、より正確な鼓膜温度を取得することができる。

以上、撮像画像を用いた鼓膜認識処理を行う鼓膜温度処理装置の構成と、これによる鼓膜１４の温度測定処理について説明した。

（２）熱画像を用いた鼓膜認識処理を行う鼓膜温度処理装置
（２−Ａ）鼓膜温度処理装置の構成
まず、図１９に基づいて、熱画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を説明する、なお、図１９は、熱画像を用いて鼓膜認識処理を行う鼓膜温度処理装置の構成を示すブロック図である。

耳介装着具１００に設けられる鼓膜温度処理装置は、図１９に示すように、まず、温度センサ部１１０に熱画像撮像部２１８を備える。熱画像撮像部２１８は、画像情報として鼓膜１４を含む熱画像を取得する検出部であって、例えばボロメータ、サーモパイル等の検出素子により構成することができる。熱画像は、対象物の温度分布を画像として視覚的に表示したものであるため、鼓膜の位置と測定温度とを同時に取得することができる。熱画像撮像部２１８は、取得した熱画像を情報処理部１３０へ出力する。

ここで、温度センサ部１１０の一具体的構成例を、図２０に示す。温度センサ部１１０は、例えば図２０に示すように、熱画像撮像部２１８として、レンズ１１２ｄおよび熱画像イメージセンサ１１７が設けられている。熱画像イメージセンサ１１７は画像取得機能を有する画像取得部および温度測定機能を有する温度測定部を１つの機器で実現するものである。人体から放出される赤外領域の光は、レンズ１１２ｄを介して熱画像イメージセンサ１１７に結像され、電気信号に変換されて情報処理部１３０へ出力される。

図１９の説明に戻り、一方、情報処理部１３０には、鼓膜認識部２２１ａと、温度処理部２２３ａと、温度・鼓膜状況記憶部２２４と、通知部２２５と、を備える。なお、温度・鼓膜状況記憶部２２４および通知部２２５については、図７に示す撮像画像を用いる場合の鼓膜温度処理装置と同一の構成、機能であるため、ここでは説明を省略する。

鼓膜認識部２２１ａは、温度センサ部１１０の先端が鼓膜１４と対向しているか否かを判断し、判断結果に基づいて各機能部を制御する。鼓膜認識部２２１ａは、鼓膜１４を含む画像情報として熱画像を熱画像撮像部２１８から取得し、鼓膜１４の位置を認識する。鼓膜認識処理は、上述した撮像画像の場合の鼓膜認識処理と同様に行うことができる。かかる処理の説明は後述する。鼓膜認識部２２１ａは、取得した熱画像に対して画像認識処理を行い、画像中において鼓膜１４が占める割合（鼓膜占有率）を算出する。そして、鼓膜認識部２２１ａは、算出した鼓膜占有率を、通知部２２５または温度・鼓膜状況記録部２２４のうち少なくともいずれか一方へ出力する。

温度処理部２２３ａは、熱画像に基づいて鼓膜温度を算出する。後述するように、熱画像の場合、温度測定可能範囲は撮像画像に対応する。温度処理部２２３ａは、鼓膜認識処理の結果より、熱画像に対する鼓膜１４の領域を算出し、当該鼓膜領域内の平均温度を鼓膜温度として温度・鼓膜状況記録部２２４へ出力する。

（２−Ｂ）鼓膜温度処理装置による温度測定処理
図１９に示す鼓膜温度処理装置による温度測定処理を、図２１に基づき説明する。なお、図２１は、熱画像を用いる鼓膜温度処理装置による温度測定処理を示すフローチャートである。なお、図１１に基づき説明した、撮像画像を用いる鼓膜温度処理装置による温度測定処理と同一の処理については、詳細な説明を省略する。

熱画像を用いる鼓膜温度処理装置による温度測定処理は、図２１に示すように、測定時刻になった際に開始される（Ｓ１１０）。測定時刻は、例えば１秒毎、１分毎、あるいはユーザにより設定された指定時間等のように、任意に設定することができる。鼓膜認識部２２１ａは、測定時刻に到達していない場合にはステップＳ１１０の処理を繰り返し実行し、測定時刻に到達した場合には測定時刻を取得した後（Ｓ１１１）、熱画像撮像部２１８により熱画像の取得を行う（Ｓ１１２）。熱画像撮像部２１８は、熱画像を取得すると、情報処理部１３０へ熱画像を出力する。

熱画像撮像部２１８から熱画像の入力を受けた情報処理部１３０は、鼓膜認識部２２１ａにより、熱画像に基づいて鼓膜認識処理を行う（Ｓ１１３）。鼓膜認識処理は、上記図１１のステップＳ１０６と同様に行うことができる。すなわち、鼓膜熱画像や鼓膜が半分だけ写った熱画像や外耳道だけが写っている熱画像を多数収集し、その熱画像１枚１枚について予めユーザにより鼓膜１４である部分と鼓膜１４ではない部分とを切り分けてラベリングする。それを統計学習させて作成された認識器を作成することで、鼓膜認識部２２１ａは、熱画像から鼓膜１４の位置を認識することが可能となる。

次いで、ステップＳ１１４にて鼓膜１４が認識されると、温度処理部２２３ａにより鼓膜温度が算出される（Ｓ１１４）。図２２に、熱画像と当該熱画像内における鼓膜１４の領域（鼓膜領域）との関係を示す。図２２に示すように、熱画像においては、熱画像の範囲が温度測定可能範囲となる。温度センサの場合には１つの測定値しか取得できないのに対して、熱画像では画像の解像度で温度情報を取得することができる。温度処理部２２３ａは、鼓膜認識処理結果より熱画像に対する鼓膜領域を求め、鼓膜領域内の温度の平均値を鼓膜温度とする。

鼓膜認識部２２１ａは、鼓膜１４の認識結果を温度・鼓膜状況記録部２２４に記録する（Ｓ１１５）。温度・鼓膜状況記録部２２４には、ステップＳ１１１にて取得された測定時刻およびステップＳ１１３にて測定された鼓膜温度も記録される。その後、熱画像鼓膜認識部２２６は、通知部２２５を介して鼓膜認識結果をユーザに通知する（Ｓ１１６）。そして、熱画像鼓膜認識部２２６は温度測定処理の終了指示があるか否かを確認し、終了指示がなければステップＳ１１０から処理を繰り返し実行し、終了指示があれば図２１に示す処理を終了する（Ｓ１１７）。

このように、熱画像を用いる鼓膜温度処理装置では、熱画像から鼓膜１４の位置を認識する鼓膜認識処理を行い、鼓膜１４の鼓膜温度を測定する。このように、鼓膜１４の方向を温度センサ部１１０が向いているかを確認し、鼓膜温度を決定することで、より正確に鼓膜温度を測定することができる。また、ユーザに鼓膜１４に対する温度センサ部１１０の位置状況を通知し、ずれがあるときには温度センサ部１１０が正しく鼓膜１４を向くように調整する指示を通知する。このように鼓膜温度が正しく測定できない状況を認識してユーザに機器の装着状態を調整させることで、正しく測温することが可能となる。さらに、測定時刻を鼓膜温度および画像情報とともに温度・鼓膜状況記録部２２４に出力して記憶媒体に記憶させることで、鼓膜温度の時間変化を履歴管理することが可能となる。したがって、例えば耳介装着具１００を長時間装着して一定間隔で鼓膜温度を測定することで、体温の日内変動の解析等を行うことが可能となる。

＜３．ハードウェア構成例＞
本実施形態に係る鼓膜温度処理装置による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、鼓膜温度処理装置は、図２３に示すように構成することもできる。以下、図２３に基づいて、本実施形態に係る鼓膜温度処理装置の一ハードウェア構成例について説明する。

本実施形態に係る鼓膜温度処理装置は、上述したように、コンピュータ等の処理装置により実現することができる。鼓膜温度処理装置は、図２３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、鼓膜温度処理装置は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って鼓膜温度処理装置内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、鼓膜温度処理装置の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、鼓膜温度処理装置に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
鼓膜の画像情報に基づいて前記鼓膜の位置を認識する鼓膜認識部と、
前記鼓膜を含む外耳道内の温度を取得する温度測定部と、
前記鼓膜認識部の認識結果および前記温度測定部の測定温度に基づいて、前記鼓膜の温度を決定する温度処理部と、
を備える、情報処理装置。
（２）
前記鼓膜の画像情報は、前記鼓膜を含む撮像画像であり、
前記鼓膜認識部は、前記撮像画像に基づいて前記鼓膜の位置を認識する、前記（１）に記載の情報処理装置。
（３）
前記鼓膜の画像情報を取得する撮像部を備える、前記（２）に記載の情報処理装置。
（４）
前記鼓膜の画像情報は、前記鼓膜を含む熱画像であり、
前記鼓膜認識部は、前記熱画像に基づいて前記鼓膜の位置を認識し、
前記温度測定部は、前記熱画像に基づいて前記鼓膜を含む耳道内の温度を取得する、前記（１）に記載の情報処理装置。
（５）
前記鼓膜の画像情報の取得および前記温度測定部による温度測定は同一機器により行われる、前記（４）に記載の情報処理装置。
（６）
ユーザに前記鼓膜に関する鼓膜情報を通知する通知部を備え、
前記通知部は、少なくとも算出した前記鼓膜の温度を通知する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記鼓膜認識部は、前記鼓膜の画像情報の認識結果に基づいて、前記鼓膜の画像中の所定範囲において前記鼓膜が占める割合を表す鼓膜占有率を算出し、
前記通知部は、前記鼓膜占有率に基づいて前記鼓膜に対する前記温度測定部の位置状況をユーザに通知する、前記（６）に記載の情報処理装置。
（８）
前記通知部は、前記鼓膜占有率が大きくなるように前記温度測定部の向きを調整する方向をユーザに通知する、前記（７）に記載の情報処理装置。
（９）
前記温度処理部により算出された前記鼓膜の温度を補正する補正部をさらに備え、
前記鼓膜認識部は、前記鼓膜の画像情報の認識結果に基づいて、前記鼓膜の画像中の所定範囲において前記鼓膜が占める割合を表す鼓膜占有率を算出し、
前記補正部は、前記鼓膜占有率に基づいて、前記温度処理部により算出された前記鼓膜の温度を補正する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記補正部は、前記鼓膜占有率と前記鼓膜の温度との相関関係に基づいて、前記鼓膜の温度を補正する、前記（９）に記載の情報処理装置。

１２ 外耳道
１４ 鼓膜
１００ 耳介装着具
１１０ 温度センサ部
１１１ ＬＥＤ
１１２ レンズ
１１３ ＣＭＯＳイメージセンサ
１１４ 放射温度計
１１６ 一体型イメージ熱画像センサ
１１７ 熱画像イメージセンサ
１２０ 本体部
１３０ 情報処理部
１３１ 増幅器
１３２ フィルタ
１３３ Ａ／Ｄ変換部
１３４ 解析部
１３５ 記憶部
１３６ 通信部
２１２ 発光部
２１４ 画像撮像部
２１６ 温度測定部
２１８ 熱画像撮像部
２２１、２２１ａ 鼓膜認識部
２２２ 発光制御部
２２３、２２３ａ 温度処理部
２２４ 温度・鼓膜状況記録部
２２５ 通知部
２２６ 補正部

Claims (12)

1. 鼓膜の画像情報に基づいて前記鼓膜の位置を認識する鼓膜認識部と、
   前記鼓膜を含む外耳道内の温度を取得する温度測定部と、
   前記鼓膜認識部の認識結果および前記温度測定部の測定温度に基づいて、前記鼓膜の温度を決定する温度処理部と、
   を備える、情報処理装置。
2. 前記鼓膜の画像情報は、前記鼓膜を含む撮像画像であり、
   前記鼓膜認識部は、前記撮像画像に基づいて前記鼓膜の位置を認識する、請求項１に記載の情報処理装置。
3. 前記鼓膜の画像情報を取得する撮像部を備える、請求項２に記載の情報処理装置。
4. 前記鼓膜の画像情報は、前記鼓膜を含む熱画像であり、
   前記鼓膜認識部は、前記熱画像に基づいて前記鼓膜の位置を認識し、
   前記温度測定部は、前記熱画像に基づいて前記鼓膜を含む耳道内の温度を取得する、請求項１に記載の情報処理装置。
5. 前記鼓膜の画像情報の取得および前記温度測定部による温度測定は同一機器により行われる、請求項４に記載の情報処理装置。
6. ユーザに前記鼓膜に関する鼓膜情報を通知する通知部を備え、
   前記通知部は、少なくとも算出した前記鼓膜の温度を通知する、請求項１に記載の情報処理装置。
7. 前記鼓膜認識部は、前記鼓膜の画像情報の認識結果に基づいて、前記鼓膜の画像中の所定範囲において前記鼓膜が占める割合を表す鼓膜占有率を算出し、
   前記通知部は、前記鼓膜占有率に基づいて前記鼓膜に対する前記温度測定部の位置状況をユーザに通知する、請求項６に記載の情報処理装置。
8. 前記通知部は、前記鼓膜占有率が大きくなるように前記温度測定部の向きを調整する方向をユーザに通知する、請求項７に記載の情報処理装置。
9. 前記温度処理部により算出された前記鼓膜の温度を補正する補正部をさらに備え、
   前記鼓膜認識部は、前記鼓膜の画像情報の認識結果に基づいて、前記鼓膜の画像中の所定範囲において前記鼓膜が占める割合を表す鼓膜占有率を算出し、
   前記補正部は、前記鼓膜占有率に基づいて、前記温度処理部により算出された前記鼓膜の温度を補正する、請求項１に記載の情報処理装置。
10. 前記補正部は、前記鼓膜占有率と前記鼓膜の温度との相関関係に基づいて、前記鼓膜の温度を補正する、請求項９に記載の情報処理装置。
11. 鼓膜の画像情報に基づいて前記鼓膜の位置を認識するステップと、
    前記鼓膜を含む外耳道内の温度を取得するステップと、
    前記鼓膜の位置の認識結果および取得された前記温度に基づいて、前記鼓膜の温度を決定するステップと、
    を含む、情報処理方法。
12. コンピュータを、
    鼓膜の画像情報に基づいて前記鼓膜の位置を認識する鼓膜認識部と、
    前記鼓膜を含む外耳道内の温度を取得する温度測定部と、
    前記鼓膜認識部の認識結果および前記温度測定部の測定温度に基づいて、前記鼓膜の温度を決定する温度処理部と、
    を備える、情報処理装置として機能させるコンピュータプログラム。
    

Images