JP2008086741A - 呼吸検出型化学物質提示装置、および、呼吸検出装置 - Google Patents

呼吸検出型化学物質提示装置、および、呼吸検出装置 Download PDF

Info

Publication number
JP2008086741A
JP2008086741A JP2006347036A JP2006347036A JP2008086741A JP 2008086741 A JP2008086741 A JP 2008086741A JP 2006347036 A JP2006347036 A JP 2006347036A JP 2006347036 A JP2006347036 A JP 2006347036A JP 2008086741 A JP2008086741 A JP 2008086741A
Authority
JP
Japan
Prior art keywords
chemical substance
inspiration
gas
respiration
containing gas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006347036A
Other languages
English (en)
Other versions
JP2008086741A5 (ja
Inventor
Akira Tomono
明 伴野
Tetsunori Fukiura
哲教 吹浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2006347036A priority Critical patent/JP2008086741A/ja
Publication of JP2008086741A publication Critical patent/JP2008086741A/ja
Publication of JP2008086741A5 publication Critical patent/JP2008086741A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】香料や医薬品等の化学物質を利用者に提示する装置であって、匂い付き映像、携帯電話などへの適用を図る。技術的課題は、必要最小限の化学物質含有気体を周囲に拡散させることなく、効率よく鼻腔付近に放出する。高精度で耐環境性の高い呼吸検出装置を実現する。
【解決手段】本発明の化学物質提示装置は、呼吸を検出する手段と、当該呼吸検出情報を利用して対象吸気を検出または予測する手段と、対象吸気時に化学物質含有気体を鼻腔付近に向けて断続的に放出する手段とから構成される。呼吸を検出する手段として、呼吸音または熱画像または気圧または呼気中の化学物質濃度または音声を処理する手段が利用できる。音声処理では、話尾を検出し吸気を予測できる。化学物質含有気体は、空気砲、又は、気体通過制御弁を備えた気体搬送管を用いて利用者の鼻腔付近に提示できる。化学物質切り替え部を耳装着型にできる。
【選択図】 図1

Description

本発明は、香料、医薬品などの化学物質を周囲に拡散させることなく、効率よく利用者の嗅覚器に提示する呼吸検出型の化学物質提示装置、および、このための精度の高い呼吸検出装置に関する。
現実の生活空間には多くの匂いが存在し、心理的・生理的に様々な影響を与えることが知られている。映像コンテンツの制作においても、同映像が表現している空間内の匂いを再現するように嗅覚刺激を提示できれば、表現の幅が広がり、臨場感が向上することが期待できる。
そこで、本発明者らは、匂い付き映像コンテンツの研究開発を進めている。課題としては、(1)複数の匂いを切り替えて発生する装置の開発、(2)映像の表現に適した匂いを提示するための匂い切り替え制御装置の開発などが挙げられる。
(2)の課題に関しては、本発明者らによる、映画シーンのカットを単位として匂い提示タイミングを制御する方式(特願2005−110078)を用いることによって、自然な匂い提示が可能である。
一方、(1)の匂い提示装置については、従来、人の顔の周りにフードを設けるなどして人の嗅覚器近傍を囲い、パイプなどで当該フード内に匂いを搬送する装置(例えば、実開平5−34961)が提案されている。また、本発明者らによって、離れた場所から利用者の鼻先に向けて匂いの固まりを放出する装置が開発されている。(例えば、特開2004−81851、特願2004−121119)
しかし、嗅覚器近傍をフードで覆う、または、鼻腔内にチューブを挿入する方式は、映像コンテンツなどを観賞する利用者にとって快適感に問題がある。
前記離れた場所から鼻先に匂いの固まりを放出方式は、利用者への抵抗感が少ない利点があるが、匂い放出のタイミングが難しい。匂いの固まりを鼻先に提示しても利用者が吸ってくれなければ意味がない。
人は呼吸しているため、鼻腔の周りには空気の流れが発生する。映像に合わせて匂いを提示してもその匂いが嗅覚器に取り込まれなければ当該空気の流れによって匂いは周囲に拡散してしまう。
匂いが鼻腔の周りに残っていると、映像のシーンやカットが変化した際、違和感を生じることが多い。例えば、山のシーンに提示した匂いが、海のシーンになっても残っていれば、臨場感や内容理解は損なわれてしまう。このように、匂い提示と吸気のタイミングが合致しない問題は、映像コンテンツの開発において致命的になる場合もある。
また、医薬品を患者の呼吸器から投与する場合において、摂取される医薬品の量を管理することが問題になるが、従来の化学物質提示装置は、医薬品を含有する液体を一定時間連続して霧化し、当該霧を嗅覚器に提示する方式が多い。この方式では、霧化した液体の量は管理できるが、患者にどの程度の医薬品が摂取されたのかを管理することはできない。つまり、患者が呼吸していない時間、または、呼気の時間に提示した医薬品は空中に拡散してしまうからである。
匂い提示装置の医用への応用として、特開2002−272847には、無呼吸症患者の治療を目的に、無呼吸状態を画像処理、または、音声解析を用いて検出し、香料を提示する概念が開示されている。しかし、患者に摂取させる香料の量をどのように制御するのかについては記載されていない。匂いには順応特性があるため、香料を単に長く提示しても効果は期待できない問題がある。
以上を要約すると、マルチメディア観賞中の利用者に匂いを適切に切り替えて提示する、または、医薬品を患者に呼吸器から投与することを目的にした化学物質提示装置では、提示した化学物質(香料、医薬品など)ができるだけ嗅覚器に取り込まれるようにする、または、当該化学物質が周囲に拡散しないようにすることが技術的課題である。
しかし、従来、香料、医薬品などの化学物質を嗅覚器に提示する化学物質提示装置では、このような機能が十分ではない。
次に、本発明では、利用者の呼吸を検出して化学物質を提示するが、呼吸検出に関しては、前記特開2002−272847に画像処理を用いた例が開示されている。胸のあたりをカメラで撮影し、その画像の動きを解析し、無呼吸を検出する。しかし、呼吸時の胸の動きは大きくはなく、カメラの位置によってはその動きを捉えることが難しい。つまり、撮影条件の制約、または、精度に問題がある。
特願2005−110078 実開平5−34961 特開2004−81851 特願2004−121119 特開2002−272847
本発明の目的は、マルチメディアコンテンツを観賞中の利用者に当該コンテンツの内容に関連した匂いをシーンまたはカットの変化に合わせて鮮明に切り替えて提示する、または、電話中に匂い(香り)を提示する、または、患者治療のため薬剤を効率良く嗅覚器に提示する、などに適した化学物質提示装置を実現することである。これらに共通する具体的な技術課題は、必要最小限の化学物質を周囲に拡散させることなく、効率よく利用者の嗅覚器に提示することである。また、この目的に適した精度が高い呼吸検出装置を実現することである。
<手段1>
本発明に係わる請求項1に記載の呼吸検出型化学物質提示装置は、例えば、図1に対応付けて説明すると、
呼吸を検出する手段(10、11、12)と、当該手段を利用して対象吸気を検出する手段、または、対象吸気を予測する手段(13)と、当該検出または予測した対象吸気時に鼻腔(02)付近に化学物質含有気体を提示する手段(50、60)と、から構成されることを特徴とする。
ここで、前記「化学物質」とは、主に、香料または医薬品を想定する。また、前記対象吸気とは、化学物質を提示しようとするときの吸気を意味する。また、化学物質含有気体を鼻腔付近に提示するとは、吸気中に当該化学物質が嗅覚器または口蓋から摂取されるように当該化学物質含有気体を放出し、一方、呼気中は当該化学物質含有気体を放出しない、または、当該放出を抑制するように制御することが望ましい。
手段1において、「呼吸を検出する手段」としては、呼吸音を収集して当該音を処理する手段、呼吸時に鼻腔または口蓋から排出される熱気流の変化を検出する手段、呼吸時に鼻腔または口蓋から排出される気流の圧力変化を検出する手段、呼吸時に鼻腔または口蓋から排出される気体の成分を分析する手段、などを用いることができる。
手段1において、前記「対象吸気時」は、図4に対応付けて説明すると、前記「対象吸気(TOM)を検出する」場合は、当該対象吸気開始付近の時(t(Meth1))とすることができる。
また、前記「対象吸気(TOM)を予測する」場合は、図4に対応付けて説明すると、呼吸検出手段によって検出される最新呼気(YAS)の終了時(t5)に所定の予測時間(ΔT)を加えた時(t(Meth2))とすることができる。
当該所定の予測時間(ΔT)は、図4に対応付けて説明すると、呼気終了時から吸気終了時までの統計的平均時間(MAM)から吸気平均時間(KEI)を引いて計算することができる(ΔT=MAM−KEI)。つまり、呼気終了時から次の吸気が始まるまでを予測時間とすることができる。更に、前記化学物質(香料)を鼻腔付近に提示する手段の動作遅れ時間(HD)を引いて計算してもよい(ΔT=MAM−KEI−HD))。
<手段2>
本発明に係わる請求項2に記載の呼吸検出型化学物質提示装置は、図1に対応付けて説明すると、前記手段1において、前記「呼吸を検出する手段」は、呼吸音を収集する音響入力装置(10)と、当該音響入力装置の出力信号を処理して特徴情報を抽出し、基準特徴情報(12)と比較し、呼気または吸気を判定する音響処理手段(11)と、から構成されることを特徴とする。
当該「特徴情報」には、前記出力信号の大きさ(音量)、長さ(継続時間)、高さ(音程)、または、当該信号波形の周波数成分の特徴情報、即ち、音色、スペクトル解析情報などが利用できる。
前記「基準特徴情報(12)」は、前記特徴情報が前記出力信号の大きさ(音量)の場合、図4に対応付けて説明すると、所定信号レベル(Th1、Th2)を用いることができる。
また、前記「基準特徴情報(12)」は、前記特徴情報が、前記信号波形のスペクトル解析情報の場合、予め測定した呼気または吸気のスペクトル解析情報の統計的処理結果、例えば、平均値、分散値などを用いることができる。
手段2において、前記出力信号の包絡波形の立ち上がり速度が所定値を超えたことを検出して吸気開始とする、または、前記包絡波形の立下り速度が所定値以下になったことを検出して吸気終了とすることができる。
<手段3>
本発明に係わる請求項3に記載の呼吸検出型化学物質提示装置は、図5に対応付けて説明すると、前記手段1において、前記「呼吸を検出する手段」は、鼻腔付近の熱の変化を計測する装置(35)と、当該熱計測装置の出力信号を処理して特徴情報を抽出し、基準特徴情報(37)と比較し、呼気または吸気を判定する熱信号処理手段(36)と、から構成されることを特徴とする。
手段3において、熱の変化を計測する装置(35)としては、熱伝対、熱画像撮影装置などを利用できる。
<手段4>
本発明に係わる請求項4に記載の呼吸検出型化学物質提示装置は、図7に対応付けて説明すると、前記手段1において、前記「呼吸を検出する手段」は、鼻腔付近の気体の所定成分濃度、または、気圧を計測する手段(15)と、当該計測値の時間変化を計算する手段(16)と、当該時間変化を基準値(17)と比較し、呼気または吸気を判定する手段(16)と、から構成されることを特徴とする。
手段4において、呼気を判定(16)した後、次の対象吸気を予測する手段(13)は、図7に対応付けて説明すると、呼気開始(t6)から吸気開始(t7)までの時間を数周期分予め計測し当該時間の平均を求めておき、16で検出された呼気開始(t8)に当該平均時間(ΔT1)を加えることで対象吸気開始(t9)とすることができる。
手段4において、前記「鼻腔付近の気体」は、嗅覚器または口蓋から排出される気体、または、鼻腔付近に提示される化学物質含有気体を用いることができる。具体的には、二酸化炭素(CO2)、酸素(O2)、窒素、その他体内で発生する化学物質などが利用できる。
手段4において、前記計測対象が、二酸化炭素濃度、または、生体から発生する化学物質濃度、または、気圧の場合、図7に対応付けて説明すると、計測値(MEG)の時間変化は時間微分値(DIF)であって、当該時間微分値が所定値Th3(Th3>(計測値の平常値/秒))を上回ることを条件として呼気開始時(t6、t8)を判定することができる。ここで、計測値の平常値は、計測値の平均値(Avg1)を用いることができる。
手段4において、前記計測対象が、二酸化炭素濃度、または、生体から発生する化学物質の濃度、または、気圧の場合、図7に対応付けて説明すると、計測値(MEG)の時間変化は時間微分値(DIF)であって、当該時間微分値が所定値Th4(Th4<(−計測値の平常値/秒))を下回る、または、計測値(MEG)が所定値(MN)を下回ることを条件として吸気開始時(t7、t9)を判定することができる。
手段4において、前記計測対象が、酸素濃度の場合、図8に対応付けて説明すると、計測値(MEG)の時間変化は時間微分値(DIF)であって、当該時間微分値が所定値Th6(Th6<(−平常値/秒))を下回ることを条件として呼気開始時(t6、t8)を判定することができる。ここで、計測値の平常値は、計測値の平均値(Avg2)を用いることができる。
手段4において、前記計測対象が、酸素濃度の場合、図8に対応付けて説明すると、計測値(MEG)の時間変化は時間微分値(DIF)であって、当該時間微分値が所定値Th5(Th5>(平常値/秒))を上回る、または、計測値(MEG)が所定値(MX)を上回ることを条件として吸気開始時(t7、t9)を判定することができる。
<手段5>
本発明に係わる請求項5に記載の呼吸検出型化学物質提示装置は、例えば、図1に対応付けて説明すると、前記手段1から前記手段4において、前記「鼻腔付近に化学物質含有気体を提示する手段」は、筒(80)、または、管に化学物質を注入する手段(24)と、当該筒、または、管の気圧を瞬間的に高めて(74)、当該筒、または、管の気体を鼻腔付近の空間に放出する手段(60)と、当該放出を制御する手段(50)と、から構成されることを特徴とする。
手段5において、当該筒(80)、または、管の気体は、環状渦気体(Lm)にして放出し、離れた場所から鼻腔(02)付近まで飛行させることができる。
手段5において、化学物質含有気体は、図2に示すように、化学物質含有気体搬送管(84)を用いて、鼻腔(02)付近まで搬送してもよい。
<手段6>
本発明に係わる請求項6に記載の呼吸検出型化学物質提示装置は、例えば、図10に対応付けて説明すると、前記手段1から前記手段4において、前記「鼻腔付近に化学物質含有気体を放出する手段」は、気体搬送管(84)と、当該搬送管内に化学物質を注入する装置(24)と、当該搬送管の気圧を高め当該管の先端付近から当該化学物質含有気体を断続的に放出するように制御する手段(81、86)とから構成され、前記管の先端は、吸気時の気流空間(TYA)の外側に設置され、前記気体放出手段の動作によって化学物質含有気体が当該吸気時気流空間に放出されることを特徴とする。
<手段7>
本発明に係わる請求項7に記載の呼吸検出型化学物質提示装置は、例えば、図10に対応付けて説明すると、前記手段1から前記手段4において、前記「鼻腔付近に化学物質含有気体を放出する手段」は、気体搬送管(84)と、当該搬送管内に異なる種類の化学物質を切り替えて注入する装置(24)と、当該搬送管の気圧を高め当該管の先端付近から当該化学物質含有気体を断続的に放出するように制御する手段(81、86)とから構成され、当該化学物質切り替え注入装置(24)は耳装着型にしたことを特徴とする。
手段6、または、手段7において、前記化学物質切り替え注入装置(24)には、円盤型の化学物質蓄積集積機構(18)を用いることができる。18には、複数の化学物質蓄積機構(19)を組み込むことができる。当該円盤をモーター(MT)と歯車機構(MG)で回転し、任意の化学物質蓄積機構に空気を通過させ化学物質を気体搬送管(84)に注入できる。
また、前記「管先端付近から化学物質含有気体を断続的に放出するように制御する手段」は、圧縮空気溜め(81)と、気体放出調節弁(86)で構成でき、当該調節弁は、呼吸に合わせて開閉できる。
また、前記化学物質切り替え注入装置(24)は、音響提示装置(05、06)と一体化することができる。
手段7において、前記化学物質切り替え注入装置(24)が耳装着型であるとは、耳の高さに取り付ける場合の他、耳の高さよりやや低い頬に掛かる場合も含まれるものとする。つまり、当該装置は、頭部保持機構(06)に下向きの力が掛かるように取り付けられればよい。
<手段8>
本発明に係わる請求項8に記載の呼吸検出型化学物質提示装置は、例えば、図1、図4、図10に対応付けて説明すると、前記手段1から前記手段7において、嗅覚誘導刺激を提示する手段(図1のDis)と、呼気終了(図4のt5)を検出する手段(図1の11)を備え、当該嗅覚誘導刺激提示中、または、提示後2秒以内であって、かつ、当該呼気終了から2秒以内を対象吸気予測時として、化学物質含有気体を提示することを特徴とする。
手段8において、化学物質含有気体を提示する時刻は、呼気終了から1.5秒以内が更に望ましい。
<手段9>
本発明に係わる請求項9に記載の呼吸検出型化学物質提示装置は、例えば、図1、図4に対応付けて説明すると、前記手段1から前記手段7において、嗅覚誘導刺激を提示する手段(図1のDis)と、呼気終了を検出する手段(図4のt5)と、嗅覚誘導による瞳孔径の変化、または、視線の変化を検出する手段(図1の32)とを備え、これらの論理積を用いて対象吸気時に化学物質含有気体を提示することを特徴とする。
匂いを感じる映像が提示され、呼気終了が検出され、散瞳が検出された時、または、視線が匂い対象に誘導された特徴が検出された時を対象吸気予測時と判断し、化学物質含有気体を提示することができる。
<手段10>
本発明に係わる請求項10に記載の呼吸検出型化学物質提示装置は、図12に対応付けて説明すると、前記手段1において、前記呼吸を検出する手段は、音響入力装置(10)と、当該音響入力装置の出力信号を処理して音声を分析する手段(54)から構成され、前記対象吸気を予測する手段は、当該音声から話尾を検出し(55)、当該話尾から所定時間(HT)内に対象吸気(TOM)が発生するものと予測することを特徴とする
手段10において、話尾検出からHT=3秒以内に、鼻腔付近に化学物質含有気体(匂い)を提示する(FRG1)ことが望ましい。話の長さ(Length)を検出し、3秒以上の話の話尾を検出したときに匂いを放出することが望ましい。1秒以下の話の中断は、話中に含め話尾としないように処理できる。また、話尾の回数を検出し、所定回数を超えた話尾の後に匂いを放出することができる。
手段10において、話頭を検出する手段(56)を備え、当該話頭検出後に香りの放出(FRG2)を停止することができる。
手段10の呼吸検出型化学物質提示装置は、電話機に実装でき、受話を検出する手段(52)を備え、利用者(送信者)の話尾検出後、通話相手からの受話を検出して匂いを提示する(FRG2)ことができる。また、通話相手の音声を受信中に利用者(送信者)の相槌音声の話尾を検出し、当該話尾検出と前記通話相手の音声受信の論理積を検出して、匂いを放出できる(FGR2)。匂いの種類は、利用者(送信者)、又は、通話相手の属性に基づいて決めることができる。
<手段11>
本発明に係わる請求項11に記載の呼吸検出装置は、図5に対応付けて説明すると、顔を撮影するための可視画像撮影装置(30)と、当該装置の近くに設置された熱画像撮影装置(35)と、当該可視画像の中から嗅覚器の位置を推定する可視画像処理手段(31)と、当該嗅覚器の位置近くの熱画像を処理して特徴情報を抽出し、基準特徴情報(37)と比較し、呼気を判定する熱画像処理手段(36)と、から構成されることを特徴とする。
当該「可視画像撮影装置(30)」の結像光学系と、当該「熱画像撮影装置(35)」の結像光学系は、並べて配置する、または、一体化して構成し、2つの装置は同様なシーンを撮影することが望ましい。つまり、同じ方向の画像を撮影することが望ましい。
前記手段11において、呼気判定結果から吸気を推定する手段を設けてもよい。当該吸気の推定は、呼気から吸気までの平均時間を別な方法で予め計測し、当該推定時間を呼気時に加えることで可能である。
前記手段3の呼吸検出型化学物質提示装置、または、前記手段11の呼吸検出装置において、前記「熱画像処理手段(36)」は、温度変化に対応する画像の輝度変化の特徴情報を抽出し、当該抽出された特徴情報を予め用意された基準特徴情報(37)と比較する手段とすることができる。
当該「画像の輝度変化」は、連続して撮影される熱画像を時間方向に差分処理することで取得できる。
前記手段3または手段11に記載の「熱画像を処理して特徴情報を抽出」について、図6に対応付けて説明すると、呼気の気体形状、または、気体量を特徴情報とすることができ、当該特徴情報は、前記時間方向に差分処理した画像(SUB21、SUB32)を重畳処理(SAM)することで抽出できる。
前記手段3または手段11において、前記「基準特徴情報」は、熱画像処理から抽出される呼気ガスの形状特徴、形状変化特徴、気体量特徴、温度に対応する輝度特徴などが利用できる。
<手段1から手段4に係る効果>
図1、図2、図5、図7に示すように、利用者の呼吸音情報、鼻腔付近の熱変化情報、鼻腔付近の所定成分濃度変化情報、気圧変化情報などを利用して、最新の吸気を検出、または、次の吸気を予測し、これら吸気時に合わせて化学物質(香料など)含有気体を鼻腔付近に放出するため、当該化学物質は、効率良く利用者の嗅覚器または口蓋から吸い取られる。当該化学物質は周囲に拡散することが少なく、必要最小限の化学物質を利用者に提示できる。香料、医薬品などを無駄なく効率良く提示できる
映像のシーン変化に合わせて前記化学物質(香料など)含有気体を放出した場合、前のシーンで付けた匂いがいつまでも周囲に残らないので、匂いの切り替えは極めて鮮明である。嗅覚順応も起きにくい。映像の臨場感が向上し、内容理解が深まる
医療に利用した場合、患者が摂取した前記化学物質(医薬品)の量が把握できるため、必要な量だけ制御して患者に投与できる。安全であり、副作用の防止にも効果がある
呼吸検出に関して、熱画像処理を用いると、非装着な手段で呼吸が検出できるため、利用者の抵抗感が少ない
<手段5に係る効果>
空気砲を用いた化学物質提示装置は、非装着な手段で所定の化学物質(香料など)を鼻腔付近に提示できるため、利用者の抵抗感が少ない利点がある。また、微量香料を用い鼻腔付近に小さな匂い玉を提示するため、匂いの切り替えにも有利である。しかし、従来の空気砲式は、匂いが受容されるヒット率が低い問題があった。
手段5では、図1に示すように、呼吸検出によって対象吸気を検出、または、予測し、匂い玉(小さな香料含有気体)を鼻腔付近に放出するため、匂いが受容されるヒット率が大幅に向上する(図9参照)。空気砲式は、呼吸検出と組み合わせて実用性が格段に向上すると言える
<手段6に係る効果>
気体搬送管を用いた化学物質提示装置は、搬送管が鼻腔付近にあると皮膚に触れやすくうっとうしいことがある。また、匂いを放出していない場合であっても当該搬送管内に残った微量の化学物質(香料など)の匂いが気になることが多い。
手段6では、図10に示すように、気体搬送管の先端を鼻腔から離れたところに置くことによって、皮膚に触れることは殆どない。また、手で鼻を擦る際も邪魔にならない。特に、当該管の先端を吸気の気流空間外に置くと、当該管内に微量の香料が残っている場合であっても、当該匂いを感じることはない
匂いを提示したい場合は、吸気時に香料含有気体を管の先端から鼻腔付近に放出し、匂いを提示しない場合は、管と鼻腔との距離が保持されるため匂いを遮断できる。つまり、匂い提示を明確に行うことができる
気体搬送管を用いる他の利点は、公衆の場でも使用できる携帯型の化学物質提示装置が実現できる。化学物質が周囲に拡散しにくいので、回りの人に迷惑が掛からない
<手段7に係る効果>
気体搬送管を用いた化学物質提示装置において、化学物質(香料)切り替え装置は一般にある程度の重量と大きさになってしまう。当該装置を利用者から離れたところに設置し、長い管で匂い(香料含有気体)を搬送する場合には、管内に匂いが付着し、鼻腔まで搬送されにくい。また、当該香料切り替え装置を鼻腔付近に設置しようとすると、視界に入って気になる、前方への回転モーメントがかかるので違和感があるなどの問題がある。
手段7では、図10に示すように、香料切り替えの重量部分を耳に装着し、短い気体搬送管で匂いを鼻腔付近に搬送するため、重量バランスの問題、匂いが管に付着する問題を解決できる。つまり、装着感が自然で、匂いを明確に提示することができる。また、香料含有気体が搬送される管の長さが短いため、メンテナンスが容易である
特に、円盤に複数の香料を蓄積し、円盤を回転させて香料を選択する香料切り替え装置は、扁平の円筒形になるため、形状的に音響提示装置(ヘッドホン)と一体化できる
ヘッドホンと一体化することにより、音声や音楽と連動させて、利用者の好みに応じた匂い提示が可能である。同じ音楽を複数の利用者で楽しみながら、利用者によって好みの匂いが違う場合などにも対応できる。匂いも音も限定的なので、公衆の場で使用しても回りの人に迷惑が掛からない。
<手段8に係る効果>
平常時の呼吸では、呼気終了から次の吸気までの時間は2秒〜3秒以上のことが多い。しかし、匂いを感じる映像などを嗅覚誘導刺激として提示した場合、利用者は積極的にその匂いを嗅ごうとする行動が見られる。この際には、できるだけそのタイミングで匂いを提示することが望ましい。しかし、そのタイミングを予測することは難しい。
手段8では、当該映像を提示中、または、提示後2秒以内であって、かつ、呼気終了検出から2秒以内を対象吸気予測時として匂い(香料含有気体)を提示する。
映像提示中、または、映像提示後2秒以内は、積極的に嗅ごうとする動作が見られる。利用者が仮に呼気終了後直ぐに嗅ぐ動作をした場合、手段8の方法では、最大2秒の遅れが生じるが、本発明者らの実験によって、図11に示すように、嗅覚提示遅れが2秒以内であれば違和感を生じないことが分かっている
また、呼気終了後直ぐに匂いを提示した場合、2秒以内であれば、当該匂いは鼻腔付近に漂っている確立が高い。利用者が嗅覚誘導刺激を受けて積極的に行う匂いを嗅ぐ動作は、ほとんど2秒以内であるので、当該匂いは、利用者に受容されやすい
<手段9に係る効果>
匂いを感じる映像などを提示し、利用者がその匂いを嗅ごうとする行動が見られたときに、タイミング良く匂い(香料含有気体)を提示する課題に対して、手段9では、呼気終了検出と瞳孔変化検出、または、視線変化検出の論理積を用いる。
瞳孔は、利用者の心理を強く反映して、散瞳または縮瞳することが知られている。興味のある対象を見た場合には散瞳が起きやすい。また、視線は、興味ある対象に誘導される傾向がある。
そこで、匂いを感じる映像を提示中であって、呼気終了が検出された後で、瞳孔の変化が検出される、または、視線誘導が検出されれば、直ぐに吸気行動を起こす確立が高い。または、吸気動作に移っている可能性が高い。論理積を用いて対象吸気時に匂いを提示すると、臨場感が高まる。また、同じ映像を見ても、関心を示さない利用者に対しては、不要な匂い提示を避けることができる
<手段10に係る効果>
図12に示すように、呼吸検出手段に音声分析手段を利用し、話尾を検出し、当該話尾から所定時間(HT)内に対象吸気(TOM)が発生するものと予測して、匂いを提示するため(FRG1、FRG2)、利用者に確実に匂いを提示できる。また、周囲に拡散することが少ないため、携帯電話などに利用できる。つまり、人ごみの中で、本発明の匂い発生携帯電話を使用しても、周りの人の迷惑になりにくい。自分の好みの匂い、又は、通話相手をイメージする匂いを提示すると会話が楽しくなる
会話での息継ぎは、利用者側の話の長さ(Length)、又は、話尾からの時間(HT)によって決まることが多い。調査したところ、Lengthが3秒以上のとき、HTが3秒以内のときに息継ぎが発生しやすい。従って、これらのパラメータを匂い提示のタイミング制御に用いることによって、より確実に匂い提示が可能である
また、利用者が吸気中であっても、話しを始めれば、呼気に移るので、匂い提示をこのタイミングで停止する制御によって、不要な匂いを周囲に拡散させることがない。本実施例では、遠方から指向性マイクロホンで音声を取り話尾検出処理できるため、非接触で吸気を予測できる
<手段11に係る効果>
図5に示すように、可視画像処理と熱画像処理を併用し、可視画像処理で嗅覚器を検出し、熱画像処理で呼吸を検出する手段では、利用者が体を移動させても呼吸の状態を確実に検出することができる。耐撮影環境性が高く、精度が高い
図1は、本発明の第1の実施例で、音響入力装置を用いて吸気を検出し、空気砲を用いて香料含有気体を鼻腔付近に提示する化学物質提示装置である。以下では化学物質として香料(匂い)を提示する場合について説明する。なお、化学物質としては、香料の他、医薬品、酒類、タバコなども適用できる。
同図において、01は利用者、02は嗅覚器、10は呼吸音を収集するための音響入力装置である。09は当該音響入力装置を鼻腔付近に保持する支持手段で、管状の曲線棒で耳に掛けて使用する。当該管の中には、当該音響入力装置の信号線08が収められ、途中から呼吸を検出する音響処理手段11に接続されている。12は、当該音響処理結果を比較するための特徴情報記憶手段である。呼気または吸気の音響特徴情報が記憶されている。当該音響特徴情報については、後に図3、図4を用いて詳細に説明する。
ΔTは、呼気終了時から次の吸気開始時までの予測時間である。13は、化学物質である香料を鼻腔付近に提示する際の対象吸気時を予測する手段である。当該対象吸気時は、前記音響処理手段11で検出される最新の呼気終了時にΔTを加えることで計算される。また、当該対象吸気時は、前記音響処理手段11で検出される最新の吸気開始時とすることもできる。この場合は、図1に破線で示すように13は省略しても良い。
50は、空気砲を用いた呼吸検出型化学物質含有気体放出装置60を制御するための手段で、放出する香料の種類、香料の量、香料含有気体を放出するための部品を駆動するタイミングなどを制御する。なお、図1では60の装置断面を示している。
当該60において、20、21は、香料含有液体を蓄える容器、Waは香料aを含有する水、Wbは香料bを含有する水である。25は超音波を使用した液体霧化装置である。同図では、Waが霧化されている状態を示し、maは香料aを含有する霧である。
80は25から発生する霧状の気体を蓄積する筒で、先端付近は円筒形を成し、開口部83付近は当該円筒の口径が狭められている。
74は瞬間気流発生手段で以下の部品から構成される。75は空気圧縮用錐形膜、76は75が同図において上下に可動するように変形する蛇腹変形膜、77は75を上下に駆動するソレノイド、78は当該ソレノイドに電力を供給する駆動装置である。
78は50からの指令により、77に電力を供給する。錐形膜75が同図において上方向に移動すると、気体放出筒80内の香料を含有する気体は瞬間的に気圧が上る。前記のように、80の先端付近は筒状になっており、開口部付近の径が小さくなっていることから、開口部83から放出される気体は、環状気体Lmとなって飛行する。
気体放出筒80は回転可能である。80の先端の方向を嗅覚器02の鼻腔下部に向けておくと、当該香料を含有する環状気体Lmは当該鼻腔下部に到達する。当該到達時を、前記呼吸検出手段により検出される吸気時に合致するように制御すると、当該放出された香料含有気体は利用者の嗅覚器または口蓋から吸い取られる。
利用者の1回の吸気量を参考にして、香料含有気体の放出量を制御することにより、当該気体は殆ど嗅覚器から吸い取られるため、香料が嗅覚器の周りに残ることは少ない。従って、短い時間で匂いを切り替えることができる。
当該1回の吸気量は、個人差があり、また状況によって異なるため、提示する香料含有気体の量は、検出される呼吸の経過から自動的に修正することができる。提示する香料含有気体が確実に吸い取られるためには、通常吸気量の8/10以下が望ましい。放出量より多いと、残った香料が周囲に拡散してしまうためである。1/2程度が更によい。また、匂いを感じるためには、所定量以上の香料物質が摂取される必要があり、吸気量の1/100以上の香料含有気体が吸い取られることが望ましい。
呼吸について、更に詳細に説明する。人は、胸郭や横隔膜を動かすことによって肺の拡張・収縮を行うことができる。このための運動を呼吸運動と言うが、呼吸運動は空気を肺に取り込む吸気運動と空気を排出する呼気運動に分かれる。呼気運動は、横隔膜が下がり、外肋間筋が収縮によって胸郭が広がると胸腔内の容積が大きくなり空気が肺内に流入する。一方、呼気運動は、内肋間筋が収縮することによって胸郭が小さくなり、また腹壁筋の収縮によって横隔膜が上がると胸腔内の容積が小さくなり、空気が排出される。図1では、呼気をyasで示している。胸郭を動かして呼吸運動をすることを胸式呼吸といい、腹部の運動によって横隔膜を動かして呼吸運動をすることを腹式呼吸という。
一回の呼吸は、普通に呼吸をしているとき(安静時)で約500ccであり、普通に空気を吸ったときからさらにできるだけ空気を吸ったときの量は約2000から3000ccである。また、空気を最大限はいたときに肺の中に残っている空気の量は、約1500cc程度である。
従って、本発明において、鼻腔付近に提示する化学物質含有気体の容量は、5ccから400cc程度の範囲が適用できる。5ccから250cc程度が更に望ましい。
図1では、利用者が表示装置Disを見ている状態を示している。Disには、林檎APの木が表示され、林檎からは甘酸っぱい匂いが感じられる。この映像に合わせて、林檎の香料を提示すると臨場感が高まり、映像の内容理解が深まる。
場面が林檎畑から、他の場面に変われば、当該場面に相応しい匂いに直ぐに切り替えて提示することができる。提示する映像が予め分っていれば、当該映像に含まれる匂い発生対象に相応しい香料を用意しておき提示することができる。
図1では、2種類の香料を切り替えて提示する例を示しているが、香料含有液体蓄積容器の数を増やせば数10種類の匂いを提示することができる。また、これらの香料を混合できるようにすれば、極めて多くの種類の匂いを提示できる。
本実施例では、吸気を検出し、当該吸気に合わせて断続的に匂いを提示するため、時間的にピンポイントの嗅覚提示が可能である。嗅覚順応によって、匂いを感じなくなることが少ないため、香料の使用量は最小限で済み経済的である。また、匂い切り替え時が明確に分るなどの効果がある。
図1では、呼吸を検出する手段として、呼吸音を収集して当該音を処理する手段を示したが、この他に呼吸時に鼻腔または口蓋から出る熱気流の変化を検出する手段、呼吸時に鼻腔または口蓋から出る気流の圧力変化を計測する手段、呼吸時に鼻腔または口蓋から出る気体の成分を分析する手段、などを用いることができる。
匂い提示制御に関して、前文において、最新の呼気終了時を検出し、所定の遅れ時間ΔTを加えて対象吸気予測時とし、その時刻に匂いを提示する例を述べた。平常時の安定した呼吸では、呼気終了から次の吸気までの時間は、概ね一定なので、過去の時間を平均してΔTとすることが可能である。しかし、匂いを感じる映像などを嗅覚誘導刺激として提示した場合、その映像に関心を持った利用者の呼吸は乱れることが多い。つまり、利用者は、規則正しい呼吸をやめて積極的に嗅ごうとする行動が見られる。このような場合の対象吸気時を予測する方法について述べる。
図1において、Disに匂いを感じる映像を提示する場合、当該映像提示中、または、映像提示後2秒以内は、積極的に嗅ごうとする動作が見られる。また、嗅ごうとする動作は、呼気終了後2秒以内が多い。従って、10、11、12によって呼気終了を検出し、この時間内に匂いを提示すればよい。
ここでの問題は、匂い提示を呼気終了から2秒以内に行ったとしても、この2秒の時間内で、匂い提示と嗅ぐ動作とのずれが生じる可能性があるため、2秒が許容される時間かどうかを検証する必要がある。
図11は、映像から匂いを感じた時刻を基準にして、実際に匂いを提示した時刻との時間差を横軸にとり、観賞者のコンテンツ評価を縦軸に示したものである。許容される時間のずれは2秒程度、望ましくは1.5秒程度で、2秒を超えると違和感が大きくなる。
つまり、映像から匂いを感じて嗅ごうとした場合、その動作から2秒以内に匂いが提示されればあまり違和感は生じない。呼気終了検出後、直ぐに匂いを提示したにもかかわらず、利用者の吸気が2秒遅れた場合でも、利用者が呼気終了後、直ぐに吸気に入ったにもかかわらず、匂い提示が2秒遅れた場合であっても違和感は少ない。匂いを強く感じる映像を提示している場合は、呼気の終了を検出し、2秒以内に匂いを提示すれば受容されやすい。
次に、更に精度の高い匂い提示タイミング制御について述べる。上記方法の場合、匂いを感じる映像を提示したからと言って、利用者は興味を示し嗅ぐ動作をするかどうか分からないリスクがある。嗅げば受容されやすく、嗅がずに2秒が経過すれば、匂い玉は拡散するので、実用上大きな問題はないが、映像に興味を示したかどうかを検出して匂いを放出すれば、より適切な匂い提示ができる。
図1において、32は利用者の瞳孔、または、視線を検出するための眼球近傍撮影装置である。瞳孔は、利用者の心理を強く反映して、散瞳または縮瞳することが知られている。匂いを強く意識し関心が高まった場合には、散瞳する傾向がある。また、視線も興味ある対象があるとその対象の方向に誘導される傾向がある。
そこで、32で眼球を撮影し、同図には示していない解析装置で瞳孔径、または、視線の変化をリアルタイムで計測し、当該変化に特徴が見られれば、直ぐに嗅ぐ動作(吸気)が開始される、または、既に動作が開始されていると予測して匂いを提示することができる。
匂い放出制御は以下の通りである。(ア)Disに匂いを意識する映像が提示されている、(イ)10、11、12を用いて呼気終了が検出された、(ウ)32により瞳孔径の変化が計測された、または、視線の特徴的な動きが検出された、以上(ア)(イ)(ウ)のが満たされた場合、50が60を制御して匂いを提示することができる。
視線の特徴的な動きとしては、匂い対象への視線停留時間、視線対象へのサッケード回数、視線移動の速さなどが利用できる。
上記のような論理積を用いて対象吸気時に匂いを提示すると、臨場感が高まる効果がある。また、同じ映像を見ても、関心を示す利用者には匂いを提示し、感心を示さない利用者に対しては匂い提示を避けることができる。
なお、前記のように、匂いを意識する映像が提示されている時、呼気終了を検出した後、2秒以内に匂いを提示する方法を組み合わせてもよい。
図2は、本発明の第2の実施例で、音響入力装置を用いて吸気を検出し、化学物質含有気体搬送管を用いて香料含有気体を鼻腔付近に提示する化学物質提示装置である。図1の実施例と比較して異なる部分を中心に説明する。
84は化学物質含有気体搬送管である。当該搬送管の先端には、気体放出調節弁86が設けられている。86は、気体を通過させる、または、遮断する機能を有する。つまり、気体通過の断続を制御できる。また、放出量を調整する調節弁であっても良い。
化学物質含有気体放出装置60から放出される香料含有気体は当該搬送管を通り、利用者の鼻腔下部に提示される。同図のように、空気砲を用いる場合は、当該空気砲式化学物質含有気体放出装置自体が、化学物質提示の断続を制御する機能があるため、前記化学物質調節弁86は省略してもよい。
化学物質搬送管84を用いる利点は、確実に匂いを利用者に提示できることである。香料が周辺に拡散することがないので、必要最小限の香料を利用者に提示できる。
87は、化学物質含有気体搬送管84と音響入力装置10を支持する手段09と音響入力装置の信号線08を一体化する機構である。紐素材で束ねてある。
ここで、同図には示していないが、09を管状素材で構成し、当該管の中に信号線を通し、かつ、香料含有気体が通過するようにすれば、図2において、09に並行している化学物質含有気体搬送管84の一部が省略できる。この場合、音響入力装置10と気体放出調節弁86は1つのケース内に収め複合部品とし、09の先端に設置することができる。これによって、耳から鼻腔下部までの部品は、1本の細い管と、当該管の先端に設けられた音響入力と化学物質放出の複合部品1個になり、単純な構成になる。
また、図2において、耳の下から11に至る信号線08と、08に並行している化学物質含有気体搬送管84は、84の中に08を通すことによって一体化できる。
図2において、05は耳装着型音響提示装置(イヤホン)、06は当該イヤホンを頭部に保持する機構である。前記、音響入力装置支持手段09および化学物質含有気体搬送管84は、イヤホン筐体に接続し一体化してもよい。このように、音響提示装置、音響入力装置、化学物質提示機構を一体化することにより、使い易い装置になる。
ここで、気体搬送管84が長いと、香料が管に吸着して匂いが提示され難くなる問題が発生するため、84はできるだけ短く設計する。これについては、後に図10を用いて詳細に説明する。
図2において、61は84に化学物質を注入する装置である。85は空気引き込み管で、矢印で示すように、所定の圧力の空気を外部から香料含有液体容器20または21の内部に引き込む。20、21の中には香料含有液体Wa、Wbが蓄積されており、当該液体は各々容器内で揮発しているものとする。
22、23は気体通過制御弁で管を通過する気体の量を制御する。22と23の動作によって、前記揮発した香料含有気体は、化学物質含有気体搬送管26の中で混合され、矢印のように送り出される。当該矢印の先は84に接続することができる。
ここで、22、23の弁を所定の割合で開閉することにより、20内で揮発する気体と21内で揮発する気体を高い精度で混合することができる。同図には、2つしか示していないが、更に多くの容器を接続することができる。この場合組み合わされて放出される気体の種類は、極めて多くなる。
搬送管84に61で化学物質を注入し、84内を加圧して、化学物質含有気体を放出する装置の場合は、気体放出調節弁86が重要な機能を果たす。即ち、当該調節弁が開くと匂いが鼻腔下部に放出され、当該調節弁が閉じると匂いの提示は止まる。
10、11、12によって呼吸を検出し、吸気時に合わせて、気体放出調節弁86を開放することによって、必要最小限の匂いを利用者に提示できる。
図2では、前記気体放出調節弁86は、鼻腔下部付近に設けたが、当該調節弁は、化学物質含有気体搬送管84の途中に設けても良い。
次に、図1および図2において、音響入力装置10、音響処理手段11、音響の特徴情報記憶手段12、対象吸気予測手段13の動作について詳細に説明する。
図3は、音響入力装置10で実際に収集した利用者の呼吸音信号の例である。yasは呼気の音、tomは吸気の音である。信号レベルに明確な差があることが分る。この呼吸音信号は、図1の音響処理手段11において処理される。
図4は、前記呼吸音信号を処理し、化学物質含有気体放出装置を動作するタイミングを決定する方法を説明する図である。
同図(A)は、呼吸音信号モデルである。横軸は時間t、縦軸は信号レベルである。TOMは、化学物質含有気体を放出する対象となる吸気を示す。YASはその直前の呼気を示す。K1、K2は、各々吸気時間で、KEIはK1、K2の平均を示す。
同図(C)の白枠矢印(Process of Meth2)の先端は、音響処理手段11の処理進行最新時点を示している。同図(A)を参照すると、最新呼気YASの最終時点t5まで処理されていることを示している。
同図(B)は、音響処理手段11の処理結果である。11は呼吸音信号の絶対値を積分し、呼気、または、吸気の信号レベルとして出力する。時刻t1の値は呼気yasの信号レベル絶対値の積分値を示し、t2の値は吸気tomの信号レベル絶対値の積分値を示す。t3、t4の値も同様に、各々呼気、吸気の信号積分値である。
呼気と吸気では、信号レベルが明らかに異なるため、前記積分値も大きく異なる。音響の特徴情報記憶手段12には、呼気と吸気を分別する閾値Th1、Th2が記憶されているものとする。当該閾値を基準となる特徴情報として比較することができる。即ち、積分値がTh1以下ではノイズ、Th1からTh2の範囲は吸気、Th2以上は呼気として判定することができる。
M1はt2とt3の時間、即ち、呼気終了時から次の吸気が終了する時までの時間である。同様に、M2はt3とt4の時間である。MAMはM1とM2の平均を示す。
同図(A)のt(Meth2)は、図1または図2において、化学物質放出手段60または61を動作して香料含有気体を放出するタイミングを示している。
同図(C)において、t(Meth2)は、t5、即ち、YASの最終時に予測時間ΔTを加えた時として設定できる。
ΔTは、呼気終了時から次の吸気が終了する時までの時間の平均値MAMから吸気時間の平均値KEIを引いた時間とすることができる。即ち、最新呼気が終了した時点から見て、次の吸気が始まるまでの時間を予測時間とすることができる。
図2で示したように、化学物質注入装置61と化学物質含有気体搬送管84と気体放出調節弁86を使用して匂いを提示する装置の場合は、香料含有気体が管を伝わって86の付近まで来ており、86の弁を開くことによって直ぐに匂いを提示できるため、ΔTは、前記のように、ΔT=MAM−KEIとすることで吸気(TOM)開始時に匂いを提示できる。
また、図1に示したように、空気砲式の化学物質含有気体放出装置60を使用して匂いを提示する場合は、当該装置から放出された環状の香料含有気体が飛行して利用者に届くまでに時間が掛かるため、当該飛行時間による遅れHDを考慮して、ΔT=MAM−KEI−HDとしても良い。HDは0.1秒から3秒程度の範囲である。
以上、対象吸気TOMの開始時点付近に化学物質含有気体を放出するために、YASの終了時点t5にΔT加える方法を説明したが、t5以外の時点を用いて、所定の遅れ時間を加えて予測することが可能である。例えば、t4、t3などを基準に、遅れ時間を加えて対象吸気TOMの開始時点付近を求めることができる。
また、匂いを強く感じる映像など嗅覚誘導刺激を提示している場合は、前記のように、YASの終了時点t5を検出後、2秒以内を対象吸気予測時として匂いを提示することができる。
図4(D)は、前記のように最新呼気から次の吸気を予測するのではなく、最新の吸気の開始時点を検出し、直ぐに、化学物質含有気体を放出する方法の実施例である。白枠矢印(Process of Meth1)の先端は、当該方法での音響処理手段11の処理進行最新時点を示している。同図(A)を参照すると、TOMの開始時点に対応している。この方法は、図2に示した化学物質含有気体搬送管84と気体放出調節弁86を使用する装置に適している。
図4では、音響信号の特徴情報として、信号レベル絶対値の積分値を用いたが、積分する前にフィルタを用いてノイズを除去してもよい。また、これ以外の特徴情報としては、呼気、吸気の長さ(継続時間)、高さ(音程)、または、当該信号波形の周波数成分の特徴情報、即ち、音色、スペクトル解析情報などが利用できる。
図5は、本発明の第3の実施例で、熱画像撮影装置を用いて呼気を検出し、次の吸気を予測する呼吸検出装置と、当該呼吸検出装置と空気砲を用いて、香料含有気体を鼻腔付近に提示する化学物質提示装置である。図1と比較して、異なる点を中心に説明する。
同図において、30は可視画像撮影装置、31は可視画像処理手段、35は熱画像撮影装置、36は呼気の熱画像から特徴情報を抽出し、呼気を判定する熱画像処理手段、37は熱画像の特徴情報記憶手段である。
30の結像光学系と35の結像光学系は並べて配置されている。即ち同じ方向を撮影するように設定されている。前記2つの撮影装置の倍率を同じにすることによって、可視画像中の対象物と熱画像中の対象物は、結像面において同じ座標に表示される。ここで、30の結像光学系と35の結像光学系は一体化してもよい。
可視画像処理手段31は、既存の特徴抽出方法、および、認識方法を用いて、撮影画像から眼、口、鼻、耳など顔を構成する器官を認識することができる。
これらの認識結果を用いて、当該画像中で鼻腔下部の位置を推定することができる。例えば、鼻の頂点が認識されれば、当該頂点から3cmから5cm下が鼻腔下部に当たる。また、眼が認識されれば、両眼を結ぶ直線を底辺とする逆三角形を定義し、当該逆三角形の頂点を鼻腔下部に対応させることができる。
このように、標準的な顔の部品を構成要素とする顔モデルを予め定義しておくことによって、認識された前記器官の位置から鼻腔下部の位置を推定することができる。
熱画像処理手段36は、前記の可視画像処理によって推定された鼻腔下部の座標値を受け取り、当該座標値の周辺の熱画像を処理する。
図6は、当該熱画像処理を模式的に表したものである。同図において、VIMGは可視画像、HIMG1、HIMG2、HIMG3は鼻腔付近の熱画像の時間変化を示したものである。HIMG1は呼気前、HIMG2は呼気開始、HIMG3は呼気途中を示している。yasGは呼気の気体を示す。
熱画像は、温度の高さが輝度になって現れる。顔の皮膚の温度差は大きくないので、口蓋、鼻などの器官は明確に撮影されないこともあるが(この様子をHIMG1、HIMG2、HIMG3では、破線で示している)、呼気の気体は温まっているので、高い輝度で撮影される。
熱画像をフレーム間差分処理すると熱の変化がより明確になる。SUB21は、HIMG2からHIMG1を引いた画像、SUB32は、HIMG3からHIMG2を引いた画像である。
更に、前記差分画像を重ね合わせると呼気1回分の気体像SAMが得られる。前記差分処理画像SUB、または、重畳画像SAMは呼気の特徴画像となる。当該特徴画像の形状、即ち、呼気ガスの形状または形状変化を特徴情報とすることができる。また、当該特徴画像から、呼気の気体量に関連する情報、呼気の温度に関連する情報が得られるので、これらを特徴情報としてもよい。
実際に呼気を検出する場合は、予め利用者に何回か呼吸をしてもらい、そのときの呼気特徴情報を抽出し当該特徴情報を平均して熱画像の基準的な特徴情報とし、図5において、記憶手段37に蓄積しておくことができる。その準備の後、実際の呼気の熱画像を処理し特徴情報を抽出し、前記基準的な特徴情報と比較し、両者が所定の範囲内で類似であれば呼気と判定すればよい。
また、吸気の検出については、吸気の際の熱画像から検出することもできる。または、呼気から吸気までの平均時間を別な方法で検出しておき、前記の呼気検出の時刻に当該平均時間を加えて吸気時とすることもできる。
図5の構成では、呼吸の検出、匂いの提示、共に非接触な手段で実施できる。利用者にとって拘束感がないので受け入れられ易い。
図7は、本発明の第4の実施例で、呼気に排出される二酸化炭素濃度を計測し、当該計測値を用いて呼気、吸気を判定し、吸気時に化学物質含有気体搬送管を用いて化学物質(香料、医薬品など)を鼻腔付近に提示する化学物質提示装置である。図2と比較して異なる点を中心に説明する。
同図において、15は、所定化学物質濃度、または、気体圧力を計測する手段、16は、15の計測値を時間微分する処理手段、および、当該処理結果を特徴情報または判定値と比較し、呼気または吸気などを判定する手段である。17は、基準となる特徴情報または判定値を記憶する手段である。
動作について説明する。図7のMEGは、15によって呼気時に排出される二酸化炭素濃度を計測した結果を模式的に示している。横軸は時間t、縦軸は二酸化炭素CO2の濃度である。Airは空気中の二酸化炭素濃度を示している。
t6で呼気があったとすると、二酸化炭素濃度は急激に高くなり、その後、呼気の圧力が小さくなるため、二酸化炭素濃度は少なくなり、更に、呼気の圧力が弱くなり、時刻t7において、吸気が始まると周りから空気が鼻腔付近に急速に流れ込むため、二酸化炭素濃度は急激に低下する。
当該二酸化炭素濃度CO2の計測値を時間微分すると、DIFで示す結果が得られる。DIFにおいて、t6、t8での傾斜(時間微分値)は正で大きい。従って、呼気を判定するための所定の基準値Th3を予め記憶手段17に記憶しておき、前記微分値が当該Th3より大きい場合、t6、t8を呼気開始時と判定することができる。
当該Th3は、計測値MEGが単位時間で計測値の平常値だけ増加する速度(例えば、計測値の平常値/秒)である。ここで、当該計測値の平常値は、計測値の平均値(Avg1)を用いることができる。
一方、t7、t9での傾斜(時間微分値)は負で大きい。従って、呼気を判定するための所定の基準値Th4を予め記憶手段17に記憶しておき、前記微分値が当該Th4より小さい場合、t7、t9を吸気開始時と判定することができる。
当該Th4は、計測値MEGが単位時間で計測値の平常値だけ減少する速度(例えば、−計測値の平常値/秒)である。ここで、当該計測値の平常値は、計測値の平均値(Avg1)を用いることができる。
また、t7、t9では、前記計測値MEG(CO2濃度)が急激に低下し、空気中の二酸化炭素濃度Air1に近くなるため、予め所定値MNを定めておき、MEGがMNを下回ることを条件として吸気時を判定することができる。ここで、MNは、本発明装置が利用される環境でのAir1の揺らぎを考慮して、当該揺らぎの上限値をわずかに超える値に設定すればよい。
また、図7において、人は安静時に、呼気時から吸気時までの時間ΔT1が大きく変わることは少ないため、当該ΔT1の平均を予め計測しておき、呼気開始を検出した時点t8で、ΔT1を加えて、t9を次の吸気として予測することができる。
以上のようにして、吸気が検出されると、気体放出調節弁86が開き、化学物質含有気体が鼻腔付近に放出される。呼気になると86は閉じる。このようにして、吸気時tomにのみ化学物質が提示される。
当該化学物質の種類を選択するために、図7では、図2で説明した化学物質注入装置61を用いている。
開閉弁22、23は、気体通過制御弁駆動装置79によって駆動され、79は処理装置50によって制御される。従って、前記吸気が検出された時、予め用意されたレシピに基づいて、化学物質を混合し、利用者に提示することができる。
以上では、15が二酸化炭素を計測するセンサの場合を説明したが、15は、当然他の成分を計測するセンサ、または、気圧を検出するセンサでもよい。
15が匂いの種類、強さを検出するセンサの場合、水晶振動子アレイを用いて構成できる。水晶振動子を並べ、匂い分子が付着した際の各水晶振動子の応答特性の組み合わせを特徴として判別処理することで可能である。例えば、自己組織化処理方法(ニューラルネットなど)により、匂いの種類やその濃度(強度)を判別することができる。
人体から排出される気体に含まれる化学物質(口臭の基になる物質)の濃度を計測し、当該濃度の変化から呼気時、吸気時を判別することができる。
次に、15が酸素濃度計測手段の場合の呼吸判定法について、図8を用いて説明する。同図において、計測値MEGは酸素濃度の時間変化を模式的に示したものである。Air2は通常の空気中の酸素濃度で20%程度である。t6、t8で呼気が始まると、鼻腔下部の酸素濃度は急激に低下し、呼気の圧力が弱まると、酸素濃度は徐々に増えて元に戻ろうとする。t7、t9で吸気が始まると、周囲から新鮮な空気が鼻腔下部に流れ込むため急激に空気中の酸素濃度に戻る。
当該計測値MEGを時間微分するとDIFが得られる。当該DIFが所定値Th6(例えば、−平常値/秒)を下回ることを条件として呼気t6、t8を判定することができる。ここで、計測値の平常値は、計測値の平均値(Avg2)を用いることができる。
当該呼気開始時t6、t8に、呼気から吸気までの平均時間ΔT1を加えると、次の吸気開始時t7、t9を予測することができる。
一方、DIFが所定値Th5(例えば、平常値/秒)を上回ることを条件として、吸気開始時t7、t9を検出することができる。
また、t7、t9では、前記計測値MEGは急激に空気中の酸素濃度Air2に戻るため、予め所定値MXを定めておき、MEGがMXを上回ることを条件として吸気開始時を判定することができる。ここで、MXは、本発明装置が利用される環境でのAir2の揺らぎを考慮して、当該揺らぎの下限値をわずかに下回る値に設定すればよい。
図9は、本発明の効果を示すための実験結果である。図1の構成の呼吸検出型化学物質提示装置を用い、呼気を検出し吸気を予測し、その都度空気砲を1回動作し、匂いの玉を被験者に放出した。20回の呼吸中(数分間)に香り感じた回数を調査した。
呼吸検出に基づいて香りを提示した場合は、全ての被験者が、20個の香り玉のうち14個以上を捉えている。特に被験者Eは提示した香り玉を全て捉えている。
一方、呼吸検出を行わず、20個の香り玉を20回の呼吸に相当する時間内に一定時間間隔で提示した場合、香り玉を捉える確率は、平均50%程度に留まった。
以上の結果より、本発明の効果は大きいことが分る。また、図2、図7のように、鼻腔付近に化学物質含有気体搬送管84を用いて香りを提示すると、100%香りを捉えることができる。
図10は、本発明の第5の実施例で、図2、図7で説明した気体搬送管を用い化学物質提示装置を耳装着可能に改良したものである。装置を小型、軽量化し、気体搬送管84を短くし効率の良い匂い提示を可能にしている。同図(A)は利用者が装置を装着した様子である。
構成を説明する。図10(B)は耳装着型化学物質含有気体放出部62を分解した様子である。24は気体搬送管84に化学物質を注入する装置、18は化学物質蓄積集積機構、19は香料液体吸蔵メッシュ機構などで構成される化学物質蓄積機構、81は圧縮した空気を溜める容器、86は81の圧縮空気を19に向けて放出する気体放出調節弁、14は18の中の1つの化学物質蓄積機構を選択するための分割領域選択ケース、82は84を連結する化学物質含有気体取り出し口である。81と86で瞬間気流発生機構を成す。
81には空気引き込み管85が連結されており、空気圧縮ポンプPomによって空気Airが同図矢印のように供給される。18は回転軸MMに勘合され、モーターMTで駆動される歯車MGで回転する。84の先端には気体放出筒80を設けてもよい。84、または、80の先端は、吸気時気流発生空間TYAの外側に設けられる。
24、81、14、MT、MGからなる化学物質含有気体切り替え放出部62は、耳装着可能に一体化されている。62は、耳装着型音響装置05(ヘッドホン)と一体化することもできる。つまり、頭部保持機構06に音響装置05と当該気体切り替え放出部62を取り付けることができる。
動作を説明する。図10(A)において、音響入力装置10などによって、呼吸が検出され、次の対象吸気が予測される。この予測時間に合わせて調節弁86が開くと、81内の圧縮空気は、19を通過し82から押し出される。82からは香料含有気体が放出される。当該気体は、84を通過し、80の先端から鼻腔付近の吸気時気流発生空間TYAに放出される。ここで、80の先端を管の腹部よりも細くしておくと、環状の匂い玉を作ることができる。
利用者が吸気時にあるとき、TYAに放出された匂いは鼻腔から取り込まれ嗅覚を刺激する。匂いを切り替える際は、モーターMTで18を回転すればよい。
次に、本実施例の利点を説明する。気体搬送管84は短いため、香料が管に付着することが少ない。匂いを切り替える場合にも適している。また、高速な匂い提示が可能である。清掃などのメンテナンスも容易である。
80の先端をTYAの外側に設定することによって、匂いを放出していないときは、仮に84の中に微量の香料が残っていても知覚されない。必要なときにのみ確実に匂いを提示できる。
また、84、80が鼻腔から離れているため、皮膚に触れて違和感を生じることや、手で鼻を擦る際も邪魔にならない。
化学物質含有気体切り替え放出部62はある程度の重量と大きさになるが、形状を扁平円筒に構成できるため、06によって耳付近に保持しやすい。この場合、重量は下方に掛かるため、力学的に前後のバランスがよく装着感がよい。装着中に80の位置がずれるなどの問題も少ない。
化学物質含有気体切り替え放出部62は、ヘッドホンと一体化することにより、音声や音楽と連動させて、利用者の好みに応じた匂い提示が可能である。
なお、62は、圧縮空気が吹き出る際、モーターが回転する際に雑音を生じる場合もある。この場合には、図10(C)に示すように、外耳を避けて、やや下方に取り付けるようにすればよい。
図12は、本発明の第6の実施例で、音声信号を処理し、話尾検出後に吸気が来ることを予測して匂いなどの化学物質含有気体を提示する化学物質提示装置である。匂い付き携帯電話への応用を示す。同図(A)は、装置の構成、(B)は、利用者である送話者の音声信号エネルギーENの時間変化を示した図、(C)は、通話相手から送られた音声信号エネルギーENの時間変化を示した図である。
図12において、60は、空気砲を用いた呼吸検出型化学物質含有気体放出装置で、図10に示したものと同様である。58は通信手段、51は受信音声分析装置、54は送信音声分析装置、13は対象吸気予測手段である。動作を説明する。
呼吸を検出する手段は、音響入力装置10と、当該音響入力装置の出力信号を処理して音声を分析する手段54で構成される。YASは最新呼気で話中を示す。
55は、話尾検出手段である。図12(B)の音声信号エネルギーENの変化を計測し、当該エネルギーが一定以下になり、そのレベルが所定時間以上継続した場合に話が終了したと判断し話尾を検出できる。話尾から、所定時間(HT)内に対象吸気(TOM)が置きやすく、このタイミングで匂い提示することが効果的である。FRG1は話尾検出後、HT=3秒以内から、相手が話し中の適当な時刻まで、匂いを提示している状態を示す。FRG1は、嗅覚順応を考慮し、10秒以内が望ましい。
会話中、1回の話の長さ(Length)が長い程、息継ぎのために吸気することが多い。調査したところ、3秒以上の話の後で、吸気が多いことが分かった。従って、Lengthが3秒以上で、話尾検出後3秒以内に鼻腔付近に匂い提示を開始するのがより効果的である。YASの中で、1秒以下の話の中断は、話中に含め話尾としないように処理できる。
話尾検出の度に匂いを付けるのではなく、話尾の回数を検出し、所定回数を超えた話尾の後に匂いを提示するように制御してもよい。間引いて匂いを提示することで、嗅覚順応が置きにくく、効果的な匂い提示が可能である。また、不要な匂いが周囲に拡散しにくい。
通常、話中は、呼気状態にあるので、匂い提示中であっても、話頭を検出して匂い提示を停止する制御が可能である。56は、音声を分析し話頭を検出する手段である。
52は、受信音声を分析し、通話相手が話中か否かを検出する受話検出手段である。図12(B)(C)のFRG2に示すように、利用者(送信者)の話尾検出後、通話相手からの受話を検出して匂いを提示することができる。TRG2は、利用者の話頭を検出して匂い提示を停止する場合を示している。
また、同図には示していないが、通話相手の音声を受信中に利用者(送信者)の相槌音声の話尾を検出し、当該話尾検出と前記通話相手の音声受信の論理積を検出して、匂いを放出してもよい。
59は、電話番号照合手段である。電話番号から相手の属性を識別できる。属性とは、氏名、年齢、性別などである。氏名毎に提示する匂いの種類を予め登録しておくことによって、会話中に相手のイメージに合致した匂いを提示することができる。会話が楽しくなる。着信時に当該匂いを発生させてもよい。
53は、音声信号を分析し、音声の特徴から通話相手を識別する手段である。音声特徴を登録しておくことによって、電話番号の照合の場合と同様に、氏名、年齢、性別などを検出できる。
また、通信相手側から、利用者の匂い提示装置に対して、所定の匂いを当該利用者に提示するように制御信号を送信することもできる。会話の相手が、相互に匂い情報を送ることによって、匂いをコミュニケーション手段に利用することができる。相手に好感を持って会話を楽しむことができる。
当該実施例では、音声信号エネルギーの強弱を計測し、話尾を検出したが、音声信号を周波数分析し、当該周波数成分の特徴から音声であることを判定し、当該特徴が含まれる期間を話中、即ち、呼気、当該特徴が含まれなくなった時刻を話尾と判定してもよい。この方法では、音声の特徴を検出するため、屋外で騒音がある場合でも、頑健に話頭、話中、話尾を検出できる。
また、当該実施例では、携帯電話への応用を示したが、本を朗読する場合など、一人で話をする場合にも適用できる。また、いびき音を検出し、いびきの最終時点の後に吸気を予測し、薬品を含有する気体を提示することができる。
本発明は、上記各実施形態に限定されるものではなく、実施段階において、その要旨を逸脱しない範囲で種々に変更することが可能である。また、上記実施形態は、種々の段階の発明が含まれており、適宜な組み合わせにより実施してもよい。更に、上記各実施例の構成要素は、その目的を踏まえて適宜省略する、または、周知慣用技術で補うことができる。
(1)映像や音楽に匂いを付ける嗅覚提示装置;映像や音楽の内容に合わせて、所定の時刻に所定の時間または所定量の匂いを適切に付けることができるため、当該映像や音楽は、臨場感が高く、迫力のあるものになる。匂い付き映画、匂い付き音楽、匂い付きゲーム、匂い付きホームページなどに利用でき、コンテンツの付加価値を高める。インターネットを用いた電子商取引で商品紹介に利用すれば、顧客の商品理解が深まり、販売促進につながる。パソコンや大型ディスプレーと連携して使用することもできる。
(2)乗り物用嗅覚提示装置;自動車、飛行機などの運転者、同乗者を支援する嗅覚提示装置として使用できる。運転中に疲労を感じた場合には、リフレッシュ作用のある柑橘系の香料を提示し、渋滞などで、いらいら感が増した場合には、リラックス作用のあるラベンダーなどを提示できる。呼吸音の解析から居眠りを検出した場合には、注意喚起する匂いを提示して、警告することができる。また、個人ごとに匂いの種類を変えることができるため、運転者には、覚醒系の匂い、同乗者にはリラックス系の匂いを提示することもできる。
(3)携帯型映像・音響装置のための嗅覚提示装置;携帯ラジオ、携帯テレビ、携帯電子手帳、携帯音楽演奏装置などと連携する匂い発生装置として使用することができる。本発明では、発生した匂いの殆どは利用者の嗅覚器から摂取され、周囲に漏れて拡散する量は少ない。従って、電車の中、公共の場所で、映像や音響と共に匂いを楽しむことができる。
(4)医療分野の投薬装置;薬を嗅覚器から投与する場合の装置として利用できる。喘息や、気管支炎、痛み緩和ケアなどの場合、患者は、高価な薬を必要量だけ正確に摂取する必要がある。本装置は呼吸を検出し、吸気に薬を投与するため、薬の無駄が少なく、投薬量を制御できる。経済的で効率のよい治療計画が可能である。また、医薬品が周囲に拡散しにくいため、携帯型の投薬装置に応用することもできる。慢性疾患などで長時間継続的に投薬する必要がある場合に適している。
(5)無呼吸症患者治療用嗅覚提示装置;無呼吸症状の改善のために、匂いの提示が有効である。呼吸が止まってから匂いを付けても効果は少ない。また、匂いには嗅覚順応があるため、無呼吸症状が始まる前からに匂いを提示し続けても効果が少ない。本発明では、呼吸の乱れも検出できるため、無呼吸症状の初期を検出し、吸気に合わせて、匂いが最も効果的に作用するように提示タイミングを制御して提示できる。
(6)無呼吸症患者の呼吸監視装置;可視画像処理と熱画像処理を併用する手段6の呼吸検出装置は、非接触で精度が高い特徴があるため、医療用呼吸監視装置に適している。
(7)匂いの出る携帯電話;携帯電話で着信があると、通話相手のイメージに合致した匂い(香り)、又は、利用者の気分に合致した匂いを提示することができる。話中は匂いを提示せず、話尾を検出して所定時間内に匂いを提示するので、匂いが周囲に拡散することなく、効率よく利用者に提示できる。匂いを用いたコミュニケーションが可能で会話を促進させる効果がある。
本発明の第1の実施例で、音響入力装置を用いて吸気を検出し、空気砲を用いて香料含有気体を鼻腔付近に提示する化学物質提示装置である。 本発明の第2の実施例で、音響入力装置を用いて吸気を検出し、化学物質含有気体搬送管を用いて香料含有気体を鼻腔付近に提示する化学物質提示装置である。 音響入力装置から出力される呼吸音信号である。 呼吸音信号を処理し、化学物質含有気体放出装置を動作する時刻(t(Meth1、または、t(Meth2))を決定する方法を説明する図である。 本発明の第3の実施例で、熱画像撮影装置を用いて呼気を検出し、吸気を予測する呼吸検出装置と、当該呼吸検出装置と空気砲を用いて、香料含有気体を鼻腔付近に提示する化学物質提示装置である。 呼気を判定する際の熱画像処理と、呼気画像の特徴情報を説明する図である。 本発明の第4の実施例で、呼気時に排出される二酸化炭素濃度を計測し、当該計測値を用いて呼気時、吸気時を判定し、吸気時に化学物質含有気体搬送管を用いて化学物質(香料、医薬品など)を鼻腔付近に提示する化学物質提示装置である。 図7の構成の化学物質提示装置において、酸素濃度を計測し、当該計測値から呼気時、吸気時を判定する呼吸検出装置の情報処理を説明する図である。 本発明の効果を説明する図である。 本発明の第5の実施例で、円盤型の化学物質蓄積集積機構と瞬間気流発生機構を用いた化学物質含有気体放出部62を頭部(耳部)装着可能にした呼吸検出型化学物質提示装置である。 本発明の作用を説明する図で、映像提示と匂い提示のタイミングずれの許容範囲を求める実験結果である。 本発明の第6の実施例で、音声信号を処理し、話尾検出後に吸気が来ることを予測して化学物質含有気体を提示する化学物質提示装置である。匂い付き携帯電話への応用を示す。
符号の説明
01・・・・・利用者
02・・・・・嗅覚器
05・・・・・耳装着型音響提示装置(ヘッドホン)
06・・・・・頭部保持機構
08・・・・・音響入力装置の信号線
09・・・・・支持機構
10・・・・・音響入力装置
11・・・・・呼吸検出手段を構成する音響処理手段
12・・・・・特徴情報記憶手段、または、判定値記憶手段
13・・・・・対象吸気予測手段
14・・・・・分割領域選択ケース
15・・・・・所定化学物質濃度、または、気体圧力を計測する手段
16・・・・・計測値微分手段、または、呼吸判定手段
17・・・・・特徴情報記憶手段、または、判定値記憶手段
18・・・・・化学物質蓄積集積機構
19・・・・・化学物質蓄積機構(香料液体吸蔵メッシュ機構)
20、21・・化学物質(香料)含有液体容器
22、23・・気体通過制御弁
24・・・・・気体放出筒または気体搬送管への化学物質注入装置
25・・・・・液体霧化装置
26・・・・・化学物質含有気体搬送管
30・・・・・可視画像撮影装置
31・・・・・可視画像処理手段
32・・・・・眼球近傍撮影装置
35・・・・・熱画像撮影装置
36・・・・・熱画像処理手段
37・・・・・特徴情報記憶手段、または、判定値記憶手段
50・・・・・化学物質放出制御処理装置
51・・・・・受信音声分析装置
52・・・・・受話検出手段
53・・・・・受話者識別手段
54・・・・・送信音声分析装置
55・・・・・話尾検出手段
56・・・・・話頭検出手段
58・・・・・通信手段
59・・・・・電話番号照合手段
60・・・・・空気砲を用いた化学物質含有気体放出装置
61・・・・・化学物質注入装置
62・・・・・化学物質含有気体切り替え放出部
74・・・・・瞬間気流発生手段
75・・・・・空気圧縮用錐形膜
76・・・・・蛇腹変形膜
77・・・・・ソレノイド
78・・・・・ソレノイド駆動装置
79・・・・・気体通過制御弁駆動装置
80・・・・・気体放出筒
81・・・・・空気溜め
82・・・・・化学物質含有気体取り出し口
83・・・・・開口部
84・・・・・化学物質含有気体搬送管
85・・・・・空気引き込み管
86・・・・・気体放出調節弁
87・・・・・化学物質含有気体搬送管と信号線を一体化する機構
Air・・・・空気
Air1・・・空気中の二酸化炭素濃度
Air2・・・空気中の酸素濃度
AP・・・・・林檎
Avg1・・・二酸化炭素濃度の平均値
Avg2・・・酸素濃度の平均値
CO2・・・・二酸化炭素
Dis・・・・表示装置
EN・・・・・音声信号のエネルギー
Fg・・・・・霧または気体の放出経路
FRG・・・・匂い提示時間
HD・・・・・空気砲式化学物質含有気体放出装置(60)の動作遅れ
HT・・・・・匂い提示開始許容時間
HIMG1、HIMG2、HIMG3・・・熱画像
K1、K2・・吸気時間
KEI・・・・吸気時間の平均
Lm・・・・・化学物質含有環状気体
ma・・・・・化学物質(香料)aを含有する霧または気体
M1、M2・・呼気終了から吸気終了までの時間
MAM・・・・呼気終了から吸気終了までの統計的平均時間
MT・・・・・モーター
MG・・・・・歯車
MM・・・・・軸
O2・・・・・酸素
Pom・・・・空気ポンプ
Process of Meth1・・対象吸気を検出する手段
Process of Meth2・・対象吸気を予測する手段
SUB21、SUB32・・・差分処理画像
SAM・・・・重畳処理画像
t(Meth1)・・Process of Meth1を用いた場合の化学物質含有気体放出装置の動作時刻
t(Meth2)・・Process of Meth2を用いた場合の化学物質含有気体放出装置の動作時刻
ΔT・・・・・予測時間
t・・・・・・時間軸
t1、t3、t5・・・呼気の終了時
t2、t4・・吸気の終了時
t6、t8・・呼気の開示時
t7、t9・・吸気の開始時
tom・・・・吸気
TOM・・・・対象吸気
Th1、Th2、Th3、Th4、Th5、Th6・・・基準値(閾値)
TYA・・・・吸気時気流発生空間
VIMG・・・可視画像
Wa、Wb・・化学物質(香料)を含有する液体
yas・・・・呼気
YAS・・・・最新呼気

Claims (11)

  1. 呼吸を検出する手段と、当該手段を利用して対象吸気を検出する手段、または、対象吸気を予測する手段と、当該検出または予測した対象吸気時に鼻腔付近に化学物質含有気体を提示する手段と、から構成されることを特徴とする呼吸検出型化学物質提示装置
  2. 請求項1において、
    前記呼吸を検出する手段は、呼吸音を収集する音響入力装置と、当該音響入力装置の出力信号を処理して特徴情報を抽出し、基準特徴情報と比較し、呼気または吸気を判定する処理手段と、から構成されることを特徴とする呼吸検出型化学物質提示装置
  3. 請求項1において、
    前記呼吸を検出する手段は、鼻腔付近の熱の変化を計測する装置と、当該熱計測装置の出力信号を処理して特徴情報を抽出し、基準特徴情報と比較し、呼気または吸気を判定する熱信号処理手段と、から構成されることを特徴とする呼吸検出型化学物質提示装置
  4. 請求項1において、
    前記呼吸を検出する手段は、鼻腔付近の気体の所定成分濃度、または、気圧を計測する手段と、当該計測値の時間変化を計算する手段と、当該時間変化を基準値と比較し、呼気または吸気を判定する手段と、から構成されることを特徴とする呼吸検出型化学物質提示装置
  5. 請求項1から請求項4において、
    前記鼻腔付近に化学物質含有気体を提示する手段は、筒、または、管に化学物質を注入する手段と、当該筒、または、管の気圧を瞬間的に高めて、当該筒、または、管の気体を鼻腔付近の空間に放出する手段と、から構成されることを特徴とする呼吸検出型化学物質提示装置
  6. 請求項1から請求項4において、
    前記鼻腔付近に化学物質含有気体を放出する手段は、気体搬送管と、当該搬送管内に化学物質を注入する装置と、当該搬送管の気圧を高め当該管の先端付近から当該化学物質含有気体を断続的に放出するように制御する手段とから構成され、
    前記管の先端は、吸気時の気流空間(TYA)の外側に設置され、前記気体放出手段の動作によって化学物質含有気体が当該吸気時気流空間に放出されることを特徴とする呼吸検出型化学物質提示装置
  7. 請求項1から請求項4において、
    前記鼻腔付近に化学物質含有気体を放出する手段は、気体搬送管と、当該搬送管内に異なる種類の化学物質を切り替えて注入する装置と、当該搬送管の気圧を高め当該管の先端付近から当該化学物質含有気体を断続的に放出するように制御する手段とから構成され、
    当該化学物質切り替え注入装置は耳装着型にしたことを特徴とする呼吸検出型化学物質提示装置
  8. 請求項1から請求項7において、
    嗅覚誘導刺激を提示する手段と、呼気終了を検出する手段を備え、
    当該嗅覚誘導刺激提示中、または、提示後2秒以内であって、かつ、当該呼気終了から2秒以内を対象吸気予測時として、化学物質含有気体を提示することを特徴とする呼吸検出型化学物質提示装置
  9. 請求項1から請求項7において、
    嗅覚誘導刺激を提示する手段と、呼気終了を検出する手段と、嗅覚誘導による瞳孔径の変化、または、視線の変化を検出する手段とを備え、
    これらの論理積を用いて対象吸気時に化学物質含有気体を提示することを特徴とする呼吸検出型化学物質提示装置
  10. 請求項1において、
    前記呼吸を検出する手段は、音響入力装置と、当該音響入力装置の出力信号を処理して音声を検出する手段から構成され、前記対象吸気を予測する手段は、当該音声から話尾を検出し、当該話尾から所定時間内に対象吸気が発生するものと予測することを特徴とする呼吸検出型化学物質提示装置
  11. 顔を撮影するための可視画像撮影装置と、当該装置の近くに設置された熱画像撮影装置と、当該可視画像の中から嗅覚器の位置を推定する可視画像処理手段と、当該嗅覚器の位置近くの熱画像を処理して特徴情報を抽出し、基準特徴情報と比較し、呼気を判定する熱画像処理手段と、から構成されることを特徴とする呼吸検出装置
JP2006347036A 2005-12-26 2006-12-25 呼吸検出型化学物質提示装置、および、呼吸検出装置 Pending JP2008086741A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006347036A JP2008086741A (ja) 2005-12-26 2006-12-25 呼吸検出型化学物質提示装置、および、呼吸検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005371368 2005-12-26
JP2006114612 2006-04-18
JP2006244364 2006-09-08
JP2006347036A JP2008086741A (ja) 2005-12-26 2006-12-25 呼吸検出型化学物質提示装置、および、呼吸検出装置

Publications (2)

Publication Number Publication Date
JP2008086741A true JP2008086741A (ja) 2008-04-17
JP2008086741A5 JP2008086741A5 (ja) 2009-02-05

Family

ID=39371503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006347036A Pending JP2008086741A (ja) 2005-12-26 2006-12-25 呼吸検出型化学物質提示装置、および、呼吸検出装置

Country Status (1)

Country Link
JP (1) JP2008086741A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011157873A1 (es) * 2010-06-16 2011-12-22 Fundación Para La Investigación Biomédica Del Hospital Universitario De La Paz Sistema y procedimiento para obtener datos acerca del ciclo respiratorio de un paciente
JP2013070997A (ja) * 2011-09-27 2013-04-22 Xerox Corp 呼気中の二酸化炭素(co2)濃度に関する、画像ベースの低侵襲性の決定
FR2988845A1 (fr) * 2012-04-03 2013-10-04 Univ Franche Comte Dispositif pour evaluer la perception olfactive.
WO2014045257A1 (en) * 2012-09-24 2014-03-27 Koninklijke Philips N.V. System and method for determining a person's breathing
JPWO2017094284A1 (ja) * 2015-11-30 2018-03-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2020062282A (ja) * 2018-10-18 2020-04-23 株式会社デンソー 心身状態誘導装置、心身状態誘導方法、及び制御プログラム
JP2020068966A (ja) * 2018-10-30 2020-05-07 株式会社国際電気通信基礎技術研究所 匂い提示システム、制御プログラムおよび匂い提示方法
JP2021040989A (ja) * 2019-09-12 2021-03-18 学校法人立命館 匂い物質提示装置
CN114072194A (zh) * 2019-05-15 2022-02-18 阿普森医疗有限公司 选择性地提供气味刺激的装置和方法
WO2022270310A1 (ja) * 2021-06-24 2022-12-29 ソニーグループ株式会社 制御装置、制御システム、制御方法、及び噴出装置
WO2023219081A1 (ja) * 2022-05-10 2023-11-16 公立大学法人大阪 呼気可視化システム及び方法並びに呼気評価システム及び方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379636A (ja) * 1986-09-24 1988-04-09 工業技術院長 嗅覚反応測定装置
JPH05329132A (ja) * 1992-05-28 1993-12-14 Anima Kk ブレスバイブレス代謝測定装置
JPH06130993A (ja) * 1992-10-22 1994-05-13 Nippondenso Co Ltd セグメンテーション及び音素の大分類認識法
JP2003502114A (ja) * 1999-06-22 2003-01-21 シュテファン リュッツ テクノロジーズ 芳香放出装置およびアロマ貯蔵体(芳香チップ)
JP2004193804A (ja) * 2002-12-09 2004-07-08 Kenwood Corp 無線機
JP2005352282A (ja) * 2004-06-11 2005-12-22 Univ Of Tokyo 匂い掲示装置、及び匂い掲示方法
JP2006295321A (ja) * 2005-04-06 2006-10-26 Tokai Univ 匂い提示情報付き映像コンテンツ及びその上映システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379636A (ja) * 1986-09-24 1988-04-09 工業技術院長 嗅覚反応測定装置
JPH05329132A (ja) * 1992-05-28 1993-12-14 Anima Kk ブレスバイブレス代謝測定装置
JPH06130993A (ja) * 1992-10-22 1994-05-13 Nippondenso Co Ltd セグメンテーション及び音素の大分類認識法
JP2003502114A (ja) * 1999-06-22 2003-01-21 シュテファン リュッツ テクノロジーズ 芳香放出装置およびアロマ貯蔵体(芳香チップ)
JP2004193804A (ja) * 2002-12-09 2004-07-08 Kenwood Corp 無線機
JP2005352282A (ja) * 2004-06-11 2005-12-22 Univ Of Tokyo 匂い掲示装置、及び匂い掲示方法
JP2006295321A (ja) * 2005-04-06 2006-10-26 Tokai Univ 匂い提示情報付き映像コンテンツ及びその上映システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011157873A1 (es) * 2010-06-16 2011-12-22 Fundación Para La Investigación Biomédica Del Hospital Universitario De La Paz Sistema y procedimiento para obtener datos acerca del ciclo respiratorio de un paciente
JP2013070997A (ja) * 2011-09-27 2013-04-22 Xerox Corp 呼気中の二酸化炭素(co2)濃度に関する、画像ベースの低侵襲性の決定
FR2988845A1 (fr) * 2012-04-03 2013-10-04 Univ Franche Comte Dispositif pour evaluer la perception olfactive.
WO2013150446A1 (fr) * 2012-04-03 2013-10-10 Universite De Franche-Comte Dispositif pour evaluer la perception olfactive
WO2014045257A1 (en) * 2012-09-24 2014-03-27 Koninklijke Philips N.V. System and method for determining a person's breathing
JPWO2017094284A1 (ja) * 2015-11-30 2018-03-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2020062282A (ja) * 2018-10-18 2020-04-23 株式会社デンソー 心身状態誘導装置、心身状態誘導方法、及び制御プログラム
JP7031554B2 (ja) 2018-10-18 2022-03-08 株式会社デンソー 心身状態誘導装置及び制御プログラム
JP2020068966A (ja) * 2018-10-30 2020-05-07 株式会社国際電気通信基礎技術研究所 匂い提示システム、制御プログラムおよび匂い提示方法
JP7233196B2 (ja) 2018-10-30 2023-03-06 株式会社国際電気通信基礎技術研究所 匂い提示システム、制御プログラムおよび匂い提示方法
CN114072194A (zh) * 2019-05-15 2022-02-18 阿普森医疗有限公司 选择性地提供气味刺激的装置和方法
JP2021040989A (ja) * 2019-09-12 2021-03-18 学校法人立命館 匂い物質提示装置
JP7343161B2 (ja) 2019-09-12 2023-09-12 学校法人立命館 匂い物質提示装置
WO2022270310A1 (ja) * 2021-06-24 2022-12-29 ソニーグループ株式会社 制御装置、制御システム、制御方法、及び噴出装置
WO2023219081A1 (ja) * 2022-05-10 2023-11-16 公立大学法人大阪 呼気可視化システム及び方法並びに呼気評価システム及び方法

Similar Documents

Publication Publication Date Title
JP2008086741A (ja) 呼吸検出型化学物質提示装置、および、呼吸検出装置
JP2008086741A5 (ja)
US11717215B2 (en) Breathing biofeedback device
CN104010685B (zh) 带有反馈系统的吸入装置
US8522774B2 (en) Aerosol apparatus, in particular for children
JP2008257216A (ja) 公衆用情報提示装置
JP2013162378A (ja) 香り付き映像提示装置及びコンテンツ制作方法
AU2012267259B2 (en) Nasal aroma breathing pipe
US20190192046A1 (en) Method and system for selecting an inhaler
EP3294392B1 (en) Nebulizers having yawn detection
JP2021508577A (ja) 吸入器訓練システムおよび方法
US20150114388A1 (en) Adapter for an anesthesia face mask
JP6548125B2 (ja) 全身麻酔導入支援システム、全身麻酔導入支援ゲーム装置、および、全身麻酔導入支援ゲーム装置用のプログラム
Jay Nitrous oxide: recreational use, regulation and harm reduction
Chen et al. VisaudiBlow: Fine-grained Blowing Interaction Based on Visual and Auditory Detection
US11219637B1 (en) Inhalation delivery methods and compositions for vitamin B12
JP2001218850A (ja) 気功装置
CN117296101A (zh) 信息处理装置、信息处理方法和程序
CN108498915A (zh) 一种游戏引导的吸入诊疗装置及控制使用方法
JP2001218849A (ja) 気功装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018