JP2014235507A - 端末装置、睡眠言動記録方法及び睡眠言動記録プログラム - Google Patents

Abstract

【課題】睡眠していた対象者自身が睡眠中にいびきや寝言を発していたことをその後に知ることを可能とするとともに、その寝言として発せられた具体的な言葉についても知得可能とする。
【解決手段】外部で発生した音を入力する音声入力手段１５を備えた端末装置１０であって、就寝状態にある対象者から発せられて音声入力手段１５で入力された音を記憶する記憶手段１２と、この記憶手段１２に記憶された音を文字に変換する音声変換手段２８と、この音声変換手段２８で変換された文字を表示する表示手段１３と、音を再生して出力する音出力手段１６、３３とを備える。
【選択図】図２

Description

本発明は、睡眠中の対象者の言動を記録する端末装置、この端末装置で実行される睡眠言動記録方法、及び、この睡眠言動記録方法を実行するための睡眠言動記録プログラムに関し、特に、睡眠中の対象者から発せられた寝言や当該対象者の体動を検知して記録する端末装置、睡眠言動記録方法及び睡眠言動記録プログラムに関する。

人は、睡眠中に、いびきを発したり、寝言を言ったりすることがある。
これらいびきや寝言は、睡眠中に発せられるものであり、しかも、無意識のうちに発せられるものである。このため、それらいびき等を発した本人は、起床後に覚えていないことが多い。
ただし、人は、自分が睡眠中にいびきを発していたかどうか、あるいは、寝言を言っていたかどうかについて、興味を持つものである。
そこで、睡眠中に発したいびきや寝言を検知する技術が提案されている。
例えば、対象者の周囲の光を検出する受光装置と、音を検出する受音装置と、対象者がいびきを発したかどうかを判定する判定装置とを備え、受光装置が検出している光の光量が所定量以下になると、判定装置は、対象者が就寝したものと判断し、その後に受音装置が音を検出すると、判定装置は、その音を対象者から発せられたいびきであるものと判定する技術が提案されている（例えば、特許文献１参照。）。

また、対象者が就寝する床やベッドの上に敷かれた平面状の圧力センサと、この圧力センサからの圧力情報を受信して解析する端末とを備え、その圧力情報を解析した結果、この圧力情報の示す周波数が所定の周波数領域に属しているときは、対象者がいびきや寝言を発したものと判断する技術が提案されている（例えば、特許文献２参照。）。

特開平７−２１３５４６号公報 特開２０１０−９９１７３号公報

しかしながら、上述した特許文献１に記載の技術においては、対象者がいびきを発したか否かを判断すると判定装置が検知信号を出力し、この検知信号にもとづいて、ベッドの高さを調整したり、ベッドを摺動したりするなどして、いびきを止めるものであった。
つまり、同技術では、判定装置がいびきを検知したとしても、この検知の結果を、起床後の対象者に提示することまでは考慮されていなかった。
このため、対象者は、自分がいびきを発したことを知ることはできなかった。

また、特許文献２に記載の技術は、圧力情報の示す圧力の変動を画面表示するものであるが、この圧力の変動を波形で表示するものであった。
このため、対象者が発した寝言が具体的にどのような言葉であったのかまでは、知ることができなかった。

本発明は、上記の事情にかんがみなされたものであり、睡眠していた対象者自身が睡眠中にいびきや寝言を発していたことをその後に知ることを可能とするとともに、その寝言として発せられた具体的な言葉についても知得可能とする端末装置、睡眠言動記録方法及び睡眠言動記録プログラムの提供を目的とする。

この目的を達成するため、本発明の端末装置は、外部で発生した音を入力する音声入力手段を備えた端末装置であって、就寝状態にある対象者から発せられて音声入力手段で入力された音を記憶する記憶手段と、この記憶手段に記憶された音を文字に変換する音声変換手段と、この音声変換手段で変換された文字を表示する表示手段と、音を再生して出力する音出力手段とを備えた構成としてある。

また、本発明の睡眠言動記録方法は、端末装置の音声入力手段が当該端末装置の外部で発生した音を入力する処理を有する睡眠言動記録方法であって、音声入力手段が、就寝状態にある対象者から発せられた音を入力する処理と、端末装置の記憶手段が、音声入力手段で入力された音を記憶する処理と、端末装置の音声変換手段が、記憶手段に記憶された音を文字に変換する処理と、端末装置の表示手段が、音声変換手段にて変換された文字を表示する処理と、端末装置の音出力手段が、音を再生して出力する処理とを有した方法としてある。

また、本発明の睡眠言動記録プログラムは、端末装置の外部で発生した音を入力するステップを端末装置に実行させるための睡眠言動記録プログラムであって、就寝状態にある対象者から発せられた音を入力するステップと、入力された音を記憶するステップと、記憶された音を文字に変換するステップと、変換された文字を表示するステップと、音を再生して出力するステップとを端末装置に実行させる構成としてある。

本発明の端末装置、睡眠言動記録方法及び睡眠言動記録プログラムによれば、睡眠していた対象者自身が、睡眠中にいびきや寝言を発していたことを、その後に知ることができる。
また、その寝言として発せられた具体的な言葉についても知得できる。

本発明の実施形態における端末装置の構成を示す外観斜視図である。 端末装置の制御系の構成を示すブロック図である。 オープニング画面の構成を示す正面図である。 サウンド設定画面の構成を示す正面図である。 おやすみサウンド画面の構成を示す正面図である。 さわやかサウンド画面の構成を示す正面図である。 目覚まし種類設定画面の構成を示す正面図である。 目覚まし時刻設定画面の構成を示す正面図である。 ぐっすりモード開始画面の構成を示す正面図である。 ぐっすりモード実行中画面の構成を示す正面図である。 起床時表示画面の構成を示す正面図である。 就寝時間表示画面の構成を示す正面図である。 日付選択画面の構成を示す正面図である。 グラフ表示画面の構成を示す正面図である。 寝言履歴表示画面の構成を示す正面図である。 寝言変換文字表示画面の構成を示す正面図である。 本発明の実施形態における端末装置の動作を示すフローチャートである。 「ぐっすり記録」処理の動作手順を示すフローチャートである。 「ぐっすりモード」処理の動作手順を示すフローチャートである。 「記録を見る」処理の動作手順を示すフローチャートである。

以下、本発明に係る端末装置、睡眠言動記録方法及び睡眠言動記録プログラムの好ましい実施形態について、図面を参照して説明する。

［端末装置］
まず、本発明の端末装置の実施形態について、図１、図２を参照して説明する。
図１は、本実施形態の端末装置の構成を示す外観斜視図である。図２は、端末装置の制御系の構成を示すブロック図である。

図１に示すように、端末装置１０は、ユーザが所持可能又は持ち運び可能に小型化された携帯型の端末機器である。
端末装置１０は、プログラム制御により動作するコンピュータであって、例えば、インターネットやＬＡＮなどの所定の電気通信回線に、有線又は無線で接続可能となっており、その電気通信回線に接続されたサーバなどの他の情報処理装置にアクセスして、所定の情報を取得したり、所定のプログラムをダウンロードしたり、所定の画像や映像を取得して表示するなどの機能を備えている。
このような機能を備えた端末装置１０の具体例として、例えば、スマートフォン、タブレット端末、携帯電話機、ＰＨＳなどを挙げることができる。

また、端末装置１０は、図１、図２に示すように、所定の電気通信回線に通信可能に接続する通信手段１１と、端末装置１０の有する機能を実行するためのプログラムやデータを記憶する記憶手段１２と、液晶ディスプレイなどで構成され、所定の画面を表示するとともにタッチパネルとしての機能を有した表示手段１３と、端末装置１０の筐体に取り付けられたハードウェアキーや表示手段１３に画面表示されたソフトウェアキーで構成される入力操作手段１４と、マイクなどで構成され、外部で発生した音声を入力する音声入力手段１５と、スピーカなどで構成され、所定の音声を外部へ出力する、本発明の音出力手段である音声出力手段１６と、時間を計測する計時手段１７と、物体の動きを検知するための加速度センサ１８と、端末装置１０の有する各種機能を実行するために当該端末装置１０の構成各部を制御する制御手段２０とを備えている。

記憶手段１２は、ＲＯＭやＲＡＭなど所定の記憶容量を有する、データの保存が可能な記憶部品、あるいは、この記憶部品を複数搭載したメモリディスク等の記憶媒体であって、端末装置１０の有する各種機能を実行するためのプログラムやデータを記憶する。
この記憶手段１２が記憶するプログラムには、例えば、音声を解析して文字データに変換する音声認識プログラムと、当該端末装置１０のユーザが睡眠中に発したいびきや寝言などの音声を音声認識プログラムの実行により変換させて文字データを取得し、これを表示手段１３に表示させる睡眠言動記録プログラムなどがある。

音声認識プログラムは、一文字分の音である音素（「あ」、「い」、「う」など）の波形サンプルからなる音響モデルと、語彙（「りんご」、「送る」、「美しい」など）や複数の語彙の関連性（「りんご」の次が「を」のときは、次が「食べた」など）を含む語彙又は語句の多数のサンプルからなる言語モデルとをデータとして有しており、音声入力手段１５で入力されたアナログの音声信号を波形に変換し、この変換した波形を一文字分ごとに区切って、それぞれを区分波形とし、これら区分波形ごとに、最も近似している音素の波形サンプルを抽出し、その音声信号の波形における区分波形の数が一つのときは、この一つの区分波形にもとづき抽出した波形サンプルの示す音素、又はこの音素により選択可能な語彙を、音声入力手段１５で入力された音声の示す語彙であるものと特定し、また、その音声信号の波形における区分波形の数が二以上あるときは、これら二以上の区分波形のそれぞれについて抽出した波形サンプルの示す音素をつなぎ合わせ、これらつなぎ合わせた二以上の音素からなる言葉に近似する語彙を、語彙のサンプルの中から選択し、この選択した語彙又は複数の語彙の並びである語句を、音声入力手段１５で入力された音声の示す語彙又は語句であるものと特定するプログラムである。

この音声認識プログラムの具体例として、例えば、数万語彙の連続音声認識をほぼ実時間で実行可能なソフトウエアである大語彙連続音声認識エンジンを挙げることができる。
記憶手段１２に記憶されるプログラムは、端末装置１０の販売時点で既に当該記憶手段１２に記憶されたもの、すなわち、端末装置１０に標準装備されたものであってもよく、あるいは、ユーザが当該端末装置１０を購入後、入力操作手段１４を操作することにより、所定の電気通信回線及び通信手段１１を介してダウンロードしたアプリケーションソフトウェアなどのプログラムであってもよい。

制御手段２０は、睡眠言動記録プログラムが起動することにより、図２に示すように、表示・設定制御部２０Ａと、データ収集部２０Ｂと、音声出力制御部２０Ｃと、記録表示制御部２０Ｄとを有する制御手段２０として機能する。
表示・設定制御部２０Ａは、表示手段１３への画面表示、入力操作部１４の操作の検知、設定された曲等の記憶手段１２への記憶などを制御する機能部である。データ収集部２０Ｂは、就寝中にユーザから発生されたいびきや寝言などの音、ユーザの体動、ユーザの睡眠の深さ等をデータ化して記憶手段１２に記憶させる機能部である。音声出力制御部２０Ｃは、音声出力手段１６における音や曲の出力を制御する機能部である。記録表示制御部２０Ｄは、データ化されたユーザの体動、音、睡眠深さ等を表示手段１３に表示させる機能部である。

制御手段２０は、端末装置１０の電源が投入されたことに伴って、ブートプログラムなどを実行して、ＯＳを起動し、表示手段１３に起動画面を表示させる。起動画面には、記憶手段１２に記憶されているプログラムを示すアイコン、特に、ユーザの選択により実行可能なプログラムを示すアイコンがソフトウェアキーとして表示される。
制御手段２０は、起動画面に表示されたアイコンのうち、睡眠言動記録プログラムを示すアイコンがユーザにより選択操作されると、睡眠言動記録プログラムを起動させる。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、オープニング画面５０１を表示させる。

オープニング画面５０１は、睡眠言動記録プログラムが起動したときに表示手段１３に最初に表示される画面（最初に表示される画面が他にあるときは、その後に表示される画面）であって、図３に示すように、睡眠言動記録プログラムのタイトル名（図３においては、「快眠の森」）を表示するとともに、操作可能なソフトウェアキーを表示する。
このオープニング画面５０１に表示されるソフトウェアキーには、例えば、「ぐっすり記録」キー５０１ａ、「ちょっと昼寝」キー５０１ｂ、「快眠準備」キー５０１ｃ、「妖精図鑑」キー５０１ｄ、「記録を見る」キー５０１ｅ、「その他」キー５０１ｆなどがある。

「ぐっすり記録」キー５０１ａは、睡眠中のユーザから発せられたいびきや寝言、当該ユーザの体動などを記録するモードである「ぐっすりモード」の内容を設定する画面に移行するときに操作されるキーである。
「ちょっと昼寝」キー５０１ｂは、５分や１０分などの短い時間を設定しておき、現在の時刻からその設定された時間が経過した後にアラームを起動させる「ちょっと昼寝モード」に移行するときに操作されるキーである。
「快眠準備」キー５０１ｃは、睡眠前の準備体操をレクチャーする画面に移行するときに操作されるキーである。
「妖精図鑑」キー５０１ｄは、取得した妖精を一覧表示する画面に移行するときに操作されるキーである。
「記録を見る」キー５０１ｅは、過去に記録されたいびきや寝言、体動などのデータを表示する画面に移行するときに操作されるキーである。
「その他」キー５０１ｆは、睡眠言動記録プログラムに関する情報を表示する画面や各種設定を行う画面等に移行するときに操作されるキーである。

このオープニング画面５０１に表示されたソフトウェアキーの中から「ぐっすり記録」キー５０１ａがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「ぐっすり記録」キー５０１ａが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、サウンド設定画面５０２を表示させる。
サウンド設定画面５０２は、ユーザの就寝時や起床前、起床時等において音声出力手段１６から出力させる音を設定するための画面であって、図４に示すように、操作可能なソフトウェアキーとして、例えば、「おやすみサウンド」キー５０２ａ、「さわやかサウンド」キー５０２ｂ、「目覚まし」設定キー５０２ｃ、「おびきよせアイテム」キー５０２ｄ、「ＯＫ」キー５０２ｅ、「ＢＡＣＫ」キー５０２ｆなどを表示する。

「おやすみサウンド」キー５０２ａは、端末装置１０のユーザが睡眠を開始しようとするときに音声出力手段１６から出力させる曲である「おやすみサウンド」の曲名を設定する画面に移行するときに操作されるキーである。
「さわやかサウンド」キー５０２ｂは、設定された「目覚まし時刻」から所定時間前に音声出力手段１６から出力させる曲である「さわやかサウンド」の曲名を設定する画面に移行するときに操作されるキーである。
「目覚まし」設定キー５０２ｃは、ユーザが起床する時刻として設定された「目覚まし時刻」の到達時に音声出力手段１６から出力させる音である「目覚まし音」の種類を設定する画面に移行するときに操作されるキーである。

「おびきよせアイテム」キー５０２ｄは、ユーザが所持しているおびきよせアイテムを、一覧表示する画面に移行するときに操作されるキーである。おびきよせアイテムとは、睡眠中のユーザに妖精が近づいてくるとの仮想のシナリオにおいて、その近づいてくる妖精の種類を増やすために使用されるアイテムである。
「ＯＫ」キー５０２ｅは、選択された曲の曲名等を最終決定するときに操作されるキーである。
「ＢＡＣＫ」キー５０２ｆは、一つ前の画面であるオープニング画面５０１を表示手段１３に表示させるときに操作されるキーである。

このサウンド設定画面５０２に表示されたソフトウェアキーの中から「おやすみサウンド」キー５０２ａがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「おやすみサウンド」キー５０２ａが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、おやすみサウンド設定画面５０３を表示させる。
おやすみサウンド設定画面５０３は、ユーザが睡眠を開始しようとするときに音声出力手段１６から出力させる曲である「おやすみサウンド」を設定するための画面であって、図５に示すように、操作可能なソフトウェアキーとして、例えば、「オリジナルサウンド」キー５０３ａ、「ミュージックサウンド」キー５０３ｂ、キャンセルキー５０３ｃ、設定キー５０３ｄ、再生ボリューム５０３ｅ、「ＢＡＣＫ」キー５０３ｆなどを表示する。

「オリジナルサウンド」キー５０３ａは、オリジナルの曲（睡眠言動記録プログラムに予め用意された曲）の曲名を「おやすみサウンド」として設定する画面に移行するときに操作されるキーである。
「ミュージックサウンド」キー５０３ｂは、ダウンロード等によって記憶手段１２に記憶された曲の曲名を「おやすみサウンド」として設定する画面に移行するときに操作されるキーである。
キャンセルキー５０３ｃは、「オリジナルサウンド」として設定された曲の曲名と、「ミュージックサウンド」として設定された曲の曲名を、いずれもキャンセル（解除）して、「オリジナルサウンド」と「ミュージックサウンド」がいずれも設定されていない状態にするときに操作されるキーである。
設定キー５０３ｄは、音声出力手段１６から曲を出力する時間を設定するための画面に移行するときに操作されるキーである。
再生ボリューム５０３ｅは、音声出力手段１６から出力される曲の音量を調節するときに操作されるスライド式のソフトウェアキーである。
「ＢＡＣＫ」キー５０３ｆは、一つ前の画面であるサウンド設定画面５０２を表示手段１３に表示させるときに操作されるキーである。

なお、このおやすみサウンド設定画面５０３に表示されたソフトウェアキーの中から「オリジナルサウンド」キー５０３ａがユーザによる操作により選択されたときは、制御手段２０は、「オリジナルサウンド」として選択可能な曲の曲名の一覧を、表示手段１３に画面表示させる（図示せず）。そして、一覧表示された複数の曲の曲名の中から一の曲名が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された曲名を「オリジナルサウンド」の曲名として記憶手段１２に記憶させることにより、その曲名を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すおやすみサウンド設定画面５０３を表示手段１３に表示させる。このおやすみサウンド設定画面５０３の「オリジナルサウンド」キー５０３ａには、設定された曲の曲名が表示される。

また、おやすみサウンド設定画面５０３に表示されたソフトウェアキーの中から「ミュージックサウンド」キー５０３ｂがユーザによる操作により選択されたときは、制御手段２０は、「ミュージックサウンド」として選択可能な曲の曲名の一覧を、表示手段１３に画面表示させる（図示せず）。そして、一覧表示された複数の曲の曲名の中から一の曲名が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された曲名を「ミュージックサウンド」の曲名として記憶手段１２に記憶させることにより、その曲名を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すおやすみサウンド設定画面５０３を表示手段１３に表示させる。このおやすみサウンド設定画面５０３の「ミュージックサウンド」キー５０３ｂには、設定された曲の曲名が表示される。

さらに、おやすみサウンド設定画面５０３に表示されたソフトウェアキーの中から設定キー５０３ｄがユーザによる操作により選択されたときは、制御手段２０は、音声出力手段１６から曲を出力する時間の候補を表示する画面を、表示手段１３に画面表示させる（図示せず）。そして、表示された出力時間の複数の候補の中から一の候補が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された時間を曲の出力時間として記憶手段１２に記憶させることにより、その時間を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すおやすみサウンド設定画面５０３を表示手段１３に表示させる。
そして、おやすみサウンド設定画面５０３に表示された「ＢＡＣＫ」キー５０３ｆがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、図４に示すサウンド設定画面５０２を、表示手段１３に表示させる。

サウンド設定画面５０２に表示されたソフトウェアキーの中から「さわやかサウンド」キー５０２ｂがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「さわやかサウンド」キー５０２ｂが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、さわやかサウンド設定画面５０４を表示させる。
さわやかサウンド設定画面５０４は、設定された「目覚まし時刻」の到達前に音声出力手段１６から出力させる曲である「さわやかサウンド」を設定するための画面であって、図６に示すように、操作可能なソフトウェアキーとして、例えば、「オリジナルサウンド」キー５０４ａ、「ミュージックサウンド」キー５０４ｂ、キャンセルキー５０４ｃ、設定キー５０４ｄ、再生ボリューム５０４ｅ、「ＢＡＣＫ」キー５０４ｆなどを表示する。

「オリジナルサウンド」キー５０４ａは、オリジナルの曲（睡眠言動記録プログラムに予め用意された曲）の曲名を「さわやかサウンド」として設定する画面に移行するときに操作されるキーである。
「ミュージックサウンド」キー５０４ｂは、ダウンロード等によって記憶手段１２に記憶された曲の曲名を「さわやかサウンド」として設定する画面に移行するときに操作されるキーである。
キャンセルキー５０４ｃは、「オリジナルサウンド」として設定された曲の曲名と、「ミュージックサウンド」として設定された曲の曲名を、いずれもキャンセル（解除）して、「オリジナルサウンド」と「ミュージックサウンド」がいずれも設定されていない状態にするときに操作されるキーである。
設定キー５０４ｄは、音声出力手段１６から曲を出力する時間を設定するための画面に移行するときに操作されるキーである。
再生ボリューム５０４ｅは、音声出力手段１６から出力される曲の音量を調節するときに操作されるスライド式のソフトウェアキーである。
「ＢＡＣＫ」キー５０４ｆは、一つ前の画面であるサウンド設定画面５０２を表示手段１３に表示させるときに操作されるキーである。

なお、このさわやかサウンド設定画面５０４に表示されたソフトウェアキーの中から「オリジナルサウンド」キー５０４ａがユーザによる操作により選択されたときは、制御手段２０は、「オリジナルサウンド」として選択可能な曲の曲名の一覧を、表示手段１３に画面表示させる（図示せず）。そして、一覧表示された複数の曲の曲名の中から一の曲名が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された曲名を「オリジナルサウンド」の曲名として記憶手段１２に記憶させることにより、その曲名を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すさわやかサウンド設定画面５０４を表示手段１３に表示させる。このさわやかサウンド設定画面５０４の「オリジナルサウンド」キー５０４ａには、設定された曲の曲名が表示される。

また、さわやかサウンド設定画面５０４に表示されたソフトウェアキーの中から「ミュージックサウンド」キー５０４ｂがユーザによる操作により選択されたときは、制御手段２０は、「ミュージックサウンド」として選択可能な曲の曲名の一覧を、表示手段１３に画面表示させる（図示せず）。そして、一覧表示された複数の曲の曲名の中から一の曲名が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された曲名を「ミュージックサウンド」の曲名として記憶手段１２に記憶させることにより、その曲名を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すさわやかサウンド設定画面５０４を表示手段１３に表示させる。このさわやかサウンド設定画面５０４の「ミュージックサウンド」キー５０４ｂには、設定された曲の曲名が表示される。

さらに、さわやかサウンド設定画面５０４に表示されたソフトウェアキーの中から設定キー５０４ｄがユーザによる操作により選択されたときは、制御手段２０は、音声出力手段１６から曲を出力する時間の候補を表示する画面を、表示手段１３に画面表示させる（図示せず）。そして、表示された出力時間の複数の候補の中から一の候補が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された時間を曲の出力時間として記憶手段１２に記憶させることにより、その時間を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図５に示すさわやかサウンド設定画面５０４を表示手段１３に表示させる。
そして、さわやかサウンド設定画面５０４に表示された「ＢＡＣＫ」キー５０４ｆがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、図４に示すサウンド設定画面５０２を、表示手段１３に表示させる。

サウンド設定画面５０２に表示されたソフトウェアキーの中から「目覚まし」設定キー５０２ｃがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「目覚まし」設定キー５０２ｃが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、目覚まし種類設定画面５０５を表示させる。
目覚まし種類設定画面５０５は、設定された「目覚まし時刻」に到達したときに音声出力手段１６から出力させる曲や音である「目覚まし音」を設定するための画面であって、図７に示すように、操作可能なソフトウェアキーとして、例えば、「普通の目覚まし」キー５０５ａ、「恋人モード」キー５０５ｂ、「軍隊モード」キー５０５ｃ、キャンセルキー５０５ｄ、設定キー５０５ｅ、「ＢＡＣＫ」キー５０５ｆなどを表示する。

「普通の目覚まし」キー５０５ａは、「目覚まし音」を具体的に設定する画面に移行するときに操作されるキーである。
「恋人モード」キー５０５ｂは、「目覚まし音」として、女性の声を設定する画面に移行するときに操作されるキーである。
「軍隊モード」キー５０５ｃは、「目覚まし音」として、軍曹などの男性の声を設定する画面に移行するときに操作されるキーである。この軍隊モードを設定したときは、「目覚まし時刻」に到達したときに、音声出力手段１６から、軍曹風の声で、例えば、「こら、起きろ」などの声が出力され、これに対して、ユーザが、「イエス、サー」などの掛け声を発しない限り、軍曹の声が繰り返し出力されるようになっている。

キャンセルキー５０５ｄは、「普通の目覚まし」キー５０５ａとして設定された「目覚まし音」と、「恋人モード」の設定と、「軍隊モード」の設定とを、いずれもキャンセル（解除）して、「普通の目覚まし」と「恋人モード」と「軍隊モード」がいずれも設定されていない状態にするときに操作されるキーである。
設定キー５０５ｅは、音声出力手段１６から音を出力する時間を設定するための画面に移行するときに操作されるキーである。
「ＢＡＣＫ」キー５０５ｆは、一つ前の画面であるサウンド設定画面５０２を表示手段１３に表示させるときに操作されるキーである。

なお、この目覚まし種類設定画面５０５に表示されたソフトウェアキーの中から「普通の目覚まし」キー５０５ａがユーザによる操作により選択されたときは、制御手段２０は、「目覚まし音」として選択可能な曲の曲名又は音の名称の一覧を、表示手段１３に画面表示させる（図示せず）。そして、一覧表示された複数の曲の曲名又は音の名称の中から一の曲名等が、ユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その選択された曲名等を「目覚まし音」の曲名等として記憶手段１２に記憶させることにより、その曲名等を設定する。その後に、この画面上で、前の画面に戻るときに操作される「ＢＡＣＫ」キーが選択されると、制御手段２０は、図７に示す目覚まし種類設定画面５０５を表示手段１３に表示させる。この目覚まし種類設定画面５０５の「普通の目覚まし」キー５０５ａには、設定された曲の曲名又は音の名称が表示される。

サウンド設定画面５０２に表示されたソフトウェアキーの中から「ＯＫ」キー５０２ｅがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「ＯＫ」キー５０２ｅが選択されたことを検知する。そして、制御手段２０は、「ぐっすりモード」に移行し、表示・設定制御部２０Ａの表示制御部２１として動作して、表示手段１３に、目覚まし時刻設定画面５０６を表示させる。
目覚まし時刻設定画面５０６は、ユーザが起床する時刻を「目覚まし時刻」として設定するための画面であって、図８に示すように、操作可能なソフトウェアキーとして、例えば、「目覚まし時刻」の具体的な時と分とを個別に設定するときに操作される目覚まし時刻設定ダイヤル５０６ａ、選択された「目覚まし時刻」を最終的に決定するときに操作される「ＯＫ」キー５０６ｂ、一つ前の画面であるサウンド設定画面５０２を表示手段１３に表示させるときに操作される「ＢＡＣＫ」キー５０６ｃなどを表示する。

この目覚まし時刻設定画面５０６に表示されたソフトウェアキーの中から「ＯＫ」キー５０６ｂがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「ＯＫ」キー５０６ｂが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの設定部２３として動作し、その目覚まし時刻設定ダイヤル５０６ａにより選択された時刻を「目覚まし時刻」として記憶手段１２に記憶させることにより、その時刻を「目覚まし時刻」として設定する。

また、制御手段２０は、「ＯＫ」キー５０６ｂが選択されたことを検知すると、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、ぐっすりモード開始画面５０７を表示させる。
ぐっすりモード開始画面５０７は、図９に示すように、端末装置１０をユーザの枕元に置くように指示することを内容とするメッセージを表示するとともに、操作可能なソフトウェアキーとして、「ぐっすりモード」の開始をユーザが承諾するときに操作される「ＯＫ」キー５０７ａ、一つ前の画面である目覚まし時刻設定画面５０６を表示手段１３に表示させるときに操作される「ＢＡＣＫ」キー５０７ｂなどを表示する。

このぐっすりモード開始画面５０７に表示されたソフトウェアキーの中から「ＯＫ」キー５０７ａがユーザによる操作により選択されると、制御手段２０は、表示・設定制御部２０Ａの操作検知部２２として動作し、その「ＯＫ」キー５０７ａが選択されたことを検知する。そして、制御手段２０は、表示・設定制御部２０Ａの表示制御部２１として動作し、表示手段１３に、ぐっすりモード実行中画面５０８を表示させる。

ぐっすりモード実行中画面５０８は、図１０に示すように、「ぐっすりモード」を、現在実行していることを示す画面内容や、設定された「目覚まし時刻」を表示する画面である。
また、このぐっすりモード実行中画面５０８には、「目覚まし時刻」に到達する前に「ぐっすりモード」を解除するときに操作されるぐっすりモード解除キー（起きる）５０８ａが、ソフトウェアキーとして表示される。
さらに、このぐっすりモード実行中画面５０８には、「ぐっすりモード」を実行中にユーザが操作可能な内容をメッセージとして表示する。このメッセージには、例えば、「電源ボタンやホームボタンを押すと記録が中断されます」などがある。

制御手段２０は、表示手段１３にぐっすりモード実行中画面５０８を表示させると、音声出力制御部２０Ｃのおやすみ音出力制御部２４として動作し、おやすみサウンド設定画面５０３（図５参照）で設定された曲である「おやすみサウンド」を、音声出力手段１６から出力させる。
そして、制御手段２０のおやすみ音出力制御部２４は、その「おやすみサウンド」の出力を開始した後、その「おやすみサウンド」の出力時間を監視し、おやすみサウンド設定画面５０３（図５参照）の設定キー５０３ｄにより設定された曲の出力時間が経過すると、その「おやすみサウンド」の出力を停止する。

また、制御手段２０は、表示手段１３にぐっすりモード実行中画面５０８を表示させると、本発明の体動算出手段であるデータ収集部２０Ｂの体動算出部２５として動作し、加速度センサ１８から送られてきた加速度信号を入力し、この加速度信号の示す数値を加速度データとして、記憶手段１２に記憶させる。
加速度センサ１８は、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）を使った半導体方式の加速度センサなどを使用することができる。具体的な動作として、加速度センサ１８は、外部から与えられた振動を微小可動部の位置変化などで検出し、この検出した微小可動部の位置変化を振動の加速度の大きさとし、これを示す電気信号を加速度信号として出力する。
この加速度センサ１８は、端末装置１０に内蔵されている。ユーザは、就寝前に、当該端末装置１０を自身の枕元に置く。これにより、加速度センサ１８は、就寝中のユーザが寝返りをうつなどして、体を動かしたときに、そのユーザが寝ているベッド、床、布団などを通して伝わってきた振動を微小可動部の位置変化として検出し、この振動の加速度の大きさに応じた電気信号を加速度信号として出力する。

制御手段２０の体動算出部２５は、加速度センサ１８から送られてきた加速度信号を入力すると、この加速度信号の示す数値を所定の範囲内の数値（例えば、０から２５５までの２５６段階の数値）に変換し、この変換した数値を加速度データとして、記憶手段１２に記憶させる。このとき、制御手段２０は、加速度センサ１８で当該加速度が検出された日付及び時刻を、当該加速度データに対応付けて、記憶手段１２に記憶させる。

また、制御手段２０は、表示手段１３にぐっすりモード実行中画面５０８を表示させると、データ収集部２０Ｂの録音部２６として動作し、音声入力手段１５にて入力されたアナログの音声を、音声信号として、記憶手段１２に記憶させることにより、録音させる。

音声入力手段１５は、例えば、マイクなどで構成されており、当該端末装置１０の外部で発生した音を入力する。
この音声入力手段１５を内蔵した端末装置１０は、就寝中のユーザの枕元に置かれることを想定している。このため、音声入力手段１５は、就寝中のユーザから発せられたいびきや寝言などの音を入力することができる。
なお、本実施形態では、音声入力手段１５が入力する音としていびきや寝言を想定しているが、いびきや寝言に限るものではなく、この音声入力手段１５が入力可能な音圧や音量を有する音であればよい。例えば、ユーザが発した寝息や歯ぎしり、このユーザの近くにいる者の声、付近で物が落ちる音、屋外を通過する自動車や電車の音などであってもよい。

制御手段２０の録音部２６は、音声入力手段１５から送られてきたアナログの音声を、音声信号として、記憶手段１２に記憶させることにより、録音させる。このとき、録音部２６は、音声入力手段１５で当該音声が入力された日付及び時刻を、その音声信号に対応付けて、記憶手段１２に記憶させる。
また、録音部２６は、一定の音圧を閾値として設定しておき、音声入力手段１５に入力された音のうち、閾値以上の音圧を有する音が音声入力手段１５に入力されたときに、この音の録音を開始して、その音を記憶手段１２に録音（記憶）させることができる。
さらに、録音部２６は、一度、音の録音を開始した後、音圧がゼロ（０）又は所定の音圧以下に下がり、この音圧のゼロの状態又は所定の音圧以下の状態が一定時間経過したときに、その録音を終了させることができる。
あるいは、録音部２６は、音の録音を開始して、一定時間経過後に、その録音を終了させることもできる。

さらに、制御手段２０は、本発明の音声値算出手段であるデータ収集部２０Ｂの音圧算出部２７として動作し、表示手段１３におけるぐっすりモード実行中画面５０８の表示後に、音声入力手段１５にて入力されたアナログ音声の音圧を算出し、この算出した音圧を音圧データとして、記憶手段１２に記憶させる。
ここで、制御手段２０の音圧算出部２７は、音声入力手段１５から送られてきたアナログ音声を入力すると、このアナログ音声の音圧を算出し、この算出した音圧を所定の範囲内の数値（例えば、０から２５５までの２５６段階の数値）に変換し、この変換した数値を音圧データとして、記憶手段１２に記憶させる。このとき、制御手段２０は、音声入力手段１５で当該アナログ音声が入力された日付及び時刻を、当該音圧データに対応付けて、記憶手段１２に記憶させる。

また、制御手段２０は、本発明の音声変換手段であるデータ収集部２０Ｂの音解析部２８として動作し、記憶手段１２に記憶された音声認識プログラムを起動するとともに、その記憶手段１２からアナログの音声信号を取り出し、その起動した音声認識プログラムを実行することにより、そのアナログ音声信号を解析し、文字データに変換し、この文字データを、記憶手段１２に記憶させる。このとき、制御手段２０は、音声入力手段１５で当該音声が入力された日付及び時刻を、その文字データに対応付けて、記憶手段１２に記憶させる。

また、制御手段２０は、本発明の睡眠深さ算出手段であるデータ収集部２０Ｂの睡眠深さ算出部２９として動作し、加速度データと音圧データにもとづいて、ユーザの睡眠の深さである睡眠深さを算出する。
睡眠深さは、次式を用いて算出することができる。
睡眠深さ＝加速度データ＋音圧データ （式１）

この式１を用いて算出された睡眠深さは、この睡眠深さを算出するときに使用した加速度データ及び音圧データが取得された日付及び時刻と対応付けて、睡眠深さデータとして、記憶手段１２に記憶される。

なお、加速度データは、０〜２５５の数値の範囲内で表されるものであり、音圧データも、０〜２５５の数値の範囲内で表されるものであるため、式１を用いて算出された睡眠深さは、０〜５１０の数値の範囲内で表されるものとなる。
ただし、睡眠深さについても、０〜２５５の数値の範囲内で表される数値とする場合、睡眠深さは、次式を用いて算出することができる。
睡眠深さ＝（加速度データ＋音圧データ）／２ （式２）
この式２を用いて算出された睡眠深さデータは、０〜２５５の数値の範囲内で表された数値となる。

制御手段２０は、音声出力制御部２０Ｃのアラーム管理部３０として動作し、「ぐっすりモード」の実行中に、計時手段１７の示す現在の時刻を監視する。そして、この現在の時刻が、「目覚まし時刻」から所定時間前の時刻（例えば、「目覚まし時刻」から５分前の時刻）に到達したか否かを判断する。
そして、現在の時刻が、「目覚まし時刻」から所定時間前の時刻に到達したものとアラーム管理部３０が判断すると、制御手段２０は、さわやかサウンド設定画面５０４（図６参照）で設定された曲である「さわやかサウンド」を、音声出力手段１６から出力させる。
そして、制御手段２０のアラーム管理部３０は、その「さわやかサウンド」の出力を開始した後、その「さわやかサウンド」の出力時間を監視し、さわやかサウンド設定画面５０４（図６参照）の設定キー５０４ｄにより設定された曲の出力時間が経過すると、その「さわやかサウンド」の出力を停止する。

制御手段２０は、アラーム管理部３０として動作し、「ぐっすりモード」の実行中に、計時手段１７の示す現在の時刻を監視して、この現在の時刻が「目覚まし時刻」に到達したか否かを判断する。
そして、現在の時刻が「目覚まし時刻」に到達したものとアラーム管理部３０が判断すると、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に起床時表示画面５０９を表示させる。

起床時表示画面５０９は、図１１に示すように、「ぐっすりモード」が終了したことを示すメッセージや、設定された「目覚まし時刻」を表示する画面である。
「ぐっすりモード」が終了したことを示すメッセージには、例えば、「おはようございます」などがある。
また、この起床時表示画面５０９には、例えば、「ぐっすりモード」の終了時点でユーザに操作させるぐっすりモード終了確認キー（起きる）５０９ａが、ソフトウェアキーとして表示される。

また、制御手段２０は、アラーム管理部３０として動作し、現在の時刻が「目覚まし時刻」に到達したものと判断すると、目覚まし種類設定画面５０５（図７参照）で設定された音（「普通の目覚まし」キー５０５ａが選択されて設定された音。「恋人モード」が選択されたときの設定音。又は、「軍隊モード」が選択されたときの設定音。）を、音声出力手段１６から出力させる。
なお、目覚まし種類設定画面５０５（図７参照）で「恋人モード」キー５０５ｂが選択されて、「恋人モード」が設定されたときは、制御手段２０は、表示手段１３に、その「恋人モード」に関する画面を表示させることができる。
また、目覚まし種類設定画面５０５（図７参照）で「軍隊モード」キー５０５ｃが選択されて、「軍隊モード」が設定されたときは、制御手段２０は、表示手段１３に、その「軍隊モード」に関する画面を表示させることができる。

表示手段１３に起床時表示画面５０９が表示されている場合において、この起床時表示画面５０９に表示されたぐっすりモード終了確認キー５０９ａがユーザにより操作されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、そのぐっすりモード終了確認キー５０９ａが操作されたことを検知する。そして、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、就寝時間表示画面５１０を表示させる。
就寝時間表示画面５１０は、図１２に示すように、ユーザが就寝した時間を表示する画面である。
また、この就寝時間表示画面５１０には、この画面の表示を終了するときに操作される確認キーである「ＯＫ」キー５１０ａが、ソフトウェアキーとして表示される。

ユーザによる操作により、就寝時間表示画面５１０に表示された「ＯＫ」キー５１０ａが操作されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、その「ＯＫ」キー５１０ａが操作されたことを検知する。そして、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、オープニング画面５０１（図３参照）を表示させる。

オープニング画面５０１に表示されたソフトウェアキーの中から「記録を見る」キー５０１ｅがユーザによる操作により選択されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、その「記録を見る」キー５０１ｅが選択されたことを検知する。そして、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、日付選択画面５１１を表示させる。
日付選択画面５１１は、図１３に示すように、日付一覧表示部５１１ａと、次月表示キー５１１ｂと、前月表示キー５１１ｃと、「ＢＡＣＫ」キー５１１ｄとを表示する画面である。

日付一覧表示部５１１ａは、過去に「ぐっすりモード」が実行された日付を一覧表示するエリアであって、一覧表示された日付が、各日付ごとに選択可能なソフトウェアキーとして表示される。
なお、図１３に示す日付選択画面５１１の日付一覧表示部５１１ａにおいては、「２月４日」が二つ表示されている。これは、その「２月４日」である２４時間のうちに、睡眠言動記録プログラムを実行した回数、正確には、「ぐっすりモード」を実行した回数が二回あったことを示している。このように、「ぐっすりモード」は、一日の間に複数回実行することができる。
また、「ぐっすりモード」を実行しなかった日の日付については、日付一覧表示部５１１ａに表示されないようになっている。

次月表示キー５１１ｂは、日付一覧表示部５１１ａに表示されている日付を、次の月の日付に変更するときに操作されるキーである。
前月表示キー５１１ｃは、日付一覧表示部５１１ａに表示されている日付を、前の月の日付に変更するときに操作されるキーである。
「ＢＡＣＫ」キー５１１ｄは、一つ前の画面であるオープニング画面５０１を表示手段１３に表示させるときに操作されるキーである。

日付一覧表示部５１１ａに一覧表示された日付の中から一の日付がユーザによる操作により選択されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、その一の日付が選択されたことを検知する。
そして、制御手段２０は、記録表示制御部２０Ｄのグラフ制御部３１として動作し、その選択された日付に対応付けて記憶された加速度データと音圧データと睡眠深さデータとを記憶手段１２から取り出し、表示手段１３におけるグラフ表示が可能なデータに変換する。

また、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、グラフ表示画面５１２を表示させる。
グラフ表示画面５１２は、図１４に示すように、睡眠深さ表示エリア５１２ａと、体動グラフ表示エリア５１２ｂと、寝言グラフ表示エリア５１２ｃと、「ＢＡＣＫ」キー５１２ｄとを表示する画面である。
睡眠深さ表示エリア５１２ａは、横軸を時間とし、縦軸を睡眠深さとして、睡眠深さデータをグラフ表示するエリアである。この睡眠深さ表示エリア５１２ａに睡眠深さデータをグラフ表示することにより、ユーザは、そのグラフに示された波形の縦軸方向の大きさによって、自身の睡眠の深さを知ることができる。
また、この睡眠深さ表示エリア５１２ａでは、縦軸方向に４段階の色分けがされており、一番上が「睡眠の深さ」が浅く、一番下が「睡眠の深さ」が深いことを示している。これにより、睡眠の深さを視覚的に容易に捉えることができる。

体動グラフ表示エリア５１２ｂは、横軸を時間とし、縦軸を加速度の大きさとして、加速度データをグラフ表示するエリアである。この体動グラフ表示エリア５１２ｂに加速度データをグラフ表示することにより、ユーザは、自身が就寝中に寝返りをうったことを、波形の有無によって知ることができる。また、ユーザは、そのグラフに示された波形の縦軸方向の大きさを確認することにより、そのときの寝返りの大きさを知ることができる。
寝言グラフ表示エリア５１２ｃは、横軸を時間とし、縦軸を音圧の大きさとして、音圧データをグラフ表示する。この寝言グラフ表示エリア５１２ｃに音圧データをグラフ表示することにより、ユーザは、自身が寝言を発したことを、波形の有無によって知ることができる。また、ユーザは、そのグラフに示された波形の縦軸方向の大きさを確認することにより、そのときの寝言の音圧の大きさを知ることができる。
「ＢＡＣＫ」キー５１２ｄは、一つ前の画面である日付選択画面５１１を表示手段１３に表示させるときに操作されるキーである。

グラフ表示画面５１２において、寝言グラフ表示エリア５１２ｃのエリア内、又は、その近傍には、寝言表示キー５１２ｅがソフトウェアキーとして表示される。
この寝言表示キー５１２ｅがユーザにより操作されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、その寝言表示キー５１２ｅが操作されたことを検知する。そして、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、寝言履歴表示画面５１３を表示させる。

寝言履歴表示画面５１３は、図１５に示すように、寝言一覧表示部５１３ａと、「ＢＡＣＫ」キー５１３ｂとを表示する画面である。
「ＢＡＣＫ」キー５１３ｂは、一つ前の画面であるグラフ表示画面５１２を表示手段１３に表示させるときに操作されるキーである。

寝言一覧表示部５１３ａは、日付選択画面５１１の日付一覧表示部５１１ａに表示された日付の中から選択された一の日付において録音された一又は二以上の音声のそれぞれに対応する文字データの一部又は全部を一覧表示する領域である。
例えば、日付選択画面５１１の日付一覧表示部５１１ａに表示された日付の中から選択された一の日付が「２月４日」であったとする。
この「２月４日」において睡眠言動記録プログラムの「ぐっすりモード」が実行されたときに、この一回の「ぐっすりモード」の実行において音が録音される回数は、０回、一回又は複数回である。これは、「ぐっすりモード」の実行中、端末装置１０の外部で発声した音の音圧（又は音量等）が一定値以上となったときに録音を開始し、その後に、その音圧（又は音量等）が一定値以下となった時間が所定時間以上となったときにその録音を終了し、次に音圧（又は音量等）が一定値以上である音が入力されるまでは録音を行わないからである。例えば、「ぐっすりモード」を実行した時間が７時間であった場合において、所定時間の間隔をおいてユーザがいびきを三回発したとき、この「ぐっすりモード」の一回の実行において、いびきが三回録音されることとなる。

制御手段２０の音解析部２８は、それら音ごとに文字データに変換する。文字データは、変換前の音に対応付けられて、記憶手段１２に記憶される。
そして、日付選択画面５１１の日付一覧表示部５１１ａに表示された日付の中から「２月４日」が選択されると、寝言一覧表示部５１３ａには、その選択された「２月４日」において録音された一又は二以上の音声のそれぞれに対応する文字データが、それら録音された音声ごとに、一覧表示される。上記の例では、「２月４日」において録音された三回のいびきのそれぞれに対応する文字データが、寝言一覧表示部５１３ａに、一覧表示される。

また、寝言一覧表示部５１３ａには、文字データとともに、対応する音声信号の録音された時刻が表示される。
そして、寝言一覧表示部５１３ａには、それら文字データ及び時刻が、これら文字データ等ごとに、選択可能なソフトウェアキーとして表示される。

さらに、それらソフトウェアキーのそれぞれに表示される文字データは、対応する音声信号から変換された文字データの一部又は全部となっている。すなわち、文字データの示す文字の数が所定数以上あるときは、その文字データの一部がそのソフトウェアキーに表示される。
ここで、一のソフトウェアキーに表示可能な文字データの文字数には制限が設けられており、この制限数よりも文字データの示す文字数が少ないときにのみ、当該ソフトウェアキーにその文字データのすべてが表示される。
一方、文字データの示す文字数がその制限数よりも多いときには、当該ソフトウェアキーには、文字データの一部（例えば、文字データの示す文字のうち、最初の数文字）が表示される。これにより、このソフトウェアキーに表示される文字データは、当該寝言一覧表示部５１３ａにおいて、各文字データのインデックスとしての役割を果たしている。

寝言一覧表示部５１３ａに一覧表示された文字データの中から一の文字データがユーザによる操作により選択されると、制御手段２０は、記録表示制御部２０Ｄの操作検知部２２として動作し、その一の文字データが選択されたことを検知する。
そして、制御手段２０は、記録表示制御部２０Ｄの表示制御部２１として動作し、表示手段１３に、寝言変換文字表示画面５１４を表示させる。

寝言変換文字表示画面５１４は、図１６に示すように、寝言表示エリア５１４ａ、次文字表示キー５１４ｂ、前文字表示キー５１４ｃ、再生キー５１４ｄ、停止キー５１４ｅ、「投稿」キー５１４ｆ、「ＢＡＣＫ」キー５１４ｇを表示する画面である。
寝言表示エリア５１４ａは、所定時間ごと（例えば、３０秒ごと）又は録音ごとに、取得された寝言を文字データとして列記する表示エリアである。
この寝言表示エリア５１４ａにおける文字データの表示は、制御手段２０が、記録表示制御部２０Ｄのテキスト制御部３２として機能することによって実行される。テキスト制御部３２は、表示手段１３に寝言変換文字表示画面５１４が表示されると、寝言履歴表示画面５１３の寝言一覧表示部５１３ａで選択された文字データに対応する音声信号から変換された文字データのすべてを記憶手段１２から取り出して、その寝言変換文字表示画面５１４の寝言表示エリア５１４ａに表示させる。

次文字表示キー５１４ｂは、寝言表示エリア５１４ａに表示されている文字データに対応するアナログ音声の次に録音されたアナログ音声に対応する文字データをその寝言表示エリア５１４ａに表示させるときに操作されるキーである。
この次文字表示キー５１４ｂが選択されたとき、制御手段２０のテキスト制御部３２は、寝言表示エリア５１４ａに表示されていた文字データを消去させるとともに、この文字データに対応するアナログ音声が録音された後に、このアナログ音声の次に録音されたアナログ音声から変換された文字データを記憶手段１２から取り出して、寝言表示エリア５１４ａに表示させる。

前文字表示キー５１４ｃは、寝言表示エリア５１４ａに表示されている文字データに対応するアナログ音声の前に録音されたアナログ音声に対応する文字データをその寝言表示エリア５１４ａに表示させるときに操作されるキーである。
この前文字表示キー５１４ｃが選択されたとき、制御手段２０のテキスト制御部３２は、寝言表示エリア５１４ａに表示されていた文字データを消去させるとともに、この文字データに対応するアナログ音声が録音される前の、過去直近に録音されたアナログ音声から変換された文字データを記憶手段１２から取り出して、寝言表示エリア５１４ａに表示させる。

再生キー５１４ｄは、記憶手段１２に録音されたアナログ音声信号のうち、寝言表示エリア５１４ａに表示されている文字データに対応する音声信号を再生するときに操作されるキーである。
この再生キー５１４ｄがユーザにより操作されると、制御手段２０は、本発明の音出力手段である記録表示制御部２０Ｄの音出力制御部３３として動作し、寝言表示エリア５１４ａに表示されている文字データに対応する音声信号を記憶手段１２から取り出して、音声出力手段１６から再生出力させる。これにより、ユーザは、自分が発したいびきや寝言であって、端末装置１０に録音されたいびきや寝言を、起床後に聞くことができる。
また、この再生キー５１４ｄを操作して寝言等を再生している間も、この寝言変換文字表示画面５１４の寝言表示エリア５１４ａには、いびきや寝言の文字データが表示されている。このため、ユーザは、その寝言表示エリア５１４ａに表示されたいびきや寝言の文字データを視認しながら、同時に、自分が発したいびきや寝言を聞くことができる。

そして、このように、ユーザは、自分が発したいびきや寝言を文字として視認すると同時に、それらいびきや寝言を音声として聴取できるので、これら文字と音声とを比較することができる。
ここで、寝言変換文字表示画面５１４の寝言表示エリア５１４ａに表示される文字データは、音声認識プログラムが音声信号から変換した文字データであるが、音声認識プログラムは、必ずしも、音声信号を平易な日本語の文章に変換するものではない。
その理由として、いびきや寝言がそもそも日本語として成立していないことが挙げられる。
例えば、それらいびきや寝言のうち、いびきは、「ガー」や「ゴ、ゴ、ゴー」といった、上気道や舌根等における振動音又は摩擦音であるので、これが音声認識プログラムによって変換されると、例えば、「我ぁ」や「五、五、五」などのように変換されることがある。
ユーザは、寝言変換文字表示画面５１４の寝言表示エリア５１４ａに表示されている文字データを見たときに、自分のいびきが「我ぁ」や「五、五、五」などに変換されていることを面白く感じる。また、再生キー５１４ｄを操作して自分が発したいびきを聞いたときに、この聴取しているいびきが「ガー」や、「ゴ、ゴ、ゴー」と言っているのに対して、寝言表示エリア５１４ａに「我ぁ」や「五、五、五」などと表示されたことに、滑稽さをおぼえる。このように、ユーザのいびきを文字として画面表示するとともに、そのいびきを再生可能とすることにより、ユーザに面白さや楽しさを与えることができる。

また、他方、寝言は、無意識のうちに発せられる言葉であるため、単発的な語彙が多く、さらに、長文であっても言葉になっていないことが多い。
例えば、「あっ」や「わっ」といった叫び声や、「ぅぎ、ぅごぅ」などの単発的な言葉、「んー、んあ、ぅわあー、ぅえぇー」などの発声などが寝言として発せられることがある。
これらの寝言を音声認識プログラムが文字に変換すると、例えば、「亜っ」、「和っ」、「右、動っ」、「んー、ん輪、上唖ー、Ａー」などと変換することがある。
このように変換された文字データを寝言表示エリア５１４ａ上で視認したユーザは、自分が就寝中にこのような寝言を発していたことに驚きと恥じらいを覚えるとともに、再生キー５１４ｄを操作して自分が発した寝言を聞きながら、この聞いている寝言とその表示された文字データとを比較したときに、その文字データがうまく変換されたものであったり、あるいは、思いもよらない変換がされていたりすることで、面白いと感じる。このように、ユーザの寝言を文字として画面表示するとともに、寝言を再生可能とすることにより、ユーザに面白さや楽しさを与えることができる。

停止キー５１４ｅは、アナログ音声の再生を停止するときに操作されるキーである。
「投稿」キー５１４ｆは、寝言表示エリア５１４ａに表示されている文字データをツイッター（登録商標）やフェイスブック（登録商標）などへ投稿するときに操作されるキーである。
「ＢＡＣＫ」キー５１４ｇは、一つ前の画面であるグラフ表示画面５１２を表示手段１３に表示させるときに操作されるキーである。

以上のような構成を備えた端末装置１０においては、就寝中のユーザから発せられた寝言やいびきを録音して再生する機能や、それら寝言やいびきを文字に変換して表示する機能、就寝中のユーザの寝返りを体動として検知する機能、これら体動といびきや寝言の音圧とにもとづいて、ユーザの睡眠深さを算出する機能、それら体動や音圧、睡眠深さをグラフ表示する機能などを実現可能としている。
このような端末装置１０の動作を、睡眠言動管理方法として、以下、説明する。

［睡眠言動管理方法］
次に、本実施形態の携帯端末の動作を睡眠言動管理方法として、図１７〜図２０を参照して説明する。
なお、ここでは、次の項目について、順に説明する。
（１）オープニング画面処理
（２）「ぐっすり記録」処理
（３）「ぐっすりモード」処理
（４）「記録を見る」処理

（１）オープニング画面処理
端末装置１０の電源が投入されると、制御手段２０は、ＯＳを起動し、表示手段１３に起動画面を表示させる。
起動画面に表示されたアイコンのうち、睡眠言動記録プログラムを示すアイコンがユーザにより選択操作されると、制御手段２０は、アプリケーションソフトウェアである睡眠言動記録プログラムを起動させる（図１７のＳ１０。Ｓは、ステップ）。
次いで、制御手段２０の表示制御部２１は、表示手段１３に、オープニング画面５０１を表示させる（Ｓ１１）。

制御手段２０の操作検知部２２は、ユーザによる操作により、オープニング画面５０１に表示された「ぐっすり記録」キー５０１ａが選択されたか否かを判断する（Ｓ１２）。
「ぐっすり記録」キー５０１ａが選択されたものと判断したときは（Ｓ１２−Ｙｅｓ）、制御手段２０は、「ぐっすり記録」処理を実行する（Ｓ１３）。

一方、「ぐっすり記録」キー５０１ａが選択されていないものと判断したときは（Ｓ１２−Ｎｏ）、制御手段２０の操作検知部２２は、ユーザによる操作により、オープニング画面５０１に表示された「記録を見る」キー５０１ｅが選択されたか否かを判断する（Ｓ１４）。
「記録を見る」キー５０１ｅが選択されたものと判断したときは（Ｓ１４−Ｙｅｓ）、制御手段２０は、「記録を見る」処理を実行する（Ｓ１５）。

一方、「記録を見る」キー５０１ｅが選択されていないものと判断したときは（Ｓ１４−Ｎｏ）、制御手段２０の操作検知部２２は、ユーザによる操作により、オープニング画面５０１に表示された他のキー（５０１ｂ、５０１ｃ、５０１ｄ、５０１ｆ）が選択されたか否かを判断する（Ｓ１６）。
他のキー（５０１ｂ、５０１ｃ、５０１ｄ、５０１ｆ）が選択されたものと判断したときは（Ｓ１６−Ｙｅｓ）、制御手段２０は、それら選択されたキー（５０１ｂ、５０１ｃ、５０１ｄ、５０１ｆ）に対応する処理を実行する（Ｓ１７）。
一方、オープニング画面５０１に表示された他のキー（５０１ｂ、５０１ｃ、５０１ｄ、５０１ｆ）が選択されていないときは（Ｓ１６−Ｎｏ）、いずれかのキーが選択されるまで待機する。

（２）「ぐっすり記録」処理
ユーザによる操作により、オープニング画面５０１に表示された「ぐっすり記録」キー５０１ａが選択されたものと判断したときは（図１７のＳ１２−Ｙｅｓ）、制御手段２０は、「ぐっすり記録」処理を実行する（Ｓ１３）。

制御手段２０の表示制御部２１は、サウンド設定画面５０２を表示手段１３に表示させる（図１８のＳ２０）。
制御手段２０の操作検知部２２は、ユーザによる操作により、サウンド設定画面５０２に表示された「おやすみサウンド」キー５０２ａが選択されたか否かを判断する（Ｓ２１）。
「おやすみサウンド」キー５０２ａが選択されたものと判断したときは（Ｓ２１−Ｙｅｓ）、制御手段２０の表示制御部２１は、おやすみサウンド設定画面５０３を表示手段１３に表示させる（Ｓ２２）。
そして、ユーザによる操作により、「オリジナルサウンド」、又は、「ミュージックサウンド」が「おやすみサウンド」として選択される（Ｓ２３）。この選択された「おやすみサウンド」は、制御手段２０の設定部２３によって記憶手段１２に記憶されることで設定される。

その後、制御手段２０の操作検知部２２は、ユーザによる操作により、おやすみサウンド設定画面５０３に表示された「ＢＡＣＫ」キー５０３ｆが選択されたか否かを判断する（Ｓ２４）。
「ＢＡＣＫ」キー５０３ｆが選択されていないときは（Ｓ２４−Ｎｏ）、「おやすみサウンド」の選択が可能な状態を続行する。
一方、「ＢＡＣＫ」キー５０３ｆが選択されたものと判断したときは（Ｓ２４−Ｙｅｓ）、制御手段２０の表示制御部２１は、サウンド設定画面５０２を表示手段１３に表示させる（Ｓ２０）。

制御手段２０の操作検知部２２は、表示手段１３にサウンド設定画面５０２が表示されている状態において、ユーザによる操作により、そのサウンド設定画面５０２に表示された「さわやかサウンド」キー５０２ｂが選択されたか否かを判断する（Ｓ２５）。
「さわやかサウンド」キー５０２ｂが選択されたものと判断したときは（Ｓ２５−Ｙｅｓ）、制御手段２０の表示制御部２１は、さわやかサウンド設定画面５０４を表示手段１３に表示させる（Ｓ２６）。
そして、ユーザによる操作により、「オリジナルサウンド」、又は、「ミュージックサウンド」が「さわやかサウンド」として選択される（Ｓ２７）。この選択された「さわやかサウンド」は、制御手段２０の設定部２３によって記憶手段１２に記憶されることで設定される。

その後、制御手段２０の操作検知部２２は、ユーザによる操作により、さわやかサウンド設定画面５０４に表示された「ＢＡＣＫ」キー５０４ｆが選択されたか否かを判断する（Ｓ２８）。
「ＢＡＣＫ」キー５０４ｆが選択されていないときは（Ｓ２８−Ｎｏ）、「さわやかサウンド」の選択が可能な状態を続行する。
一方、「ＢＡＣＫ」キー５０４ｆが選択されたものと判断したときは（Ｓ２８−Ｙｅｓ）、制御手段２０の表示制御部２１は、サウンド設定画面５０２を表示手段１３に表示させる（Ｓ２０）。

制御手段２０の操作検知部２２は、表示手段１３にサウンド設定画面５０２が表示されている状態において、ユーザによる操作により、そのサウンド設定画面５０２に表示された「目覚まし」設定キー５０２ｃが選択されたか否かを判断する（Ｓ２９）。
「目覚まし」設定キー５０２ｃが選択されたものと判断したときは（Ｓ２９−Ｙｅｓ）、制御手段２０の表示制御部２１は、目覚まし種類設定画面５０５を表示手段１３に表示させる（Ｓ３０）。
そして、ユーザによる操作により、「目覚まし音」が選択される（Ｓ３１）。この選択された「目覚まし音」は、制御手段２０の設定部２３によって記憶手段１２に記憶されることで設定される。

その後、制御手段２０の操作検知部２２は、ユーザによる操作により、目覚まし種類設定画面５０５に表示された「ＢＡＣＫ」キー５０５ｆが選択されたか否かを判断する（Ｓ３２）。
「ＢＡＣＫ」キー５０５ｆが選択されていないときは（Ｓ３２−Ｎｏ）、「目覚まし音」を選択可能な状態を続行する。
一方、「ＢＡＣＫ」キー５０５ｆが選択されたものと判断したときは（Ｓ３２−Ｙｅｓ）、表示制御部２１は、サウンド設定画面５０２を表示手段１３に表示させる（Ｓ２０）。

制御手段２０の操作検知部２２は、表示手段１３にサウンド設定画面５０２が表示されている状態において、ユーザによる操作により、そのサウンド設定画面５０２に表示された「ＯＫ」キー５０２ｅが選択されたか否かを判断する（Ｓ３３）。
「ＯＫ」キー５０２ｅが選択されたものと判断したときは（Ｓ３３−Ｙｅｓ）、制御手段２０は、「ぐっすりモード」処理を実行する（Ｓ３４）。
一方、「ＯＫ」キー５０２ｅが選択されていないものと判断したときは（Ｓ３３−Ｎｏ）、制御手段２０は、サウンド設定画面５０２に表示されているソフトウェアキーの中からいずれかのソフトウェアキーが選択されるまで待機する。

（３）「ぐっすりモード」処理
制御手段２０の表示制御部２１は、目覚まし時刻設定画面５０６を表示手段１３に表示させる（図１９のＳ４０）。
ユーザによる操作により、目覚まし時刻設定ダイヤル５０６ａが操作されることで、「目覚まし時刻」が選択される（Ｓ４１）。

その後、制御手段２０の操作検知部２２は、ユーザによる操作により、目覚まし時刻設定画面５０６に表示された「ＯＫ」キー５０６ｂが選択されたか否かを判断する（Ｓ４２）。
「ＯＫ」キー５０６ｂが選択されていないときは（Ｓ４２−Ｎｏ）、「目覚まし時刻」を選択可能な状態を続行する。
一方、「ＯＫ」キー５０６ｂが選択されたものと判断したときは（Ｓ４２−Ｙｅｓ）、制御手段２０の設定部２３は、目覚まし時刻設定ダイヤル５０６ａの操作により選択された「目覚まし時刻」を記憶手段１２に記憶されることで当該「目覚まし時刻」を設定し（Ｓ４３）、制御手段２０の表示制御部２１は、ぐっすりモード開始画面５０７を、表示手段１３に表示させる（Ｓ４４）。

制御手段２０の操作検知部２２は、ユーザによる操作により、ぐっすりモード開始画面５０７に表示された「ＯＫ」キー５０７ａが選択されたか否かを判断する（Ｓ４５）。
「ＯＫ」キー５０７ａが選択されていないものと判断したときは（Ｓ４５−Ｎｏ）、操作検知部２２は、「ＯＫ」キー５０７ａが選択されるまで待機する。
一方、「ＯＫ」キー５０７ａが選択されたものと判断したときは（Ｓ４５−Ｙｅｓ）、制御手段２０の表示制御部２１は、ぐっすりモード実行中画面５０８を表示手段１３に表示させる（Ｓ４６）。

制御手段２０のおやすみ音出力制御部２４は、おやすみサウンド設定画面５０３（図５参照）で設定された曲である「おやすみサウンド」を、音声出力手段１６から出力させる（Ｓ４７）。
そして、制御手段２０のおやすみ音出力制御部２４は、設定時間経過後に、その「おやすみサウンド」の出力を停止させる。

制御手段２０の体動算出部２５は、加速度センサ１８から送られてきた加速度信号を入力し、この加速度信号の示す値を数値化し、加速度データとして、記憶手段１２に記憶させる（Ｓ４８）。
制御手段２０の録音部２６は、音声入力手段１５にて入力されたアナログの音声を、音声信号として、記憶手段１２に記憶させることで録音させる（Ｓ４９）。
制御手段２０の音圧算出部２７は、記憶手段１２からアナログの音声信号を取り出し、この音声信号の音圧を算出し、音圧データとして記憶手段１２に記憶させる（Ｓ５０）。

制御手段２０の音解析部２８は、記憶手段１２に記憶された音声認識プログラムを実行するとともに、記憶手段１２からアナログの音声信号を取り出し、この音声信号を解析して文字データに変換し、この文字データを、記憶手段１２に記憶させる（Ｓ５１）。
制御手段２０の睡眠深さ算出部２９は、記憶手段１２から加速度データと音圧データとを取り出し、これら加速度データと音圧データとを加算して睡眠深さを算出し、これを睡眠深さデータとして、記憶手段１２に記憶させる（Ｓ５２）。

制御手段２０の操作検知部２２は、ユーザによる操作により、ぐっすりモード実行中画面５０８に表示されたぐっすりモード解除キー５０８ａが操作されたか否かを判断する（Ｓ５３）。
ぐっすりモード解除キー５０８ａが操作されていないものと判断したときは（Ｓ５３−Ｎｏ）、制御手段２０のアラーム管理部３０は、現在の時刻が「目覚まし時刻」から所定時間前の時刻に到達したか否かを判断する（Ｓ５４）。
現在の時刻が「目覚まし時刻」から所定時間前の時刻に到達していないものと判断したときは（Ｓ５４−Ｎｏ）、Ｓ４８以降の処理を実行する。
一方、現在の時刻が「目覚まし時刻」から所定時間前の時刻に到達したものと判断したときは（Ｓ５４−Ｙｅｓ）、アラーム管理部３０は、「さわやかサウンド」を音声出力手段１６から出力させる（Ｓ５５）。

制御手段２０のアラーム管理部３０は、現在の時刻が「目覚まし時刻」に到達したか否かを判断する（Ｓ５６）。
現在の時刻が「目覚まし時刻」に到達していないものと判断したときは（Ｓ５６−Ｎｏ）、現在の時刻が「目覚まし時刻」に到達するまで待機する。
一方、現在の時刻が「目覚まし時刻」に到達したものと判断したときは（Ｓ５６−Ｙｅｓ）、表示制御部２１は、表示手段１３に起床時表示画面５０９を表示させる（Ｓ５７）。そして、制御手段２０のアラーム管理部３０は、「目覚まし音」を音声出力手段１６から出力させる（Ｓ５８）。

制御手段２０の操作検知部２２は、ユーザによる操作により、起床時表示画面５０９に表示されたぐっすりモード終了確認キー（起きる）５０９ａが操作されたか否かを判断する（Ｓ５９）。
ぐっすりモード終了確認キー（起きる）５０９ａが操作されていないものと判断したときは（Ｓ５９−Ｎｏ）、操作検知部２２は、ぐっすりモード終了確認キー（起きる）５０９ａが操作されるまで、待機する。
一方、ぐっすりモード終了確認キー（起きる）５０９ａが操作されたものと判断したときは（Ｓ５９−Ｙｅｓ）、制御手段２０の表示制御部２１は、表示手段１３に、就寝時間表示画面５１０を表示させる（Ｓ６０）。
なお、Ｓ５３の判断において、ぐっすりモード解除キー５０８ａが操作されたものと判断したときにも（Ｓ５３−Ｙｅｓ）、表示制御部２１は、表示手段１３に、就寝時間表示画面５１０を表示させる（Ｓ６０）。

制御手段２０の操作検知部２２は、ユーザによる操作により、就寝時間表示画面５１０に表示された「ＯＫ」キー５１０ａが操作されたか否かを判断する（Ｓ６１）。
「ＯＫ」キー５１０ａが操作されていないものと判断したときは（Ｓ６１−Ｎｏ）、操作検知部２２は、「ＯＫ」キー５１０ａが操作されるまで待機する。
一方、「ＯＫ」キー５１０ａが操作されたものと判断したときは（Ｓ６１−Ｙｅｓ）、制御手段２０の表示制御部２１は、表示手段１３に、オープニング画面５０１を表示させる（Ｓ６２）。
これにより、「ぐっすりモード」処理を終了する。

なお、加速度データ取得処理（Ｓ４８）、録音処理（Ｓ４９）、音圧データ取得処理（Ｓ５０）、文字データ取得処理（Ｓ５１）、睡眠深さデータ算出処理（Ｓ５２）については、例えば、「さわやかサウンド」の出力開始まで、あるいは、「目覚まし時刻」に到達した時点まで、実行させることができる。ただし、Ｓ５３の判断において、ぐっすりモード解除キー５０８ａが操作されたものと判断されたときには（Ｓ５３−Ｙｅｓ）、この時点で、それら各処理の実行を終了する。

（４）「記録を見る」処理
ユーザによる操作により、オープニング画面５０１に表示された「記録を見る」キー５０１ｅが選択されたものと判断したときは（図１７のＳ１４−Ｙｅｓ）、制御手段２０は、「記録を見る」処理を実行する（Ｓ１５）。

制御手段２０の表示制御部２１は、日付選択画面５１１を表示手段１３に表示させる（図２０のＳ７０）。
制御手段２０の操作検知部２２は、ユーザによる操作により、日付選択画面５１１に表示された日付一覧表示部５１１ａの中から一の日付が選択されたか否かを判断する（Ｓ７１）。
一の日付が選択されていないものと判断したときは（Ｓ７１−Ｎｏ）、選択されるまで待機する。
一方、一の日付が選択されたものと判断したときは（Ｓ７１−Ｙｅｓ）、制御手段２０のグラフ制御部３１は、その選択された日付に対応付けて記憶された加速度データと音圧データと睡眠深さデータとを記憶手段１２から取り出し、表示手段１３においてグラフ表示されるように、各データをグラフ用のデータに変換する。
また、制御手段２０の表示制御部２１は、表示手段１３に、グラフ表示画面５１２を表示させるとともに、加速度データのグラフを体動グラフ表示エリア５１２ｂに表示させ、音圧データのグラフを寝言グラフ表示エリア５１２ｃに表示させ、睡眠深さデータのグラフを睡眠深さ表示エリア５１２ａに表示させる（Ｓ７２）。

制御手段２０の操作検知部２２は、ユーザによる操作により、グラフ表示画面５１２に表示された寝言表示キー５１２ｅが操作されたか否かを判断する（Ｓ７３）。
寝言表示キー５１２ｅが操作されていないものと判断したときは（Ｓ７３−Ｎｏ）、選択されるまで待機する。
一方、寝言表示キー５１２ｅが操作されたものと判断したときは（Ｓ７３−Ｙｅｓ）、制御手段２０の表示制御部２１は、表示手段１３に、寝言履歴表示画面５１３を表示させる（Ｓ７４）。

制御手段２０の操作検知部２２は、ユーザによる操作により、寝言履歴表示画面５１３に表示された寝言一覧表示部５１３ａの中から一の文字データが選択されたか否かを判断する（Ｓ７５）。
一の文字データが選択されていないものと判断したときは（Ｓ７５−Ｎｏ）、選択されるまで待機する。
一方、一の文字データが選択されたものと判断したときは（Ｓ７５−Ｙｅｓ）、制御手段２０の表示制御部２１は、表示手段１３に、寝言変換文字表示画面５１４を表示させるとともに、その選択された文字データに対応する音声信号から変換された文字データのすべてを寝言表示エリア５１４ａに表示させる（Ｓ７６）。

以上のような内容を有する睡眠言動記録方法を実行することにより、端末装置１０は、就寝中のユーザから発せられた寝言やいびき、ユーザの寝返り、睡眠深さなどの情報をグラフ表示することができる。また、ユーザから発せられた寝言やいびきを文字に変換して表示することができる。
このような機能を端末装置１０が実現可能とすることにより、この端末装置１０のユーザは、自身が睡眠中にいびきや寝言を発していたことを、起床後に知ることができる。また、その端末装置１０の表示手段１３に表示された文字データを視認することで、自身が発した寝言を文字として知得することができる。

［睡眠言動記録プログラム］
次に、睡眠言動記録プログラムについて説明する。
上記の実施形態におけるコンピュータである端末装置１０の睡眠言動記録機能（睡眠言動記録方法を実行するための機能）は、記憶手段１２（例えば、ＲＯＭ（Read Only Memory）やハードディスクなど）に記憶された睡眠言動記録プログラムにより実現される。

睡眠言動記録プログラムは、コンピュータである端末装置１０の制御手段２０（ＣＰＵ（Central
Processing Unit）など）に読み込まれることにより、端末装置１０の構成各部に指令を送り、所定の処理、たとえば、端末装置１０における表示手段１３の画面表示処理、音声入力手段１５の音声入力処理、体動算出部２５の体動算出処理、録音部２６の録音処理、音圧算出部２７の音圧（音声値）算出処理、音解析部２８の音声変換処理、睡眠深さ算出部２９の睡眠深さ算出処理、おやすみ音出力制御部２４のおやすみサウンド出力処理、アラーム管理部３０のさわやかサウンド出力処理、目覚まし音出力処理などを行わせる。
これによって、睡眠言動記録機能は、ソフトウエアである睡眠言動記録プログラムとハードウエア資源であるコンピュータ（端末装置１０）の各構成手段とが協働することにより実現される。

なお、睡眠言動記録機能を実現するための睡眠言動記録プログラムは、端末装置１０の記憶手段１２であるＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact
Disk-Read Only Memory）等の記憶媒体を内蔵し、端末装置１０に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。

そして、記録媒体に記録されたプログラムは、端末装置１０の記憶手段１２であるＲＡＭ（Random Access
Memory）等にロードされて、制御手段２０により実行される。この実行により、上述した実施形態の端末装置１０の機能が実現される。
さらに、端末装置１０で睡眠言動記録プログラムをロードする場合、他のコンピュータで保有された睡眠言動記録プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされた睡眠言動記録プログラムも、制御手段２０により実行され、上記実施形態の端末装置１０の睡眠言動記録機能を実現する。

以上説明したように、本実施形態の端末装置、睡眠言動記録方法及び睡眠言動記録プログラムによれば、睡眠していた対象者自身が、睡眠中にいびきや寝言を発していたことを、その後に知ることができる。
また、その寝言として発せられた具体的な言葉についても知得できる。

以上、本発明の端末装置、睡眠言動記録方法及び睡眠言動記録プログラムの好ましい実施形態について説明したが、本発明に係る端末装置、睡眠言動記録方法及び睡眠言動記録プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、端末装置が、スマートフォンなどに代表される携帯型の情報処理装置であるものとして説明したが、これに限定されるものではなく、端末装置は、例えば、卓上に載置したり、床上に設置したりするなどして使用する情報処理装置、具体的には、ディスクトップ型のパーソナルコンピュータやノート型のパーソナルコンピュータなどであってもよい。この場合、ユーザの体動を検知するための加速度センサを当該端末装置の外部に設け、ケーブルなどで当該端末装置の本体に接続する構成とすることができる。

また、上述した実施形態では、端末装置が、当該端末装置のユーザから発せられたいびきや寝言を記録することとしている。つまり、いびき等を記録する対象者を当該端末装置のユーザとしているが、その対象者は、端末装置のユーザに限るものではなく、端末装置のユーザ以外の者を対象者とし、この者のいびきや寝言などを記録することもできる。
さらに、上述した実施形態では、対象者から発せられたいびきや寝言などの音を入力すると、この音の音圧を算出し、グラフ化して表示することとしている。ただし、その入力した音に関するデータである音声値は、音圧に限るものではなく、例えば、その音の音量、音波の波長、周波数、振幅などであってもよい。これらのうち、その音の音量を用いる場合、端末装置の音声値算出部は、その音の音量を音声値として算出し、グラフ制御部は、その音量をグラフ化可能に変換し、表示手段は、その音量をグラフ表示画面にグラフ表示することができる。

また、上述した実施形態における睡眠言動記録方法の説明では、説明の便宜上、主要なソフトウェアキーが操作されたときの端末装置の動作を説明し、それ以外のソフトウェアキー、例えば「ＢＡＣＫ」キーなどを操作したときの動作の説明を省略した。ただし、表示手段に表示されたソフトウェアキーのいずれかが操作されたときには、この操作されたソフトウェアキーに対応する動作が実行されることは言うまでもない。

本発明は、所定の画面を表示する機能を備えた端末装置に利用可能である。

１０ 端末装置
１２ 記憶手段
１３ 表示手段
１５ 音声入力手段
１６ 音声出力手段（音出力手段）
１８ 加速度センサ
２０ 制御手段
２５ 体動算出部（体動算出手段）
２７ 音圧算出部（音声値算出手段）
２８ 音解析部（音声変換手段）
２９ 睡眠深さ算出部（睡眠深さ算出手段）
３３ 音出力制御部（音出力手段）

Claims (6)

1. 外部で発生した音を入力する音声入力手段を備えた端末装置であって、
   就寝状態にある対象者から発せられて前記音声入力手段で入力された音を記憶する記憶手段と、
   この記憶手段に記憶された音を文字に変換する音声変換手段と、
   この音声変換手段で変換された文字を表示する表示手段と、
   前記音を再生して出力する音出力手段とを備えた
   ことを特徴とする端末装置。
2. 前記記憶手段は、前記音声入力手段で入力された音と、この音から変換された文字とを対応付けて記憶し、
   前記表示手段は、前記文字を表示し、
   前記音出力手段は、前記表示手段に表示された文字に対応する音を再生して出力する
   ことを特徴とする請求項１記載の端末装置。
3. 前記記憶手段は、就寝状態にある前記対象者から発せられた前記音を記憶するためのプログラムを記憶し、
   前記端末装置の制御手段は、前記プログラムを実行して、前記音を前記記憶手段に記憶させ、
   前記記憶手段は、前記プログラムが実行されるたびに、前記音を記憶するとともに、前記音ごとに対応する前記文字を記憶し、
   前記表示手段は、前記プログラムの実行ごとに前記記憶手段に記憶された前記音ごとに、当該音に対応する文字の一部を一覧表示し、
   一覧表示された一又は二以上の文字の中から一の文字が選択されると、前記表示手段は、選択された文字に対応する音から変換された文字のすべてを画面上に表示する
   ことを特徴とする請求項１又は２記載の端末装置。
4. 振動を検知する加速度センサと、
   検知された振動にもとづいて、前記対象者の体動の大きさを算出する体動算出手段と、
   前記音声入力手段が入力した音の大きさを算出する音声値算出手段と、
   前記対象者の体動の大きさと前記音声入力手段が入力した音の大きさとにもとづいて、前記対象者の睡眠の深さを算出する睡眠深さ算出手段とを備え、
   前記表示手段は、前記体動の大きさと、前記音の大きさと、前記睡眠の深さとをグラフ表示する
   ことを特徴とする請求項１〜３のいずれかに記載の端末装置。
5. 端末装置の音声入力手段が当該端末装置の外部で発生した音を入力する処理を有する睡眠言動記録方法であって、
   前記音声入力手段が、就寝状態にある対象者から発せられた音を入力する処理と、
   前記端末装置の記憶手段が、前記音声入力手段で入力された音を記憶する処理と、
   前記端末装置の音声変換手段が、前記記憶手段に記憶された音を文字に変換する処理と、
   前記端末装置の表示手段が、前記音声変換手段にて変換された文字を表示する処理と、
   前記端末装置の音出力手段が、前記音を再生して出力する処理とを有した
   ことを特徴とする睡眠言動記録方法。
6. 端末装置の外部で発生した音を入力するステップを前記端末装置に実行させるための睡眠言動記録プログラムであって、
   就寝状態にある対象者から発せられた音を入力するステップと、
   入力された音を記憶するステップと、
   記憶された音を文字に変換するステップと、
   変換された文字を表示するステップと、
   前記音を再生して出力するステップと
   を前記端末装置に実行させる
   ことを特徴とする睡眠言動記録プログラム。