JP2013174718A - 音声記録選択装置、音声記録選択方法及び音声記録選択プログラム - Google Patents

Abstract

【課題】音声から変換された文字列を特定の作業における重要度に応じて区別して出力することができる音声記録選択装置を提供する。
【解決手段】音声記録選択装置１は、音声受入部３０と、音声認識部３２と、作業認識部３５と、記憶部３６と、重要度判定部３７と、出力部３８と、を有する。音声受入部は、音声を受入れる。音声認識部は、音声を認識して文字列に変換する。作業認識部は、開始時刻及び終了時刻が定められた特定作業を示す作業情報を認識する。記憶部は、特定作業において重要な文字列及び文字列の属性の少なくともいずれかと、特定作業での文字列と属性の重要度と、を特定作業に対応付けた対応辞書を記憶する。重要度判定部は、作業情報及び対応辞書に基づいて、特定作業の開示時刻から終了時刻までの期間に受入れられた音声から変換された文字列の重要度を判定する。出力部は、文字列を重要度に応じて区別して出力する。
【選択図】図２

Description

本発明の実施形態は、音声記録選択装置、音声記録選択方法及び音声記録選択プログラムに関する。

従来、業務上の情報などを音声で記録することが知られている。音声を記録した利用者は、音声を再生することによって業務上の情報などを遡って確認することができる。

特開２０１０−１９１８０２号公報 特許第４６９３４９４号公報

Ling Bao and Stephen S.Intille、「Activity Recognition from User-Annotated Acceleration Data」、（米国）、Massachusetts Institute of Technology

しかしながら、業務記録の基となる情報をメモに代えて業務中の音声で記録し、記録した音声から業務記録を作成する場合などには、音声を記録していた業務時間（記録時間）と同等の時間をかけて音声を再生する必要があった。

実施形態の音声記録選択装置は、音声受入部と、音声認識部と、作業認識部と、記憶部と、重要度判定部と、出力部と、を有する。音声受入部は、音声を受入れる。音声認識部は、音声を認識して文字列に変換する。作業認識部は、開始時刻及び終了時刻が定められた特定の作業を示す作業情報を認識する。記憶部は、特定の作業において重要な文字列及び文字列の属性の少なくともいずれかと、特定の作業における文字列及び属性の重要度と、を特定の作業に対応付けた対応辞書を記憶する。重要度判定部は、作業情報及び対応辞書に基づいて、特定の作業の開示時刻から終了時刻までの期間に受入れられた音声から変換された文字列の重要度を判定する。出力部は、開示時刻から終了時刻までの期間に受入れられた音声から変換された文字列を、重要度に応じて区別して出力する。

実施形態にかかる音声記録選択装置のハードウェア構成図。 実施形態にかかる音声記録選択装置の機能ブロック図。 音声記録部が行う処理例を示すグラフ。 看護師の行動の区分を例示する図表。 対応モデルの構成例を示す図表。 対応辞書の構成例を示す図表。 重要度判定部が判定した結果を表示部が表示した場合の第１の表示例。 重要度判定部が判定した結果を表示部が表示した場合の第２の表示例。 実施形態にかかる音声記録選択装置の動作のフローチャート。

以下に添付図面を参照して、音声記録選択装置の実施の形態を詳細に説明する。図１は、実施形態にかかる音声記録選択装置１の構成を例示するハードウェア構成図である。図１に示すように、音声記録選択装置１は、例えば操作部２０、マイク２１、検知部２２、スピーカ２３、通信部２４、記憶部２５及び制御部２６を有するコンピュータとしての機能を備えた携帯端末装置である。例えば、音声記録選択装置１は、スマートフォンなどであってもよい。

音声記録選択装置１は、例えば看護業務に従事する看護師などの利用者の腰などに装着され、利用者の行動時の音声を時刻とともに記録し、利用者の行動に応じて変化する情報などを検知して時刻とともに記憶する。また、音声記録選択装置１は、利用者の行動に応じて変化する情報の検知結果を用いて、利用者が行った作業などの行動を認識（推定）する。なお、実施の形態の音声記録選択装置１は、看護業務を行う看護師が利用者となる場合を例に説明するが、これに限られることなく、例えば１日程度のある程度まとまった時間にわたる業務を終えた後に、１日の業務記録を作成する他の業務を行う者が利用者であってもよい。

次に、音声記録選択装置１を構成する各部について詳述する。操作部２０は、利用者の操作入力を受け入れる入力部２００と、音声記録選択装置１の動作結果などを表示する表示部２０２とを有する。操作部２０は、タッチパネルなどにより、入力部２００と表示部２０２とが一体化されていてもよい。

マイク２１は、例えば音声記録選択装置１の機能（又は電源）がオンにされると、音声等を受入れる。なお、マイク２１は、受入れた音声をデジタルデータに変換する機能なども有しているものとする。また、マイク２１は、指向性の強いマイクで構成されてもよいし、環境音の影響を低減させるために音声記録選択装置１の外部に設けられ、利用者の口元などに配置されるように構成されてもよい。

検知部２２は、例えば加速度センサ２２０及び測位センサ２２２などを含み、利用者の行動に応じて変化する情報を検知する。加速度センサ２２０は、例えばＭＥＭＳ（Micro Electro Mechanical System）により加速度センサの機能を実現されたものであってもよい。加速度センサ２２０は、利用者の動きに応じて変化する加速度を検出することにより、対象者の動き（加速度）を検知する。例えば、加速度センサ２２０は、音声記録選択装置１の機能（又は電源）がオンにされると、加速度を連続的に検知する。

測位センサ２２２は、例えばＧＰＳ（Global Positioning System；全地球測位システム）機能により利用者の位置を検知する。ただし、測位センサ２２２の機能は、後述するＷｉ−Ｆｉ（登録商標）のアクセスポイント又はＢｌｕｅｔｏｏｔｈ（登録商標）機器などが発信する機器識別情報を含んだビーコン情報を利用して代替えされてもよい。また、測位センサ２２２の機能は、屋内に設置された機器からＧＰＳの測位情報に相当する信号を発することにより測位を可能にするＩＭＥＳ（Indoor MEssaging System）を利用して構成されてもよい。また、測位センサ２２２の機能は、携帯電話の通信網を用いて基地局の位置情報を利用することにより実現されてもよい。

また、検知部２２は、利用者の行動に応じて変化する利用者の脈拍を検知する脈拍検知部を備えていてもよい。さらに、検知部２２は、利用者の行動に影響を与える環境温度を検知する温度検知部を備えていてもよい。つまり、検知部２２は、利用者の行動に応じて変化する他の情報、及び利用者の行動に影響を与える他の情報をより多く検知し、利用者の行動（作業など）の認識の精度を向上可能にするように構成されてもよい。なお、検知部２２は、機能の全て又は一部が音声記録選択装置１の外部に設けられ、検知結果を制御部２６に対して送信するように構成されてもよい。

スピーカ２３は、入力部２００を介して入力される利用者の操作などに応じて、音声などを出力する。なお、スピーカ２３は、音声を出力するために必要なデータ変換の機能なども有しているものとする。

通信部２４は、外部との通信を行う汎用のインターフェイスであり、例えば有線通信、長距離無線通信及び近接無線通信のいずれに対しても接続可能に構成されている。具体的には、通信部２４は、Ｗｉ−Ｆｉ（登録商標）により相互接続性が保証されている複数のアクセスポイントを有する無線ＬＡＮ（Local Area Network）に接続可能にされている。また、通信部２４は、携帯電話網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency IDentification）、ＵＳＢ（Universal Serial Bus）及び有線ＬＡＮなどを利用して通信を行うように構成されている。

記憶部２５は、図示しないＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ（Flash memory）などを有する。そして、記憶部２５は、音声記録選択装置１が実行するプログラムや、音声記録選択装置１がプログラムを実行する場合に使用するデータ（後述する対応モデル３４及び対応辞書３６）などを記憶する。また、記憶部２５は、マイク２１が受入れた音声、加速度センサ２２０が検出した加速度のデータ、測位センサ２２２が検出した位置情報（又はアクセスポイント情報等）などもそれぞれ時刻を示す情報（時刻データ）とともに記憶する。また、音声記録選択装置１には、記憶部２５との間でプログラム及びデータを送受可能にされたメモリカードなどの記憶媒体２５０が着脱自在に設けられている。

制御部２６は、例えばＣＰＵ２６０を含み、音声記録選択装置１を構成する各部を制御する。

次に、音声記録選択装置１が有する機能について説明する。図２は、実施形態にかかる音声記録選択装置１が有する機能の概要を例示する機能ブロック図である。図２に示すように、音声記録選択装置１は、音声受入部３０、音声記録部３１、音声認識部３２、情報検知部３３、対応モデル３４、作業認識部３５、対応辞書３６、重要度判定部３７及び出力部３８を有する。

音声受入部３０は、マイク２１（図１）などにより構成され、音声記録選択装置１の機能（又は電源）がオンにされると、音声を受入れて音声記録部３１及び音声認識部３２に対して出力する。

音声記録部３１は、制御部２６及び記憶部２５などにより構成され、音声受入部３０から受入れた音声を時刻とともに記録（記憶）する。図３は、音声記録部３１が行う処理例を示すグラフである。図３に示すように、音声記録部３１は、例えば１６ビットの整数値で表現されるＰＣＭ（Pulse Code Modulation；パルス符号変調）データの音声データを音声受入部３０から受入れる。音声記録部３１は、音声受入部３０から受入れた音声データの全て、又は有用な音声データだけを記憶する。

本実施形態においては、音声記録部３１は、図３に示すように、受入れる音声データ（音声波形）の大きさに対して閾値を設け、音声データの大きさが閾値未満である場合は環境音などの有用でないデータ又は無音であるとして、利用者が音声を発していないとみなす。つまり、音声記録部３１は、大きさが閾値以上である音声データのみを利用者の音声データとする。

このように、音声記録部３１は、音声受入部３０から受入れた音声データを無音期間と有用な連続音声期間とに区別し、有用な連続音声期間ごとに分割された音声データを時刻データとともに記録する。つまり、音声記録部３１が記録する音声データには、連続音声期間の開始時刻と終了時刻も含まれる。なお、音声期間の検出方法は、短時間パワーを用いて、利用者の音声データを検出してもよく、限定されない。

音声認識部３２は、制御部２６及び記憶部２５などにより構成され、音声受入部３０から受入れた音声データを認識してテキスト（文字列）に変換し、音声が発せられた時刻を示す情報を対応付けた文字列を重要度判定部３７に対して出力する。音声認識部３２は、例えばＬＶＣＳＲ（Large-Vocabulary Continuous Speech Recognition；大語彙連続音声認識）エンジンを含む。また、音声認識部３２は、利用者の業務に特化した単語辞書、音響モデル及び言語モデルを有していてもよい。

情報検知部３３は、例えば加速度センサ２２０を含む加速度検知部３３０、及び測位センサ２２２を含む位置検知部３３２を有し、利用者の加速度及び位置を検知して、作業認識部３５に対して出力する。また、情報検知部３３は、利用者の脈拍を検知する脈拍検知部３３４、及び利用者が位置する環境の温度を検知する温度検知部３３６など他の情報も検知して、作業認識部３５に対して出力するように構成されてもよい。利用者の脈拍は、利用者が急いで作業を行った場合に変化することが考えられるため、利用者の作業を認識する場合に利用可能である。また、利用者が看護師である場合、看護師が位置する環境の温度は、患者の健康状態の変化に応じて生じる看護師の作業を認識する場合などに利用可能である。

対応モデル３４は、利用者が行った特定の作業を作業認識部３５が情報検知部３３の検知結果を用いて認識するために使用するモデルであり、例えば記憶部２５に記憶されている。以下、作業認識部３５が加速度検知部３３０及び位置検知部３３２の検知結果を用いて利用者が行った特定の作業を認識する場合を例に説明する。

まず、利用者の行動の区分について説明する。図４は、看護師の行動の区分を例示する図表である。図４に示すように、看護師の行動は、例えば業務、作業及び動作に区分される。看護師の行動には、例えば患者の回診業務及び看護業務などの複数の業務が定められているものとする。また、作業は、業務中に発生する小さな仕事を指すものとする。また、動作は、作業中に発生する「姿勢変更」、「手を動かす」及び「手を止める」などの利用者の具体的な動きを指すものとする。つまり、図４に例示するように、利用者の行動は、業務（「患者の回診」）が複数の作業（「体の向き変更」、「衣服をはがす」など）により構成され、作業が複数の動作（「姿勢変更」、「手を動かす」、「解く」など）により構成されるという階層構造で表されるものとする。作業は複数の動作から認識され、業務は複数の作業から認識される。

看護業務においては、患者の診察を行う場合に、看護師は両手を使って患者の体を起こすという作業が発生することがある。この場合、看護師は、看護業務の業務記録を作成するために必要となる情報を紙に記載することが困難である。具体的には、看護師は、両手を使っている場合には、患者の傷の大きさや状態などの情報を紙に記載するために、筆記具を用いることは困難である。そこで、看護師は、情報を紙に記載することに代えて、音声記録選択装置１に音声を記録する。

図５は、対応モデル３４の構成例を示す図表である。図５に示すように、対応モデル３４は、例えば動作のパターン５０、位置５２、時間５４の情報が、作業名５６の情報に対応付けられている。例えば、対応モデル３４は、「かがむ」、「止まる」、「起こす」の順序の動作（動作パターン）が行われ、この動作パターンが「病室」で行われたものであり、且つ動作パターンが行われるのに要した時間が「１分」以内であった場合、利用者である看護師の作業は「患者の体を起こす」であったと対応付けるモデルである。また、対応モデル３４は、動作の繰り返しや、一定時間内の動作の発生比率などによっても特定の作業が対応付けられるように構成されている。なお、利用者の行動は、対応モデル３４によって特定の作業に対応付けられると、作業名５６に示された作業名のいずれかも定められる。

作業認識部３５（図２）は、制御部２６などにより構成され、加速度検知部３３０が検知した時刻が対応付けられた加速度データを受入れて、まず利用者の時刻を対応付けられた動作を認識する。次に、作業認識部３５は、認識した動作と、位置検知部３３２が検知した利用者の時刻を対応付けられた位置データと、対応モデル３４とを用いて利用者の時刻を対応付けられた作業を認識する。つまり、作業認識部３５は、動作及び作業それぞれの開始時刻及び終了時刻も認識する。

例えば、作業認識部３５は、図５に示された「患者の体を起こす」という作業を認識する場合、まず、「かがむ」、「止まる」、「起こす」という動作を認識する。ここで、作業認識部３５は、「かがむ」の動作に対応する加速度データの開始時刻が時刻ｔｓである場合、「かがむ」の動作の開始時刻を時刻ｔｓとする。

作業認識部３５は、「かがむ」の動作に続いて、「止まる」、「起こす」の動作を認識し、「起こす」の動作に対応する加速度データの終了時刻が時刻ｔｅである場合、「起こす」の動作の終了時刻を時刻ｔｅとする。

そして、作業認識部３５は、「かがむ」、「止まる」、「起こす」の一連の動作を「患者の体を起こす」の作業と認識すると、「患者の体を起こす」の作業の開始時刻を時刻ｔｓとし、作業の終了時刻を時刻ｔｅとする。

対応辞書３６（図２）は、作業認識部３５が認識した特定の作業において、音声認識部３２が認識した音声データの文字列としての重要度を重要度判定部３７が判定するために使用する辞書であり、例えば記憶部２５に記憶されている。

図６は、対応辞書３６の構成例を示す図表である。対応辞書３６は、特定の作業において重要な文字列（例えばキーワード）及び文字列の属性の少なくともいずれかが、特定の作業に対応付けられている。図６において、「＜数字＞」のように、「＜」と「＞」で囲まれた文字列は、その文字列が示すクラスに属するキーワード（属性が同じキーワード）であれば任意の文字列が対応付けられることを表す。

例えば、「＜数字＞」が示す部分には数字を示す任意の文字列が対応付けられる。つまり、対応辞書３６は、「傷の大きさを測る」という作業に認識された期間に、「１０センチ」という認識された文字列が対応付けられると（「１０センチ」という音声が発せられていると）、「１０センチ」という文字列は重要度が高い文字列であると判定されるように構成されている。また、作業の種類によって音声（文字列）の重要度が異なるため、対応辞書３６は、同一の文字列であっても対応付けられる作業によって重要度が異なる判定を可能にしている。

なお、図６においてキーワードとして挙げられている文字列は、活用又は変形されても作業に対応付けられるように、活用例又は変形例を合わせて列挙されたり、活用又は変形の定義付けをされてもよい。また、図６においては、対応辞書３６は、特定の作業に対して重要度が同レベルである文字列及び文字列の属性の少なくともいずれかが対応付けられているが、特定の作業に対して重要度のレベルが異なる複数のレベルの文字列及び文字列の属性の少なくともいずれかが区別されて対応付けられていてもよい。

重要度判定部３７（図２）は、制御部２６などにより構成される。重要度判定部３７は、作業認識部３５が認識した特定の作業（作業の期間）において、音声認識部３２が認識した音声データの文字列としての重要度を、対応辞書３６を用いて判定し、判定結果を出力部３８に対して出力する。例えば、重要度判定部３７は、作業認識部３５が「傷の大きさを測る」という作業に認識した期間に対し、音声認識部３２が「１０センチ」という文字列を認識した場合、対応辞書３６に従って「１０センチ」という文字列は重要度が高いと判定する。

一方、重要度判定部３７は、音声認識部３２が「１０センチ」という文字列を認識しても、作業認識部３５が認識した作業が「傷の大きさを測る」という作業でなければ、「１０センチ」という文字列の重要度が高いとは判定しない。

出力部３８は、重要度判定部３７が判定した結果を受入れて出力する。ここで、出力部３８は、図１に示した表示部２０２であってもよい。つまり、出力部３８は、重要度判定部３７が判定した結果を表示することによって出力してもよい。

また、出力部３８は、通信部２４（図１）であってもよい。つまり、出力部３８は、重要度判定部３７が判定した結果を例えば外部のＰＣ（Personal Computer）などに対して送信することによって出力してもよい。そして、利用者は、外部のＰＣを用いて重要度判定部３７の判定結果を表示させたり、加工するようにしてもよい。

（第１の表示例）
図７は、重要度判定部３７が判定した結果を表示部２０２が表示した場合の第１の表示例である。図７に示すように、表示部２０２は、重要度判定部３７の判定結果を受けると、認識（推定）した作業を時系列に表示する。また、表示部２０２は、時系列に表示した作業に対応する文字列を、作業と文字列とが対応するように配置し、例えば音声が発せられた順に上から下へ並べて表示する。

また、表示部２０２は、特定の作業ごとに、文字列を重要度に応じて区別して表示する。例えば、表示部２０２は、「３０４号室＿傷の大きさを測る」（作業Ａ）において、重要度の高い文字列１０２（「赤くなってる」）及び文字列１０４（「１０センチ」）を、文字列１００及び文字列１０６に対して強調して表示する。表示部２０２は、文字列の色を変えたり、太さや大きさを変えることにより、表示の強調を行う。また、表示部２０２は、「３０４号室＿薬を塗る」（作業Ｂ）において、重要度の高い文字列１１０（「○○（薬の名前）」）及び文字列１１４（「ガーゼ貼った」）を、文字列１０８、文字列１１２及び文字列１１６に対して強調して表示する。

ここで、作業Ａにおける文字列１０２と、作業Ｂにおける文字列１０８とは、いずれも文字列の属性が＜色み＞であり、赤色を示す文字列となっている。しかし、作業Ａにおいて赤色を示す文字列の重要度が高くても、作業Ｂにおいて赤色を示す文字列の重要度が高くないため、表示部２０２は、文字列１０２と文字列１０８とに対して異なる表示をしている。

なお、音声記録選択装置１（図２）は、図１によってハードウェア構成を例示したように、利用者の操作入力を受け入れる機能を備えた操作受入部４０、及び音声などを出力する機能を備えた音声出力部４１を有していてもよい。

また、表示部２０２は、複数の作業の中から操作受入部４０を介して選択された１つの作業に対応する文字列だけを表示するなど、操作受入部４０を介して入力される操作に応じて任意の選択された表示を行うように構成されてもよい。

（第２の表示例）
図８は、重要度判定部３７が判定した結果を表示部２０２が表示した場合の第２の表示例である。なお、図８に示した第２の表示例は、通信部２４（図１）を介して外部のＰＣなどに表示されるものであってもよい。また、第２の表示例に示された操作入力に伴う表示等も、外部のＰＣなどの操作入力に応じて表示等される（表示以外の動作も含む）ものであってもよい。

図８に示すように、表示部２０２は、重要度判定部３７の判定結果を受けると、音声データの連続音声期間（図３参照）、認識（推定）した作業及び業務を時系列に対応付けて表示する。なお、図８において、図７に示した作業と同一の作業には、同一の符号が付してある。

図８（ａ）に示すように、例えば、作業Ａの期間には連続音声期間ｄ１、ｄ２が対応付けられ、作業Ｂの期間には連続音声期間ｄ３〜ｄ６が対応付けられている。表示部２０２は、作業Ａの開始時刻に開始時刻表示７０を表示し、作業Ａの終了時刻に終了時刻表示７２を表示する。また、表示部２０２は、作業Ｂの開始時刻に開始時刻表示７４を表示し、作業Ｂの終了時刻に終了時刻表示７６を表示する。開始時刻表示７０、７４及び終了時刻表示７２、７６は、例えば操作受入部４０を介して入力される操作に応じてポインタ６０によりスライドさせられて、それぞれの時刻を前後に変更可能にされている。つまり、音声記録選択装置１は、利用者が操作受入部４０を介して開始時刻表示７０、７４及び終了時刻表示７２、７６を移動させることにより、作業Ａ、Ｂの開始時刻及び終了時刻の表示及び時刻データを変更可能にされている。

例えば、作業Ｂの期間においては、連続音声期間ｄ３の開始時刻が作業Ｂの開始時刻とされており、連続音声期間ｄ６の終了時刻が作業Ｂの終了時刻とされている。図８（ａ）に示すように、終了時刻表示７６が表示部２０２上でスライドさせられると、音声記録選択装置１は、作業Ｂの終了時刻を変更する処理を行う。

また、作業Ａの終了時刻は、連続音声期間ｄ２の終了時刻と一致していない。つまり、図８（ａ）は、終了時刻表示７２が移動させられた結果、連続音声期間の終了時刻にかかわらず、作業Ａの終了時刻が変更された状態を示している。

図８（ｂ）は、終了時刻表示７６が表示部２０２上でスライドさせられた場合の音声記録選択装置１の動作を例示している。例えば、終了時刻表示７６が時刻を前倒しする方向にスライドさせられ、連続音声期間ｄ６の表示に重ねられると、音声記録選択装置１は、音声記録部３１が記録している音声データから連続音声期間ｄ６に発せられた音声データを選択する。そして、音声記録選択装置１は、連続音声期間ｄ６に発せられた音声データを用いて、音声出力部４１による音声出力を行う。

また、音声記録選択装置１は、終了時刻表示７６が時刻を前倒しする方向にスライドさせられ、作業Ｂの表示に重ねられると、音声記録部３１が記録している音声データから作業Ａの期間に発せられた音声データ（連続音声期間ｄ３〜ｄ６の音声データ）を選択するように構成されてもよい。そして、音声記録選択装置１は、連続音声期間ｄ３〜ｄ６に発せられた音声データを用いて、音声出力部４１による音声出力を行う。

音声記録選択装置１は、作業の開始時刻又は終了時刻が変更された場合、開始時刻又は終了時刻が変更された作業に対して文字列の重要度の判定を改めて行うように構成されてもよい。また、表示部２０２は、第２の表示例が表示する情報に加えて、第１の表示例で表示した文字列を表示するように構成されてもよい。

次に、音声記録選択装置１の動作について説明する。図９は、実施形態にかかる音声記録選択装置１の動作を例示するフローチャートである。音声記録選択装置１は、例えば電源がオンにされると、音声受入部３０が音声の受入れを開始し、情報検知部３３が検知を開始する。

図９に示すように、ステップ１００（Ｓ１００）において、音声認識部３２は、音声受入部３０が受入れた音声を認識し、時刻が対応付けられた文字列（テキスト）に変換する。

ステップ１０２（Ｓ１０２）において、作業認識部３５は、情報検知部３３が検知した加速度データ及び位置データなどを受入れて、利用者の時刻を対応付けられた作業（作業情報）を認識する。

ステップ１０４（Ｓ１０４）において、重要度判定部３７は、作業認識部３５が認識した作業（作業の期間）において、音声認識部３２が認識した文字列としての重要度を、対応辞書３６を用いて判定する。

ステップ１０６（Ｓ１０６）において、表示部２０２は、重要度判定部３７が判定した結果を受入れ、テキストを重要度に応じて区別して表示する。

本実施形態においては、情報検知部３３の検知結果を用いて特定の作業を認識し、認識した作業に対して音声認識部３２が認識した文字列の重要度を判定する場合を例に説明したが、音声記録選択装置１の動作はこれに限定されない。例えば、音声記録選択装置１は、開始時刻及び終了時刻が定められた特定の作業を示す予定表などのデータ（作業情報）を作業認識部３５が読み込み、予定表に示される作業に対して音声認識部３２が認識した文字列の重要度を重要度判定部３７が判定するように構成されてもよい。また、音声記録選択装置１が音声を記録して文字列の重要度を判定する言語は、日本語に限らず、他の言語であってもよい。

以上説明した実施形態によれば、音声を記録していた記録時間と同等の時間をかけることなく、音声から変換された文字列を特定の作業における重要度に応じて区別して出力することができる。

また、本発明の実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 音声記録選択装置
２０ 操作部
２００ 入力部
２０２ 表示部
２１ マイク
２２ 検知部
２２０ 加速度センサ
２２２ 測位センサ
２３ スピーカ
２４ 通信部
２５ 記憶部
２６ 制御部
３０ 音声受入部
３１ 音声記録部
３２ 音声認識部
３３ 情報検知部
３３０ 加速度検知部
３３２ 位置検知部
３３４ 脈拍検知部
３３６ 温度検知部
３４ 対応モデル
３５ 作業認識部
３６ 対応辞書
３７ 重要度判定部
３８ 出力部
４０ 操作受入部
４１ 音声出力部

Claims (8)

1. 音声を受入れる音声受入部と、
   前記音声を認識して文字列に変換する音声認識部と、
   開始時刻及び終了時刻が定められた特定の作業を示す作業情報を認識する作業認識部と、
   前記特定の作業において重要な文字列及び文字列の属性の少なくともいずれかと、前記特定の作業における前記文字列及び前記属性の重要度と、を前記特定の作業に対応付けた対応辞書を記憶する記憶部と、
   前記作業情報及び前記対応辞書に基づいて、前記特定の作業の開示時刻から終了時刻までの期間に受入れられた前記音声から変換された文字列の重要度を判定する重要度判定部と、
   前記期間に受入れられた前記音声から変換された文字列を、前記重要度に応じて区別して出力する出力部と、
   を有する音声記録選択装置。
2. 利用者の加速度及び前記利用者の位置の少なくともいずれかを検知する検知部をさらに有し、
   前記記憶部は、
   前記利用者の加速度により特定される動作の組合せ及び前記利用者の位置の少なくともいずれかと、前記特定の作業との対応を示す対応モデルをさらに記憶し、
   前記作業認識部は、
   前記検知部が検知した前記利用者の加速度により特定された動作の組合せ及び前記検知部が検知した前記利用者の位置の少なくともいずれか並びに前記対応モデルに応じて前記作業情報を認識する
   請求項１に記載の音声記録選択装置。
3. 前記出力部は、
   前記作業情報に応じて前記期間を表示する出力、及び前記期間に前記音声受入部が受入れた音声から変換された文字列を前記重要度に応じて区別して表示する出力を行い、
   前記出力部が表示した前記期間を特定する入力を受入れる操作受入部と、
   前記音声受入部が受入れた音声を記録する音声記録部と、
   音声を出力する音声出力部と、
   前記操作受入部が受入れた入力により特定された前記期間に前記音声記録部が記録した音声を前記音声出力部が出力するよう制御する制御部と、
   をさらに有する
   請求項２に記載の音声記録選択装置。
4. 前記検知部は、
   前記利用者の脈拍及び前記利用者が位置する環境の温度の少なくともいずれかをさらに検知し、
   前記対応モデルは、
   前記検知部が検知する前記利用者の脈拍及び前記利用者が位置する環境の温度の少なくともいずれかと、前記特定の作業との対応を示す情報をさらに含み、
   前記作業認識部は、
   前記検知部が検知した前記利用者の加速度により特定された動作の組合せ、前記利用者の位置、前記利用者の脈拍及び前記利用者が位置する環境の温度の少なくともいずれか並びに前記対応モデルに応じて前記作業情報を認識する
   請求項２に記載の音声記録選択装置。
5. 前記操作受入部は、
   前記出力部が表示した前記期間を変更する入力をさらに受入れ、
   前記制御部は、
   前記操作受入部が受入れた前記期間を変更する入力に応じて、前記作業情報を変更するようさらに制御する
   請求項３に記載の音声記録選択装置。
6. 前記出力部は、
   前記期間内に前記音声記録部が連続する音声を記録した連続音声期間をさらに表示する出力を行い、
   前記操作受入部は、
   前記連続音声期間を特定する入力をさらに受入れ、
   前記制御部は、
   前記操作受入部が受入れた入力により特定された前記連続音声期間に前記音声記録部が記録した音声を前記音声出力部が出力するようさらに制御する
   請求項５に記載の音声記録選択装置。
7. 音声記録を選択する音声記録選択方法であって、
   特定の作業において重要な文字列及び文字列の属性の少なくともいずれかと、前記特定の作業における前記文字列及び前記属性の重要度と、を前記特定の作業に対応付けた対応辞書を記憶する記憶部を備え、
   音声受入部が受入れた音声を認識して文字列に変換する工程と、
   開始時刻及び終了時刻が定められた特定の作業を示す作業情報を認識する工程と、
   前記作業情報及び前記対応辞書に基づいて、前記特定の作業の開示時刻から終了時刻までの期間に受入れられた前記音声から変換された文字列の重要度を判定する工程と、
   前記期間に受入れられた前記音声から変換された文字列を、前記重要度に応じて区別して出力する工程と、
   を含む音声記録選択方法。
8. 音声受入部が受入れた音声を認識して文字列に変換するステップと、
   開始時刻及び終了時刻が定められた特定の作業を示す作業情報を認識するステップと、 前記特定の作業において重要な文字列及び文字列の属性の少なくともいずれかと、前記特定の作業における前記文字列及び前記属性の重要度と、を前記特定の作業に対応付けた対応辞書、及び前記作業情報に基づいて、前記特定の作業の開示時刻から終了時刻までの期間に受入れられた前記音声から変換された文字列の重要度を判定するステップと、
   前記期間に受入れられた前記音声から変換された文字列を、前記重要度に応じて区別して出力するステップと、
   をコンピュータに実行させるための音声記録選択プログラム。

Images