JP2021071641A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021071641A
JP2021071641A JP2019198952A JP2019198952A JP2021071641A JP 2021071641 A JP2021071641 A JP 2021071641A JP 2019198952 A JP2019198952 A JP 2019198952A JP 2019198952 A JP2019198952 A JP 2019198952A JP 2021071641 A JP2021071641 A JP 2021071641A
Authority
JP
Japan
Prior art keywords
work
voice
target
execution status
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019198952A
Other languages
English (en)
Inventor
伊藤 達雄
Tatsuo Ito
達雄 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019198952A priority Critical patent/JP2021071641A/ja
Priority to US17/078,286 priority patent/US11615796B2/en
Publication of JP2021071641A publication Critical patent/JP2021071641A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Abstract

【課題】作業対象に対する作業の実施状況の把握を支援すること。【解決手段】情報処理装置は、作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御部と、特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新部と、前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される表示端末に表示させる表示制御部と、を有する。【選択図】図3

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
介護施設においては、1以上のスタッフが担当する1以上の被介護者について、当該1以上のスタッフが各種の作業を行っている。この場合、被介護者に対して作業が重複(例えば、服薬や食事等の重複)しておこなわれたり、作業の実施漏れが生じたり等のミスが発生しないように、被介護者に対する作業が適切に行われることが重要である。
例えば、スタッフの作業中の発話音声を取得して予め記憶された用語と照合し、その照合結果に応じてスタッフへの通知を指示することで、被介護者に対する不適切な行為を指摘することができる(特許文献1)。
しかしながら、単に、被介護者に対する不適切な行為を指摘することを可能としたとしても、被介護者に対する作業の実施状況を俯瞰的に把握するのは困難である。
このような問題は、介護施設のみならず、作業対象に対して行われる各種の作業に関して共通のものである。
本発明は、上記の点に鑑みてなされたものであって、作業対象に対する作業の実施状況の把握を支援することを目的とする。
そこで上記課題を解決するため、情報処理装置は、作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御部と、特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新部と、前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される表示端末に表示させる表示制御部と、
を有する。
作業対象に対する作業の実施状況の把握を支援することができる。
第1の実施の形態における情報処理システムの構成例を示す図である。 第1の実施の形態における業務サーバ10のハードウェア構成例を示す図である。 第1の実施の形態における情報処理システムの機能構成例を示す図である。 情報処理システムにおいて実行される処理手順の一例を説明するためのシーケンス図である。 スタッフ情報記憶部124の構成例を示す図である。 音声テキスト記憶部122の構成例を示す図である。 発話パターンの一例を示す図である。 音声テキスト記憶部122の更新例を示す図である。 項目名定義記憶部123の構成例を示す図である。 項目名の特定結果の一例を示す図である。 作業実施状況記憶部125の構成例を示す図である。 作業実施状況画面の表示例を示す図である。 作業マスタ記憶部126の構成例を示す図である。 メッセージの表示例を示す図である。 第2の実施の形態において作業実施状況更新部13が実行する処理手順の一例を説明するためのフローチャートである。 アラート通知処理の処理手順の一例を説明するためのシーケンス図である。 第3の実施の形態において作業実施状況更新部13が実行する処理手順の一例を説明するためのフローチャートである。 作業タイミングルールテーブルの構成例を示す図である。
以下、図面に基づいて本発明の実施の形態を説明する。図1は、第1の実施の形態における情報処理システムの構成例を示す図である。本実施の形態では、或る介護施設Xにおける複数人の介護スタッフ(以下、単に「スタッフ」という。)による、介護施設Xへの入居者(被介護者)に対する作業である介護作業を作業者によって行われる作業の一例として説明するが、1人の介護スタッフによる、介護施設Xへの1以上の入居者(被介護者)に対する介護作業であってもよい。
図1に示される介護施設Xにおいて、複数人の各スタッフは1つの通話器60及び1つのスタッフ端末50を携帯する。また、介護施設Xには、1以上の表示端末70及び1以上の登録端末80が所定の位置に設置される。
各スタッフ端末50、各表示端末70及び各登録端末80は、インターネット等のネットワークを介して業務サーバ10に接続される。各スタッフ端末50は、更に、インターネット等のネットワークを介して通話サーバ20及びメッセージ通信サーバ30に接続される。業務サーバ10は、インターネット等のネットワークを介して通話サーバ20、メッセージ通信サーバ30及び音声解析サーバ40と接続される。
通話器60は、インカム又はトランシーバ等であり、マイク及びイヤホンを含む。通話器60は、ヘッドセットのようにウェアラブルな形状を有していてもよいし、手に持って使用可能な形状を有していてもよい。スタッフ端末50は、例えば、スマートフォン又はタブレット端末等である。スタッフ端末50は、通話器60と近距離無線通信によって通信可能である。
スタッフ端末50は、通話器60が入力した音声(すなわち、スタッフの発話内容)を示す音声データを通話器60から受信し、当該音声データを通話サーバ20へ送信するとともに、通話サーバ20から配信される音声データを受信し、当該音声データ出力する。スタッフ端末50は、また、インターネット等を介して接続されるメッセージ通信サーバ30から配信される、各スタッフ端末50からの音声データがテキスト化されたテキストデータを受信し、当該テキストデータを表示する。その結果、各スタッフは、音声及びテキストによって、他のスタッフが実施する作業内容を知ることができる。
通話サーバ20は、各スタッフ端末50間での音声通話を支援する1以上のコンピュータである。通話サーバ20は、いずれかのスタッフ端末50から送信される音声データを、他の各スタッフ端末50に配信する。
登録端末80は、各入居者に対する作業スケジュールを示す情報(以下、「作業スケジュール情報」という。)の入力を受け付け、当該作業スケジュール情報を業務サーバ10に登録するPC(Personal Computer)等のコンピュータである。作業スケジュール情報とは、作業の実施順序を時系列に示す情報をいう。
業務サーバ10は、介護施設Xにおける業務(介護作業)の支援に特化した情報処理を実行する1以上のコンピュータである。例えば、業務サーバ10は、通話サーバ20が各スタッフ端末50から受信する音声データを取得し、当該音声データに基づいて、各入居者に対して登録されている作業スケジュール情報が示す作業の実施状況(進捗状況)を更新する。すなわち、各スタッフは、作業を実施する際に、いずれのスタッフがいずれの入居者にどのような作業を行うのかについての発話を行う。したがって、業務サーバ10は、このような発話の内容が記録された音声データを用いて作業の実施状況を把握することができる。
音声解析サーバ40は、業務サーバ10がスタッフ端末50から受信した音声データに対して音声認識を適用し、当該音声データをテキストデータに変換する1以上のコンピュータである。業務サーバ10は、音声解析サーバ40による変換結果を利用して、作業の実施状況の更新を行う。
メッセージ通信サーバ30は、業務サーバ10が受信した音声データについての音声解析サーバ40による変換結果であるテキストデータを、各スタッフ端末50に配信する。したがって、各スタッフは、スタッフ端末50を参照して、各スタッフの発話内容の履歴を確認することができる。
表示端末70は、業務サーバ10によって管理される作業の実施状況を俯瞰的に示す情報を表示するPC、タブレット端末又はスマートフォン等である。その結果、複数人のスタッフの全員又は一部のスタッフは、複数の入居者に対する現在の作業の実施状況を把握することができる。
図2は、第1の実施の形態における業務サーバ10のハードウェア構成例を示す図である。図2の業務サーバ10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
業務サーバ10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って業務サーバ10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
なお、通話サーバ20、メッセージ通信サーバ30、音声解析サーバ40、スタッフ端末50、表示端末70及び登録端末80等も、図2に示されるようなハードウェアを含んでもよい。
図3は、第1の実施の形態における情報処理システムの機能構成例を示す図である。図3において、スタッフ端末50は、通話アプリ51及びメッセージアプリ52等を有する。これら各アプリは、スタッフ端末50にインストールされた1以上のプログラムが、スタッフ端末50に実行させる処理により実現される。通話アプリ51は通話サーバ20を介した他のスタッフ端末50との通話を実現するアプリケーションである。メッセージアプリ52は、メッセージ通信サーバ30から送信されるメッセージを受信し、当該メッセージを表示するアプリケーションである。
表示端末70は、ブラウザ71を有する。ブラウザ71は、表示端末70にインストールされた1以上のプログラムが、表示端末70のCPUに実行させる処理により実現される。ブラウザ71は、業務サーバ10から取得される表示データに基づいて、各入居者に対する各作業の実施状況を示す画面の表示を表示端末70に実行させるWebブラウザである。
登録端末80は、ブラウザ81を有する。ブラウザ81は、登録端末80にインストールされた1以上のプログラムが、登録端末80のCPUに実行させる処理により実現される。ブラウザ81は、各入居者に対する作業のスケジュール情報を登録させるための画面の表示と、当該画面に入力されたスケジュール情報の業務サーバ10への送信とを登録端末80に実行させるWebブラウザである。
通話サーバ20は、通話制御部21を有する。通話制御部21は、通話サーバ20にインストールされた1以上のプログラムが、通話サーバ20のCPUに実行させる処理により実現される。通話サーバ20は、また、ユーザ情報記憶部22、音声一時記憶部23及び音声リクエスト記憶部24等を利用する。これら各記憶部は、例えば、通話サーバ20の補助記憶装置、又は通話サーバ20にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
通話制御部21は、各スタッフ端末50の通話アプリ51間の音声通話(すなわち、音声データの通信)を制御する。ユーザ情報記憶部22には、通話サーバ20が提供する音声通話サービスのユーザ(通話アプリ51のユーザ)に関する情報(ユーザID等)が記憶されている。音声一時記憶部23には、通話制御部21がスタッフ端末50から受信した音声データが一時的に記憶される。音声リクエスト記憶部24には、業務サーバ10から音声データの取得が要求されているスタッフのユーザID(後述のスタッフID)が記憶される。
メッセージ通信サーバ30は、メッセージ通信部31を有する。メッセージ通信部31は、メッセージ通信サーバ30にインストールされた1以上のプログラムが、メッセージ通信サーバ30のCPUに実行させる処理により実現される。メッセージ通信部31は、業務サーバ10から送信が要求されたメッセージをスタッフ端末50のメッセージアプリ52へ送信する。
業務サーバ10は、音声通信制御部11、音声解析制御部12、作業実施状況更新部13、表示制御部14、テキスト送信制御部15及びスケジュール登録部16等を有する。これら各部は、業務サーバ10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。業務サーバ10は、また、音声データ記憶部121、音声テキスト記憶部122、項目名定義記憶部123、スタッフ情報記憶部124、作業実施状況記憶部125及び作業マスタ記憶部126等を利用する。これら各記憶部は、例えば、補助記憶装置102、又は業務サーバ10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
音声通信制御部11は、スタッフ情報記憶部124にスタッフIDが記憶されている各スタッフに係る音声データ(すなわち、各スタッフによる発話内容が記録された音声データ)を通話サーバ20から取得する。スタッフIDとは、スタッフの識別情報である。音声通信制御部11は、当該音声データを音声データ記憶部121に記録すると共に当該音声データの解析を音声解析部41に要求する。なお、スタッフ情報記憶部124には、スタッフIDの一覧が記憶されている。
音声解析制御部12は、音声通信制御部11から解析が要求された音声データの解析を音声解析サーバ40へ要求し、音声解析サーバ40による解析結果を受信する。当該解析結果は、音声データに記録されている発話内容を示すテキストデータ及び当該テキストデータに含まれている、作業内容を特定するためのキーワード群を含む。音声解析制御部12は、当該テキストデータ及び当該音声データの記憶先(音声データ記憶部121)の識別情報(URL)を関連付けて音声テキスト記憶部122に記録する。音声解析制御部12は、また、当該各キーワードの意味(項目名)を項目名定義記憶部123に記憶されている情報に基づいて特定し、特定結果を作業実施情報更新部へ通知する。当該特定結果は、いずれの入居者に対してどのような作業が実施されたのか(すなわち、作業内容)を示す情報である。
作業実施状況更新部13は、作業実施状況記憶部125に記憶されている、各入居者に対する作業の実施状況(作業の進捗状況)を示す情報を、音声解析制御部12から通信される特定結果に基づいて更新する。
表示制御部14は、作業実施状況記憶部125に記憶されている情報に基づく画面に係る表示データを生成し、当該表示データを表示端末70へ送信する。当該画面においては、入居者ごとに、作業の実施順に、各作業の実施状況が示される。表示制御部14は、当該表示データの生成に際し、作業マスタ記憶部126を参照して作業の実施順等を把握する。
スケジュール登録部16は、登録端末80から送信されるスケジュール情報を作業実施状況記憶部125に登録する。すなわち、作業実施状況記憶部125には、各入居者に対する作業のスケジュール情報と共に、当該スケジュール情報に含まれる各作業の実施状況を示す情報が記憶される。
テキスト送信制御部15は、作業実施状況更新部13からの要求に応じ、テキストデータであるメッセージの送信をメッセージ通信サーバ30へ要求する。
音声解析サーバ40は、音声解析部41を有する。音声解析部41は、音声解析サーバ40にインストールされた1以上のプログラムが、音声解析サーバ40のCPUに実行させる処理により実現される。音声解析サーバ40は、また、発話パターン記憶部42を利用する。発話パターン記憶部42は、例えば、音声解析サーバ40の補助記憶装置、又は音声解析サーバ40にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
音声解析部41は、業務サーバ10の音声解析制御部12から解析が要求された音声データに対して音声認識を適用し、当該音声データをテキストデータへ変換する。音声解析部41は、また、発話パターン記憶部42に記憶されている発話パターンに基づいて、当該テキストデータからキーワードを抽出する。発話パターンとは、スタッフによる作業に関する発話内容についてのパターンを示す情報である。本実施の形態では、各作業の実施する際の発話内容のパターンが決められており、各スタッフは、当該パターンに基づいて発話を行う。作業に関しては複数種類の発話内容が有るため、複数種類の発話パターンが予め発話パターン記憶部42に記憶されている。
なお、図3に示される各機能部の配置は一例にすぎない。例えば、業務サーバ10は、通話サーバ20、音声解析サーバ40、及びメッセージ通信サーバ30のいずれか1以上を兼ねてもよいし、他のサーバ同士が組み合わされてもよい。また、音声データは、音声データ記憶部121ではなく、クラウドストレージサービスに記憶させるようにしてもよい。
また、スタッフ端末50が有する通話アプリ51及びメッセージアプリ52は一つのアプリケーションによって実現されてもよい。
以下、情報処理システムにおいて実行される処理手順について説明する。図4は、情報処理システムにおいて実行される処理手順の一例を説明するためのシーケンス図である。
いずれかのスタッフ(以下、「対象スタッフ」という。)が作業の実施に関する発話を行うと、対象スタッフの通話器60は当該発話の内容を示す音声データ(以下、「対象音声データ」という。)を対象スタッフのスタッフ端末50へ送信する(S101)。当該スタッフ端末50の通話アプリ51は、対象音声データと、当該スタッフ端末50に予め記憶されている、通話サーバ20に対するユーザIDとを通話サーバ20に送信する(S102)。なお、本実施の形態では、便宜上、スタッフIDが通話サーバ20のユーザIDとして利用されていることとする。また、スタッフIDは、複数人のスタッフに対して共通のIDであってよい。すなわち、当該複数人のグループに対するIDであってもよい。
通話サーバ20の通話制御部21は、対象音声データ及び当該スタッフID(以下、「対象スタッフID」という。)を受信すると、対象音声データを対象スタッフIDに関連付けて音声一時記憶部23に一時的に記録する(S103)。なお、通話制御部21は、対象音声データの送信元のスタッフ端末50以外のスタッフ端末50に対して対象音声データを配信するが、当該配信に関する処理手順は公知技術に従えばよい。その結果、各スタッフは、対象音声データに係る音声を聞くことができる。
一方、業務サーバ10の音声通信制御部11は、音声データの取得要求を通話制御部21に送信しておく(S104)。当該音声データには、スタッフ情報記憶部124に予め記憶されているスタッフIDの一覧が指定される。
図5は、スタッフ情報記憶部124の構成例を示す図である。図5に示されるように、スタッフ情報記憶部124には、介護施設Xにおけるスタッフごとに、スタッフID及びメッセージユーザIDが記憶されている。ステップS104では、スタッフIDの一覧が参照される。一方、メッセージユーザIDは、メッセージ通信サーバ30が提供するメッセージ交換サービスに対する各スタッフのユーザIDである。
通話制御部21は、当該取得要求に指定されているスタッフIDを音声リクエスト記憶部24に記録する。その結果、当該一覧に含まれるスタッフIDに関連付いた音声データが通話サーバ20において受信されたら、当該音声データが業務サーバ10に転送されるようにするためのセッションが通話制御部21と音声通信制御部11との間で張られる。なお、ステップS104は、スタッフIDごとに実行されてもよい。この場合、スタッフIDごとにセッションが張られる。また、図4では、便宜上、ステップS104がステップS103の後に実行されるように示されているが、ステップS104は、ステップS103より前に実行されていてもよい。
通話制御部21は、ステップS104において音声一時記憶部23に記憶された対象音声データに関連付いている対象スタッフIDが、音声リクエスト記憶部24に記憶されているいずれかのユーザIDと一致すれば、対象音声データを対象スタッフIDに対応するセッションを介して業務サーバ10の音声通信制御部11へ送信する(S105)。
音声通信制御部11は、対象音声データを受信すると、対象音声データを音声データ記憶部121に記憶し、対象音声データの記憶先の識別情報(URL(Uniform Resource Locator))等を音声テキスト記憶部122に記録する(S106)。
図6は、音声テキスト記憶部122の構成例を示す図である。図6に示されるように、音声テキスト記憶部122は、各音声データについて、音声記録ID、スタッフID、音声URL及びテキストデータを記憶する。
音声記録IDは、音声データの識別情報であり、ステップS106において音声通信制御部11によって割り当てられる。スタッフIDは、当該音声データの発話元のスタッフのスタッフIDである。スタッフIDごとにセッションが張られる場合、当該スタッフIDは、当該音声データの受信に利用されたセッションに基づいて特定可能である。一方、複数のスタッフIDに対して共通のセッションが張られる場合、音声データに加えてスタッフIDが通話制御部21から送信されてもよい。この場合、音声データと共に受信されたスタッフIDが当該音声データに関連付けられて音声テキスト記憶部122に記憶される。音声URLは、当該音声データの記憶先のURLである。テキストデータは、当該音声データに対して音声認識を適用した結果として得られるテキストデータである。
ステップS106の時点では、対象音声データについてテキストデータは得られていない。したがって、音声通信制御部11は、対象音声データに対する音声記録ID(以下、「対象音声記録ID」という。)を生成し、対象音声記録ID、対象スタッフID及び音声URLを含み、テキストデータを含まないレコード(以下、「対象レコード」という。)を音声テキスト記憶部122に記録する。例えば、図6において、音声記録IDが「0004」であるレコードが、ステップS106において記録されるレコードの一例である。
続いて、音声通信制御部11は、対象音声記録IDを音声解析制御部12へ通知する(S107)。音声解析制御部12は、対象音声記録IDに基づいて音声データ記憶部121から音声データ(対象音声データ)を取得する(S108)。具体的には、音声解析制御部12は、対象音声記録IDに関連付けられて音声テキスト記憶部122に記憶されている音声URLによって特定される記憶先に記憶されている音声データを取得する。続いて、音声解析制御部12は、対象音声データを含む、対象音声データの解析要求を音声解析サーバ40へ送信する(S109)。
音声解析サーバ40の音声解析部41は、当該解析要求を受信すると、当該解析要求に含まれている対象音声データについて解析処理を実行する(S110)。当該解析処理では、対象音声データのテキストデータ(以下、「対象テキストデータ」という。)への変換(音声認識)と、対象テキストデータからのキーワード群の抽出とが行われる。キーワード群の抽出には、発話パターン記憶部42に記憶されている発話パターンが用いられる。
図7は、発話パターンの一例を示す図である。図7に示される発話パターンp1は、発話パターン記憶部42に記憶されている発話パターン群のうちの1つの発話パターンの例である。発話パターンp1において、{}で囲まれた文字列は、作業項目又は作業サブ項目を示すキーワード(文字列)であり、発話パターンにおいて既定値である。発話パターンp1において、最初の{}に囲まれた「食前服薬」は作業項目を示し、2番目の{}に囲まれた「本人確認」は、作業サブ項目を示す。作業項目とは、複数種類の作業を分類する最上位の概念である。作業サブ項目とは、作業項目を細分化する概念である。作業項目及び各作業項目に属する作業サブ項目は、後述されるように予め定義される。
一方、[]で囲まれた値は、変動値(変数)である。発話パターンp1において1番目の[]は、「食前服薬」という作業の対象とされた入居者を識別するキーワード(以下、「入居者ID」という。)である。入居者IDは、例えば、図7に示されるように、部屋番号を示す数字と「号室」という文字列と、入居者の氏名と、氏名に付加される敬称(「さん」又は「様」)によって構成される。発話パターンp1において2番目の[]は、作業結果を示すキーワードである。作業結果は、例えば、図7に示されるように、「済み」、「OK」、「完了」、「しました」等によって表現される。
すなわち、各スタッフは、自らが行った作業に対応する発話パターンに有った形式で、発話を行うように訓練されている。例えば、音声解析部41による音声認識結果である対象テキストデータが「食前服薬101号室Aさん本人確認OK」だとすると、音声解析部41は、発話パターン記憶部42に記憶されている発話パターン群の中から、{}で囲まれた全ての部分(すなわち、作業項目及び作業サブ項目)が対象テキストデータに含まれている発話パターンを抽出する。したがって、「食前服薬101号室Aさん本人確認OK」の場合、図7の発話パターンp1が抽出される。
音声解析部41は、抽出した発話パターンp1に基づいて、入居者ID及び作業結果を対象テキストデータから抽出する。音声解析部41は、作業項目、入居者ID、作業サブ項目、作業結果の順で、各キーワードが配列されたデータを、解析結果として生成する。具体的には、「食前服薬101号室Aさん本人確認OK」については、発話パターンp1に基づいて、「食前服薬,101号室Aさん,本人確認,作業結果」が解析結果として生成される。
なお、対象テキストデータがいずれの作業項目及びいずれの作業サブ項目をも含んでおらず、対象テキストデータに対応する発話パターンを特定することができない場合、音声解析部41は、例えば、空の解析結果を生成する。このようなテキストデータは、作業の実施に関する発話に関するものではなく、他の話題に関する発話に基づくものである。したがって、空の解析結果が生成されることにより、作業の実施とは無関係な発話によって後述の処理手順が誤って実行されるのを回避することができる。
続いて、音声解析部41は、対象テキストデータ及び解析結果(抽出されたキーワードの配列)を含む応答を業務サーバ10の音声解析制御部12へ送信する(S111)。
音声解析制御部12は、当該応答を受信すると、当該応答に含まれている対象テキストデータを音声テキスト記憶部122の対象レコードに記録する(S112)。その結果、音声テキスト記憶部122は、図8に示されるように更新される。
図8は、音声テキスト記憶部122の更新例を示す図である。図8では、音声記録IDが「0004」のレコードに対して、対象テキストデータが記録されている。
続くステップS113以降は、音声解析部41からの応答に含まれている解析結果が空である場合には実行されない。
ステップS113において、音声解析制御部12は、音声解析部41からの応答に含まれている解析結果を構成する各キーワードについて、項目名定義記憶部123を参照して項目名を特定する。項目名を特定することは、各キーワードの意味を特定することと等価である。
図9は、項目名定義記憶部123の構成例を示す図である。図9に示されるように、項目名定義記憶部123には、解析結果におけるキーワードの並び順に対応付けて項目名が記憶されている。図9の例では、解析結果の1番目のキーワードは「作業項目」であり、2番目のキーワードは「入居者ID」であり、3番目のキーワードは、「作業サブ項目」であり、4番目のキーワードは「作業結果」であることが示されている。したがって、例えば、解析結果が「食前服薬,101号室Aさん,本人確認,作業結果」である場合、当該解析結果に含まれている各キーワードについては、図10に示されるように項目名が特定される。
図10は、項目名の特定結果の一例を示す図である。図10では、「食前服薬」が作業項目として特定され、「101号室Aさん」が入居者IDとして特定され、「本人確認」が作業サブ項目として特定され、「OK」が作業結果として特定された例が示されている。
続いて、音声解析制御部12は、図10に示されるような特定結果を作業実施状況更新部13へ通知する(S114)。作業実施状況更新部13は、当該特定結果における「作業結果」の値が「済み」、「OK」、「完了」、「しました」等、作業の成功を示す所定の値であれば作業実施状況記憶部125を更新する(S115)。一方、「作業結果」の値が作業の失敗を示す値であれば、ステップS115及びS116は実行されない。
図11は、作業実施状況記憶部125の構成例を示す図である。図11に示されるように、作業実施状況記憶部125に記憶される1つのレコードは、一人の入居者に対する一つの作業についてのスケジュール情報と作業実施状況情報とを記憶可能なように構成される。通常、一人の入居者に対して各日に複数の作業の実施が予定される。したがって、一人の入居者に対して各日に複数のレコードが作業の実施順に登録される。例えば、図11の例では、「101号室Aさん」を入居者IDとするレコードが複数登録されているが、これらのレコード群は、「101号室Aさん」に対して実施予定の作業が実施順に並べられたものである。
スケジュール情報を構成する各項目の値は、登録端末80から予め登録される。スケジュール情報は、入居者ID、日付、作業項目及び作業サブ項目等の項目を含む。入居者IDは、実施予定の作業の対象とされる入居者の入居者IDである。日付は、作業が実施される予定の日付である。作業項目及び作業サブ項目は、実施予定の作業の作業項目及び作業サブ項目である。
一方、作業実施状況情報を構成する各項目の値は、作業の実施に関する音声データに基づいて登録される。作業実施状況情報は、作業結果、スタッフID及び音声記録ID等の項目を含む。作業結果は、作業を実施した結果を示す項目である。スタッフIDは、作業を実施したスタッフのスタッフIDである。音声記録IDは、当該作業の実施に際して発話された音声の音声データに対する音声記録IDである。
ステップS115において、作業実施状況更新部13は、図10に示されるような特定結果に基づいて、作業実施状況記憶部125のレコード群の中から更新対象のレコードを特定する。具体的には、当該特定結果の作業項目、入居者ID及び作業サブ項目を含み、かつ、「日付」の値が当日であるスケジュール情報を含むレコード(以下、「更新対象レコード」という。)が更新対象として特定される。作業実施状況更新部13は、更新対象レコードにおける「作業結果」、「スタッフID」、「音声記録ID」のそれぞれに対し、現在時刻(すなわち、作業が行われた時刻)、対象スタッフID、対象音声記録IDを記録する。その結果、更新対象レコードに係る作業に関しての実施状況(実績)が作業実施状況記憶部125に記録される。
なお、更新対象レコードとして特定されたレコードの作業実施状況情報の各項目に既に値が記録されている場合、同一の作業についてやり直しが行われたことになる。したがって、この場合、作業実施状況更新部13は、更新対象レコードのコピーを更新対象レコードの直下に生成し、コピー先のレコードの作業実施状況情報を上記したように更新する。その結果、同一の作業がやり直されたことが履歴として残される。
続いて、作業実施状況更新部13は、作業実施状況情報の更新の通知を表示制御部14及びテキスト送信制御部15のそれぞれへ送信する(S116、S117)。この際、テキスト送信制御部15への通知には、対象音声記録IDが含まれる。
作業実施状況更新部13からの更新の通知に応じ、表示制御部14は、更新後の作業実施状況記憶部125を参照して作業実施状況画面の表示データを生成又は更新する(S118)。当該表示データは、例えば、HTML及びスクリプト等によって構成される。
その後、表示端末70のブラウザ71から送信される表示データの取得要求に応じ(S119)、表示制御部14は、ステップS118において生成した表示データを含む応答をブラウザ71へ送信することで当該表示データを表示端末70に表示させる(S120)。すなわち、ブラウザ71は、当該表示データを受信すると、当該表示データに基づいて、作業実施状況画面を更新する(S121)。
なお、ブラウザ71は、表示端末70に対するいずれかのスタッフによる操作に応じて、作業実施状況画面のURLによって識別される表示制御部14へアクセスし、その時点における作業実施状況記憶部125に基づいて生成される表示データに基づいて作業実施状況画面を表示する。その後、ブラウザ71は、当該表示データに含まれているスクリプトの定義に基づいて、所定の時間間隔(例えば、1秒ごと)に、表示制御部14に対して表示データの取得要求を送信する。その結果、ブラウザ71には、ほぼ最新の作業実施状況記憶部125の状態に応じた作業実施状況画面が表示される。
図12は、作業実施状況画面の表示例を示す図である。図12に示される作業実施状況画面510は、行方向に入居者が割り当てられ(行と入居者とが1対1に対応し)、列方向に作業項目及び作業サブ項目が割り当てられている。
入居者は、部屋番号及び氏名によって識別される。各行において、当該行における入居者に対して実施された作業(作業サブ項目)の列には、実施された時刻及び実施したスタッフのスタッフIDが表示される。これらの値は、作業実施状況記憶部125を参照して特定可能である。
なお、列方向における作業項目及び作業サブ項目の並び順は作業マスタ記憶部126に記憶されている情報に基づく。
図13は、作業マスタ記憶部126の構成例を示す図である。図13に示されるように、作業マスタ記憶部126には、作業項目と各作業項目に属する作業サブ項目とが対応付けられて記憶されている。作業マスタ記憶部126には、基本的に、1日における実施順に各作業項目が記憶され、各作業項目内での実施順に各作業サブ項目が記憶されている。表示制御部14は、表示データを生成する際に、作業マスタ記憶部126において定義されている順番で、作業実施状況画面510の各列に対して作業項目及び作業サブ項目を割り当てる。
なお、作業マスタ記憶部126は、スケジュール登録部16が、作業実施状況記憶部125に対してスケジュールを登録する際(すなわち、作業実施状況記憶部125に対して新たなレコードを生成し、当該レコードのスケジュール情報の各項目の値を記録する際)において登録端末80に表示される登録画面の生成時にも使用される。
なお、図12の作業実施状況画面510には、作業項目以外に「不在」という列が有る。当該列は、入居者が当日に介護施設Xに存在するか否かを示す列であり、不在の入居者(例えば、一時帰宅の入居者)については当該列には○が設定される。入居者が当日に不在であるか否かは、表示制御部14が作業実施状況記憶部125を参照することで判定可能である。すなわち、表示制御部14は、当日に対応する「日付」を含むレコードが1つも登録されていない入居者については不在であると判定する。
また、例えば、102号室のBさんの行において食事服薬の列は網掛けが施されているが、これは、当該入居者について当該作業項目に対するスケジュール情報が作業実施状況記憶部125に登録されていないことに基づく。すなわち、表示制御部14は、スケジュール情報が登録されていない作業項目の列は網掛けが施されるように作業実施状況画面510を生成する。なお、網掛け以外の態様で作業項目又は作業サブ項目がスケジューリングされていないことが表現されてもよい。
例えば、全員のスタッフ又はリーダ等の一部のスタッフは、図12に示されるような作業実施状況画面510を参照することで、各入居者に対する作業の実施状況を俯瞰的に把握することができる。したがって、いずれかの入居者に対する作業の実施漏れ等を効率的に把握することができる。具体的には、各スタッフが、或る作業者に対して特定の作業が実施されたことを他のスタッフに確認する必要性を低減させることができる。
図4に戻る。一方、ステップS117において更新の通知を受けたテキスト送信制御部15は、当該通知に含まれている音声記録IDに関連付けられている音声URL及びテキストデータを音声テキスト記憶部122(図8)から取得する(S122)。続いて、テキスト送信制御部15は、当該音声URL及び当該テキストデータから構成されるメッセージの送信要求をメッセージ通信サーバ30に送信する(S123)。当該送信要求には、スタッフ情報記憶部124に記憶されているメッセージユーザIDの一覧がメッセージの送信先の識別情報として指定される。
メッセージ通信サーバ30のメッセージ通信部31は、当該送信要求を受信すると、当該送信要求に係るメッセージを、当該送信要求において指定された各メッセージユーザID宛てに送信する(S124)。その結果、当該メッセージは、各スタッフ端末50のメッセージアプリ52に送信される。
各スタッフ端末50のメッセージアプリ52は、当該メッセージを受信すると、当該メッセージの表示をスタッフ端末50に実行させる(S125)。
図14は、メッセージの表示例を示す図である。図14に示されるように、メッセージアプリ52がスタッフ端末50に表示させる画面には、メッセージ通信サーバ30から受信したメッセージの履歴が受信順に配列される。各メッセージには、それぞれのメッセージに含まれていたテキストデータと音声URLとが含まれる。ここで、テキストデータは、いずれかのスタッフが実施した作業に関する当該スタッフによる発話内容である。したがって、各スタッフは、当該画面を参照することで、これまでの作業の履歴を確認することができる。
ここで、音声URLは、リンクとしてメッセージに含まれる。そこで、いずれかのスタッフによっていずれかのメッセージの音声URL(リンク)へのアクセス指示が入力されると(S126)、メッセージアプリ52は、当該音声URLに係る音声データの取得要求をテキスト送信制御部15へ送信する(S127)。テキスト送信制御部15は、当該取得要求を受信すると、当該音声URLに係る音声データを音声データ記憶部121から取得し、当該音声データを含む応答をメッセージアプリ52へ送信する(S128)。メッセージアプリ52は、当該応答を受信すると、当該応答に含まれている音声データの再生をスタッフ端末50に実行させる(S129)。その結果、各スタッフは、過去の発話の内容を音声によって確認することができる。
なお、例えば、表示制御部14が、作業実施状況画面510(図12)の各行の各作業サブ項目の列の値に対して、当該値に対応する音声URLへのリンクを張るようにしてもよい。この場合、作業実施状況画面510においていずれかのリンクが指示されると、スタッフ端末50のブラウザ71は、当該リンクに対応する音声URLに係る音声データの取得要求を表示制御部14へ送信する。表示制御部14は、当該音声URLに係る音声データを音声データ記憶部121から取得し、当該音声データを含む応答をブラウザ71へ送信する。ブラウザ71は、当該音声データの再生をスタッフ端末50に実行させる。その結果、作業実施状況画面510を閲覧するスタッフは、作業実施状況画面510を介して各作業に関する発話内容を音声によって確認することができる。
上述したように、第1の実施の形態によれば、作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容が特定され、特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部125が記憶する作業実施状況情報が記憶され、作業実施状況情報に基づく前記作業の実施状況が、表示端末70に表示される。したがって、作業対象に対する作業の実施状況の把握を支援することができる。
また、第1の実施の形態によれば、各スタッフによる発話内容を示す音声データに基づいて、作業実施状況記憶部125に記憶されている作業実施状況情報が逐次的に更新され、当該作業実施状況情報を示す画面が表示端末70に表示される。したがって、いずれかのスタッフは、各入居者に対する作業の実施状況(進捗状況)を俯瞰的に把握することができる。その結果、複数人によって行われる作業の実施状況の把握を支援することができる。
次に、第2の実施の形態について説明する。第2の実施の形態では第1の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第1の実施の形態と同様でもよい。
第2の実施の形態において、作業実施状況更新部13は、図4のステップS115の実行に際し(厳密にはステップS115の実行前に)、図15に示される処理手順を実行することで、スタッフによる作業の実施が、予め設定された条件を満たすか否かを判定する。
図15は、第2の実施の形態において作業実施状況更新部13が実行する処理手順の一例を説明するためのフローチャートである。
ステップS201において、作業実施状況更新部13は、ステップS114において通知された特定結果(図10)に含まれる入居者ID(以下、「対象入居者ID」という。)に係る入居者(以下、「対象入居者」という。)について、作業実施状況記憶部125(図11)に作業実施状況情報が既に記録されている最後の作業(作業項目及び作業サブ項目)を特定する。具体的には、作業実施状況更新部13は、作業実施状況記憶部125において対象入居者IDを含むレコードの中で、作業実施状況情報の各項目に値が記録されている末尾のレコード(以下、「最終作業レコード」という。)を特定する。
続いて、作業実施状況更新部13は、ステップS114において通知された特定結果(図10)に対応するレコード(以下、「対象作業レコード」という。)を作業実施状況記憶部125において特定する(S202)。すなわち、作業実施状況記憶部125において、対象入居者ID、当該特定結果に含まれる作業項目及び作業サブ項目を含むレコードが対象作業レコードとして特定される。
続いて、作業実施状況更新部13は、実施漏れの作業の有無を判定する(S203)。具体的には、作業実施状況更新部13は、最終作業レコードと対象レコードとの間にレコードが有るか否かを判定する。すなわち、作業実施状況記憶部125には、作業が実施順序でレコードが記憶されている。したがって、最終作業レコードと対象作業レコードとの間にレコードが有る場合には、当該間に有るレコード(以下、「実施漏れレコード」という。)に係る作業が抜けていることになる。なお、斯かる判定をより厳密に行うために、対象入居者IDを含むレコードであって、作業実施状況情報が記録されていないレコードが最終作業レコードと対象レコードとの間に有るか否かが判定されてもよい。このように、第2の実施の形態では、対象音声データが示す作業内容が、予め設定された作業の実施順序の条件を満たすかが判定される。
実施漏れレコードが無い場合(S202でNo)、第1の実施の形態において説明した通り、ステップS115以降が実行される。実施漏れレコードが有る場合(S202でYes)、アラート通知処理が実行される(S204)。なお、アラート通知処理が実行された場合、図4において、ステップS115及びS116は実行されない。
続いて、ステップS204の詳細について説明する。図16は、アラート通知処理の処理手順の一例を説明するためのシーケンス図である。
ステップS301において、作業実施状況更新部13は、アラートメッセージを示す文字列(テキストデータ)を生成する。アラートメッセージとは、作業の実施漏れが有ることを対象スタッフに警告するためのメッセージをいう。アラートメッセージは、例えば、補助記憶装置102に予め記憶されているテンプレート(雛形)に基づいて生成される。
テンプレートは、1つの作業項目の全部(すなわち、当該作業項目に属する全ての作業サブ項目)の実施が漏れている場合(以下、「ケース1」という。)と、1つの作業サブ項目の実施が漏れている場合(以下、「ケース2」という。)とで区別されてもよい。
ケース1では、例えば、以下のようなテンプレートが利用される。
「<入居者ID><対象作業項目>の前に<実施漏れ作業項目><実施漏れ作業サブ項目>をして下さい。」
この場合、作業実施状況更新部13は、<入居者ID>に実施漏れレコードの入居者ID(対象入居者ID)を当てはめ、<対象作業項目>に対象作業レコードの作業項目を当てはめ、<実施漏れ作業項目>に実施漏れレコードの作業項目を当てはめる。なお、ケース1では、実施漏れレコードが複数である場合が有るが、全ての実施漏れレコード群の作業項目が共通してれば当該作業項目が<実施漏れ作業項目>に当てはめられ、実施漏れレコード群の中で作業項目が異なっている場合(すなわち、2以上の作業項目の実施が漏れている場合)には、実施漏れレコード群の中で実施順が最初である実施漏れレコードの作業項目が<実施漏れ作業項目>に当てはめられればよい。
例えば、対象テキストデータ(今回の発話に係るテキストデータ)が「食事101号室Aさん開始します。」であるとすると、ステップS114において通知される特定結果の作業項目(対象作業項目)は「食事」であり、作業サブ項目(対象作業サブ項目)は「開始」である。この場合、実施漏れレコードの作業項目が「食前服薬」であれば、
「101号室Aさん食事の前に食前服薬を開始してください。」
というようなアラートメッセージが生成される。
一方、ケース2では、例えば、以下のようなテンプレートが利用される。
「<入居者ID><対象作業項目><対象作業サブ項目>の前に<実施漏れ作業項目><実施漏れ作業サブ項目>をして下さい。」
すなわち、ケース2では、<対象作業サブ項目>及び<実施漏れ作業サブ項目>が追加される。この場合、作業実施状況更新部13は、更に、<対象作業サブ項目>に対象作業レコードの作業サブ項目を当てはめ、<実施漏れ作業サブ項目>に実施漏れレコードの作業サブ項目を当てはめる。
例えば、対象テキストデータ(今回の発話に係るテキストデータ)が「食前服薬101号室Aさん飲込確認します。」であるとすると、ステップS114において通知される特定結果の作業項目(対象作業項目)は「食前服薬」であり、作業サブ項目(対象作業サブ項目)は「飲込確認」である。この場合、実施漏れレコードの作業項目、作業サブ項目が「食前服薬」、「薬確認」であれば、
「101号室Aさん食前服薬飲込確認の前に食前服薬薬確認をしてください。」
というようなアラートメッセージが生成される。
続いて、作業実施状況更新部13は、アラートメッセージの音声データ(以下、「アラート音声データ」という。)を生成する(S302)。アラート音声データの生成には、テキストデータから音声データを生成するクラウドサービス等が利用されてもよい。
続いて、作業実施状況更新部13は、対象スタッフIDを宛先として指定して、アラート音声データの送信を音声情報通知部に要求する(S303)。続いて、音声情報通知部対象スタッフIDを宛先として指定して、アラート音声データの送信要求を音声サーバに送信する(S304)。音声サーバの通話制御部21は、当該送信要求に応じ、当該送信要求に含まれているアラート音声データを、当該送信要求に指定された対象スタッフIDに対応するスタッフ端末50の通話アプリ51へ送信する(S305)。当該通話アプリ51は、アラート音声データを受信すると、アラート音声データの再生を対象スタッフのスタッフ端末50に実行させる(S306)。その結果、対象スタッフは、対象入居者について作業の実施漏れがあり、当該作業の作業項目又は当該作業の作業項目及び作業サブ項目を知ることができる。
なお、アラートとしては、音声データ以外に、文字列や画像データなど他の形式のデータが用いられてもよい。この場合、スタッフ端末50は、これらのデータを表示してもよい。したがって、音声通信制御部11は、通信制御部として構成されてもよい。
上述したように、第2の実施の形態によれば、スタッフによる発話内容を示す音声データに基づいて特定される作業が、予め設定された条件(作業の実施順序の条件)を満たすかが判定され、当該条件が満たされない場合には、当該スタッフに対してアラートが通知される。したがって、当該スタッフは、当該アラートに基づいて、自らの作業が予め設定された条件を満たしていないことを知ることができ、誤った作業の実施を回避することができる。その結果、作業対象に対する作業に関するミスの発生を抑制することができる。
次に、第3の実施の形態について説明する。第2の実施の形態では上記各実施の形態と異なる点について説明する。したがって、特に言及されない点については、上記各実施の形態と同様でもよい。
第3の実施の形態において、作業実施状況更新部13は、図4のステップS115の実行に際し(厳密にはステップS115の実行後に)、図17に示される処理手順を実行することで、スタッフによる作業の実施が、予め設定された条件を満たすか否かを判定する。なお、図17の処理手順は、図4のステップS116以降と並列に実行されてよい。
図17は、第3の実施の形態において作業実施状況更新部13が実行する処理手順の一例を説明するためのフローチャートである。
ステップS401において、作業実施状況更新部13は、図4のステップS115における更新対象レコードに係る作業項目及び作業サブ項目が、他の作業(以下、「監視対象作業」という。)の開始時刻の基準とされているか否かを判定する。斯かる判定は、例えば、補助記憶装置102に予め記憶されている作業タイミングルールテーブルを参照して行われる。
図18は、作業タイミングルールテーブルの構成例を示す図である。図18に示されるように、作業タイミングルールテーブルT1には、開始時刻の監視対象の作業(以下、「監視対象作業」という。)の候補ごとにレコードが予め登録されている。各レコードは、監視対象作業項目、監視対象作業サブ項目、基準作業項目、基準作業サブ項目及び許容時間等の各項目の値を含む。
監視対象作業項目は、監視対象作業の候補の作業項目である。監視対象作業サブ項目は、監視対象作業の候補の作業サブ項目である。基準作業項目は、当該候補の開始時刻の基準とされる作業(以下、「基準作業」という。)の作業項目である。基準作業サブ項目は、基準作業の作業サブ項目である。許容時間は、基準作業が実施されてから当該候補が実施されるまでの経過時間に対する許容時間である。なお、図18に示されるように、監視対象作業サブ項目は省略可能である。図18の1番目のレコードは、食後服薬は、食事が終了してから30分以内に実施されなければならないというルールを示す。
ステップS401では、更新対象レコードに係る作業項目及び作業サブ項目を基準作業項目及び基準作業サブ項目として含むレコードが作業タイミングルールテーブルに登録されているか否かが判定される。
なお、同じ作業の間隔でも入居者ごとに異なる場合には、入居者ごとに作業タイミングルールテーブルが定義されてもよい。或いは、一部の少数の(例えば、一人の)入居者が他の入居者と作業の間隔が異なる場合には、当該一部の入居者に対する作業タイミングルールテーブルが別途定義されてもよい。また、服薬対象の薬ごとに作業タイミングルールテーブルが定義されてもよい。
該当するレコードが登録されていない場合(S401でNo)、ステップS402以降は実行されない。該当するレコード(以下、「対象レコード」という。)が登録されている場合(S401でYes)、作業実施状況更新部13は、対象レコードの監視対象作業項目及び監視対象作業サブ項目を取得する(S402)。
続いて、作業実施状況更新部13は、現時点からの経過時間の計測を開始する(S403)。例えば、タイマーが起動されてもよい。
続いて、作業実施状況更新部13は、作業実施状況記憶部125(図11)において、対象入居者ID、監視対象作業項目及び監視対象作業サブ項目をスケジュール情報に含むレコードの作業実施状況情報を取得する(S404)。但し、監視対象作業サブ項目が空である場合、監視対象作業サブ項目は、監視対象作業項目において1番目の作業サブ項目に相当する。
続いて、作業実施状況更新部13は、当該作業実施状況情報に基づいて、監視対象作業項目及び監視対象作業サブ項目が未実施であるか否かを判定する(S405)。すなわち、当該作業実施状況情報を構成する各項目に値が記録されていなければ、監視対象作業項目及び監視対象作業サブ項目は未実施であり、そうでなければ監視対象作業項目及び監視対象作業サブ項目は実施済みである。
監視対象作業項目及び監視対象作業サブ項目が実施済みである場合(S405でNo)、作業実施状況更新部13は、図17の処理手順を終了する。監視対象作業項目及び監視対象作業サブ項目が未実施である場合(S405でYes)、作業実施状況更新部13は、経過時間が対象レコードの許容時間以上であるか否かを判定する(S406)。経過時間が対象レコードの許容時間未満である場合(S406でNo)、ステップS404以降が繰り返される。この場合、ステップS404の実行前に所定時間の待機が行われてもよい。
一方、経過時間が対象レコードの許容時間以上である場合(S406でNo)、アラート通知処理が実行される(S407)。このように、第3の実施の形態では、対象音声データに基づいて、作業の実施状況が、予め設定された作業の実施順序の条件を満たすかが判定される。
なお、図17では、或る作業からの経過時間について許容時間が時間的な条件として設定される例を示したが、例えば、一部の作業について時刻が時間的な条件として設定されるようにしてよい。この場合、作業実施状況更新部13は、或る作業に対して設定された時刻になっても当該作業が実施されない場合にアラート通知処理を実行するようにしてもよい。
ステップS407において実行されるアラート通知処理の処理手順は、基本的に図16において説明した処理手順と同様である。但し、図16のステップS301においてアラートメッセージを生成する際に使用されるテンプレートが第2の実施の形態と異なる。
具体的には、第3の実施の形態では、例えば、予め補助記憶装置102に記憶されている以下のようなテンプレートが使用される。
「<基準作業項目>終了後<許容時間>が過ぎました。<入居者ID>さんの<監視対象作業項目>を開始してください。」
例えば、対象レコードが図18の1行目である場合、ステップS301において、作業実施状況更新部13は、以下のようなアラートメッセージを送信する。
「食事終了後30分を過ぎました。101号室Aさん食後服薬を開始してください。」
なお、第3の実施の形態におけるアラートメッセージは、対象スタッフが対象入居者に対して作業を実施してから許容時間が経過した際に送信されるため、アラートメッセージの送信先は、対象スタッフに限定されなくてよい。例えば、図16のステップS303において、作業実施状況更新部13は、スタッフ情報記憶部124(図5)に記憶されている全てのスタッフIDを送信先として指定して、アラート音声データの送信を音声通信制御部11に要求してもよい。その結果、全てのスタッフのスタッフ端末50においてアラート音声データを再生させることができる。
上述したように、第3の実施の形態によれば、スタッフによる発話内容を示す音声データに基づいて特定される作業が、予め設定された条件(時間的な条件)を満たすかが判定され、当該条件が満たされない場合には、当該スタッフに対してアラートが通知される。したがって、当該スタッフは、当該アラートに基づいて、自らの作業が予め設定された条件を満たしていないことを知ることができ、作業の実施漏れを回避することができる。その結果、作業対象に対する作業に関するミスの発生を抑制することができる。
なお、上記各実施の形態では、介護施設における作業を一例として説明したが、上記各実施の形態は、例えば、病院における看護師(作業者)による患者(作業対象)に対する作業、工事現場における作業員(作業者)による対象工事(作業対象)に対する作業、自動車整備工場における整備士(作業者)による自動車(作業対象)に対する作業、オフィスにおけるスタッフ(作業者)による書類(作業対象)に対する作業等、1以上の作業対象に対して1以上の作業者によって実施される他の作業に適用されてもよい。
なお、上記各実施の形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。
或る実施形態では、業務サーバ10は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、他のサーバは、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
なお、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
なお、上記各実施の形態において、業務サーバ10は、情報処理装置の一例である。
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 業務サーバ
11 音声通信制御部
12 音声解析制御部
13 作業実施状況更新部
14 表示制御部
15 テキスト送信制御部
16 スケジュール登録部
20 通話サーバ
21 通話制御部
22 ユーザ情報記憶部
23 音声一時記憶部
24 音声リクエスト記憶部
30 メッセージ通信サーバ
31 メッセージ通信部
40 音声解析サーバ
41 音声解析部
42 発話パターン記憶部
50 スタッフ端末
51 通話アプリ
52 メッセージアプリ
60 通話器
70 表示端末
71 ブラウザ
80 登録端末
81 ブラウザ
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
121 音声データ記憶部
122 音声テキスト記憶部
123 項目名定義記憶部
124 スタッフ情報記憶部
125 作業実施状況記憶部
126 作業マスタ記憶部
B バス
特開2017−122965号公報

Claims (13)

  1. 作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御部と、
    特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新部と、
    前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される表示端末に表示させる表示制御部と、
    を有することを特徴とする情報処理装置。
  2. 前記作業実施状況更新部は、
    複数の作業対象のそれぞれに対応する前記作業実施状況情報のうち、特定された前記作業の作業対象に対応する前記作業実施状況情報を更新する
    ことを特徴とする請求項1記載の情報処理装置。
  3. 前記作業実施状況情報は、前記複数の作業対象のそれぞれに対する前記作業が行われたか否かを示す情報であって、
    前記表示制御部は、
    前記作業実施状況情報に基づき、前記複数の作業対象のそれぞれに対する前記作業が行われたか否かを前記表示端末に表示させる、
    ことを特徴とする請求項2記載の情報処理装置。
  4. 前記音声解析制御部は、
    前記音声データの解析結果と、作業対象及び作業内容のそれぞれと前記解析結果との対応関係が定義された定義情報とに基づき、前記作業の作業対象及び作業内容を特定する
    ことを特徴とする請求項1乃至請求項3のいずれか一項に記載の情報処理装置。
  5. 前記音声解析制御部は、
    前記音声データについて複数のキーワードを含むテキストデータへの変換を制御し、前記複数のキーワードと、作業対象及び作業内容のそれぞれと前記複数のキーワードのそれぞれとの対応関係を定義する前記定義情報とに基づき、前記作業の作業対象及び作業内容のそれぞれに前記キーワードを特定し、
    前記作業実施状況更新部は、 特定された前記作業の作業対象及び作業内容のそれぞれに対応する前記キーワードに基づき、前記作業実施状況情報を更新することを特徴とする請求項4記載の情報処理装置。
  6. 前記音声データから変換されたテキストデータである前記音声データの解析結果について前記端末への送信を制御するテキスト送信制御部と、を有し、
    前記音声解析制御部は、
    複数の作業者のそれぞれによる作業に関する発話を入力する、各作業者が使用する端末から送信される音声データの解析結果に基づいて、前記作業の作業対象及び作業内容を特定し、
    前記テキスト送信制御部は、
    前記テキストデータについて前記各作業者が使用する端末への送信を制御する
    ことを特徴とする請求項4又は5記載の情報処理装置。
  7. 前記音声解析制御部は、前記テキストデータと前記音声データとを関連付けて音声テキスト記憶部に記憶し、
    前記テキスト送信制御部は、前記テキストデータと前記音声データの記憶先の識別情報とについて前記各作業者が使用する端末への送信を制御し、いずれかの前記端末からの前記識別情報に基づく前記音声データの取得要求に応じ、前記識別情報に係る音声データを当該端末に送信する、
    ことを特徴とする請求項6記載の情報処理装置。
  8. 前記作業のスケジュールを登録するスケジュール登録部と、を有し、
    前記作業実施状況更新部は、
    特定された前記作業の作業対象及び作業内容と、当該作業対象に対応する前記スケジュールとに基づいて、前記作業実施状況情報を更新する
    ことを特徴する請求項1乃至請求項7のいずれか一項に記載の情報処理装置。
  9. 前記スケジュール登録部は、
    複数の作業対象のそれぞれに対応するスケジュールを登録し、
    前記作業実施状況更新部は、
    特定された前記作業の作業対象及び作業内容と、登録された前記スケジュールのうち当該作業対象に対応する前記スケジュールとに基づいて、前記作業実施状況情報を更新する
    ことを特徴する請求項8記載の情報処理装置。
  10. 前記作業実施状況情報は、前記スケジュールに登録された前記作業が行われたか否かを示す情報であって、
    前記表示制御部は、
    前記作業実施状況情報に基づき、前記スケジュールに登録された前記作業が行われたか否かを前記表示端末に表示させる、
    ことを特徴する請求項8又は9記載の情報処理装置。
  11. 作業者の作業に関する発話を入力する端末と、情報処理装置と、表示端末とを含む情報処理システムであって、
    前記情報処理装置は、
    前記端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御部と、
    特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新部と、
    前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される前記表示端末に表示させる表示制御部と、
    を有することを特徴とする情報処理システム。
  12. 作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御手順と、
    特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新手順と、
    前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される表示端末に表示させる表示制御手順と、
    をコンピュータが実行することを特徴とする情報処理方法。
  13. 作業者による作業に関する発話を入力する端末から送信される音声データに基づいて、前記作業の作業対象及び作業内容を特定する音声解析制御手順と、
    特定された前記作業の作業対象及び作業内容に基づいて、作業実施状況記憶部が記憶する、前記作業の実施状況を示す作業実施状況情報を更新する作業実施状況更新手順と、
    前記作業実施状況情報に基づく前記作業の実施状況を、ネットワークを介して接続される表示端末に表示させる表示制御手順と、
    をコンピュータに実行させることを特徴とするプログラム。
JP2019198952A 2019-10-31 2019-10-31 情報処理装置、情報処理システム、情報処理方法及びプログラム Pending JP2021071641A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019198952A JP2021071641A (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理システム、情報処理方法及びプログラム
US17/078,286 US11615796B2 (en) 2019-10-31 2020-10-23 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198952A JP2021071641A (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021071641A true JP2021071641A (ja) 2021-05-06

Family

ID=75688772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198952A Pending JP2021071641A (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11615796B2 (ja)
JP (1) JP2021071641A (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6242200A (ja) 1985-08-20 1987-02-24 株式会社リコー 音声認識装置
JP2005251041A (ja) 2004-03-05 2005-09-15 Miki Denshi:Kk 製造作業支援システム
JP2008123191A (ja) 2006-11-10 2008-05-29 Ricoh Co Ltd 業務管理サーバ、業務管理方法及びコンピュータプログラム
US20090216534A1 (en) * 2008-02-22 2009-08-27 Prakash Somasundaram Voice-activated emergency medical services communication and documentation system
US10803538B2 (en) * 2014-04-14 2020-10-13 Optum, Inc. System and method for automated data entry and workflow management
US10403393B2 (en) * 2014-06-25 2019-09-03 Cerner Innovation, Inc. Voice-assisted clinical note creation on a mobile device
JP6302381B2 (ja) 2014-09-03 2018-03-28 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP6605961B2 (ja) 2016-01-05 2019-11-13 富士フイルム株式会社 介護適正化支援装置とその作動方法および作動プログラム、並びに介護適正化支援システム
JP6817758B2 (ja) 2016-09-16 2021-01-20 株式会社タジマ 車両整備情報管理システム、車両整備情報管理方法、車両整備情報管理プログラム
JP6923298B2 (ja) 2016-09-16 2021-08-18 株式会社タジマ 車両整備情報管理システム、車両整備情報管理方法、車両整備情報管理プログラム
US20200028955A1 (en) 2017-03-10 2020-01-23 Bonx Inc. Communication system and api server, headset, and mobile communication terminal used in communication system
EP3634296A4 (en) * 2017-06-06 2021-03-03 Intuitive Surgical Operations, Inc. STATE-BASED VOICE RECOGNITION SYSTEMS AND METHODS IN A TELEOPERATION SYSTEM
EP3762929A4 (en) * 2018-03-05 2022-01-12 Nuance Communications, Inc. SYSTEM AND PROCEDURE FOR REVIEWING AUTOMATED CLINICAL DOCUMENTATION
US11120217B2 (en) * 2018-12-18 2021-09-14 Micro Focus Llc Natural language translation-based orchestration workflow generation
US11094322B2 (en) * 2019-02-07 2021-08-17 International Business Machines Corporation Optimizing speech to text conversion and text summarization using a medical provider workflow model
US11033239B2 (en) * 2019-09-24 2021-06-15 International Business Machines Corporation Alert system for auditory queues

Also Published As

Publication number Publication date
US20210134289A1 (en) 2021-05-06
US11615796B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
US6973620B2 (en) Method and apparatus for providing user support based on contextual information
US6871322B2 (en) Method and apparatus for providing user support through an intelligent help agent
US20030187672A1 (en) Method, system, and program for servicing customer product support requests
US20030043178A1 (en) Initiation of interactive support from a computer desktop
CN110612716B (zh) 数据消息网络路由的中间设备
CN102474432A (zh) 社交网络虚拟专用网络
CN105745902A (zh) 同步多个客户端的事件历史
US9742823B2 (en) System and method for identifying recipients during a communications session
JP2022008330A (ja) 商談支援装置、方法、及びコンピュータプログラム
US20030046410A1 (en) Method and apparatus for providing entitlement information for interactive support
WO2017140098A1 (zh) 一种作者关注方法、终端、服务器和系统
CN114726914A (zh) 一种跨服务商信息发送方法、装置和电子设备
JP7053824B2 (ja) 会話の流れ情報を提供するためのコンピュータプログラム及びシステム
JP4645418B2 (ja) 画像メッセージ伝達システム及びプログラム
CN1938722A (zh) 基于在场的系统管理信息路由系统
JP2021071641A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021071973A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CA2303053A1 (en) Information retrieval system
US8433763B2 (en) Fault tolerant distributed messaging architecture for computer-aided dispatch system
JP2022139942A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20200322293A1 (en) Information processing system and method
JP6534171B2 (ja) 呼出支援システム
JP2022098267A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2008226017A (ja) ログ情報生成装置、ログ情報管理装置、ログ情報生成方法、ログ情報管理方法及びプログラム
JP2004356704A (ja) 動画配信による保守支援システム、保守支援サーバ、保守支援方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231017