JP2021189502A - 音声による点検データ保存方法、システム及びプログラム - Google Patents

Abstract

【課題】効率化に注力すると不正対策が疎かになり、逆に不正対策に注力すると、作業が煩雑になって効率化が犠牲となるという二律背反的な矛盾する課題を解決し、利用者が多様化する時代に対応するユーザインターフェースを備えた音声による点検データ保存方法、システムおよびプログラムを提供する。【解決手段】点検データ保存システム１は、質問項目呼称、回答呼称、点検者本人の音声から得た声紋情報を予め登録しておく点検者情報テーブル群と、点検者の音声を音声認識する音声認識手段と、質問項目呼称と回答呼称との一対を点検情報として検出する点検情報判別手段と、声紋情報を照合して本人か否かを認証する声紋認証手段とを備える。この声紋認証手段により本人と認証したとき、本人の名前を点検日時、前記点検情報に係る質問項目及び回答と共にそれぞれを点検データとして保存する。【選択図】図２

Description

本発明は、食品衛生管理（ＨＡＣＣＰ）の点検、食品入荷チェック、在庫管理、勤務作業状況記録、集計作業等の業務を効率化し、音声入力によって行う際に懸念される不正を防止する音声による点検データ保存方法、システム及びプログラムに関する。

飲食店、厨房、食品加工会社、食料品小売店、量販店などにおいては、経営体質改善を目的として、全商品についての入荷状況、在庫量、作業チェックなど様々な項目についての集計作業を頻繁に実施するようになってきている。特に、ＨＡＣＣＰなどの業務遂行上、毎日定期的に決められた作業を行い、その作業結果を記録して帳票を作成すると共に、責任の所在を明確にするため、点検者や管理者の氏名を記録する必要があるが、これは煩わしい業務でもある。

点検作業のため、手入力による操作端末機器を用いたのでは、両手で作業しなければならないので効率が悪い。また、衛生面から、作業の都度、或いは、食品を手に持って汚れたときに、作業を止めて手を洗浄してから操作端末機器を再び手に持って作業していたのでは、作業効率がよくない。

また、昨今、飲食店、厨房、食品加工会社、食料品小売店、量販店などにおいては、人手不足などを解消するため、多くの外国人労働者を雇用する傾向にある。これら外国人労働者が、ＨＡＣＣＰの点検、食品入荷チェック、在庫管理、勤務作業状況記録、集計作業等の業務を行う場合、日本語の習熟が未熟なため、言葉を間違って聞き取ったり、使ったりして思わぬトラブルを発生する機会も多い。また、管理者の目を盗んで不正する者も少なくない。

特許文献１においては、音声入力、音声認識によってデータ入力を行えるようにした端末やシステムが提案されている。作業者による商品群指定の発声に基づく判定結果をトリガとしてコンピュータが商品群に含まれる商品名の音声出力を実行し、その後に生ずるユーザの発声による数量指定に基づく音声認識処理と判定結果をトリガとしてコンピュータが商品の数量登録を実行する技術が技術開示されている。

この技術によれば、商品棚卸作業等の店舗内業務におけるキー入力操作が省略されて口頭での応答で作業が遂行できるので、音声入出力装置としてヘッドフォン及びマイクロフォンを備えるヘッドセットの様な頭に装着する装置を用いるので、両手が使用できるようになり、作業効率が格段に向上する。商品棚卸作業等の店舗内業務の対象となる複数の商品は、店舗業務支援装置側が管理するため、処理忘れなどのトラブルの発生を防ぐことができる。

また、作業者の音声による入力作業の精度を高めるため、作業者の声だし確認に関する評価を行うようにした業務支援システムおよび業務支援方法が、特許文献２において提案されている。この業務支援システムは、音声入力手段、音声認識手段、語句識別手段、語句評価手段、評価記憶手段が一つの携帯端末装置内に設けられている。

音声認識工程を用いて認識された語句と所定語句データベースに記憶されている所定語句とを対比して、入力された音声中に所定語句が存在するか否かを識別し、語句評価工程は語句識別工程を通じて識別された所定語句と評価データベースの所定語句に対する評価を行っている。

例えば、「前方」「後方」「４０」という語句には「２点」、「制限速度」には「３点」、「ヨシ」には「１点」というように評価している。これらの評価に関するデータを用いて、音声中の所定語句について入力された「日時」や、演算された「評価ポイント」などを記録集計している。

さらに、音声入力されたものの発音の具合や周りの雑音等の影響で語句識別手段が所定語句を識別できなかった場合、所定語句が正確に入力していない場合、周りの雑音によって誤入力された場合には、不明確伝達手段によって不明確である旨を作業者に伝達するなどして評価を行っている。

特許文献３では、カード読取部によって読み取った情報、撮影部によって撮影した画像、音声入力部によって入力した音声、出退勤の区別、および時刻などを出退勤ファイルに保存している。

この保存したＩＤカードから読み取った情報、出退勤時の画像を表示すると共に、指示された画像に対応する保存した音声を認識し、本人が出退勤したかを確認する技術が開示されている。

特許文献４には、スーパーマーケット等の小売店やファミリーレストラン等の飲食店の店長など所定の権限を持つ管理者の手を煩わせることなく、効果的に不正行為を防止可能な例外処理管理装置、例外処理管理装置の制御方法およびプログラムに関する技術が開示されている。

会計処理部が設置されたレジカウンタ周りのオペレータの動作を撮像する監視カメラなどの撮像部と、所定の移動通信端末に対し、撮像部による撮像映像をリアルタイム送信する映像送信部とを備え、承認依頼を行った相手（管理者）に対し、レジカウンタ周りの撮像映像をリアルタイム送信することができる。オペレータがヘッドセットを通じて管理者の携帯を呼び出し、管理者との間で例外処理許可に関する会話を行い、管理者は、監視カメラで撮像した映像を見て、例外処理が行われている状況を確認して不正行為の可能性を推測し、その結果に基づいて取引許可を行うべきか否かを適切に判断することができる。

特許文献５には、ＨＡＣＣＰなどで規定されている食品や調理に関する種々の情報を記録する際、調理場で音声入力によって情報を記録しようとする者は、一つ調理等の種々の作業をしながら音声入力をすることが多いので、訂正のための発話回数が多くなり、訂正のために発話しなければならない文言の数が多くなるという問題がある旨記載されている。

この問題を改善するため、質問項目を順次、音声出力する音声出力制御手段と、質問項目の音声出力後に入力されたユーザの音声に対して音声認識を行う音声認識手段と、質問項目に対する回答を１つのレコード内に記録する回答記録手段とを備え、回答記録手段が、音声認識の結果、既に記録した回答に対応する質問項目と新たな回答との組み合わせが得られた場合、既に記録した回答を新たな回答に訂正する技術が開示されている。

特許文献６には、承認対象になる文書を、ネットワークを介して受信して、未承認文書格納部に電子的に格納し、所定の電子的入力手段によって、承認者となる責任者の利用者の資格情報を受け付けて、声紋認証等を用いて承認者として認証し、所定のマン・マシン・インタフェイスによって、前記未承認文書格納部に格納の承認対象文書の閲覧を前記承認者に対して行いつつ、承認対象文書の承認の可否の入力を該承認者から受け付け、承認済の前記承認対象文書のみ、承認者又は文書作成者の承認済を示す電子署名、及び暗号化を行うようにして、特定の責任者が承認している文書であることを明瞭にすることができる電子署名承認データ送信方法及び装置について開示されている。

特許第４７０３９７９号公報 特許第４７１８２４６号公報 特許第２５６８０２９号公報 特許第５３５９７９２号公報 特開２０１７−７２７２６号公報 特開２００５−１８４２１５号公報

しかしながら、上記特許文献１に記載のシステムでは、音声入出力装置としてヘッドフォン及びマイクロフォンを備えるヘッドセットを用いているので、両手が使用できるようになり、作業効率が格段に向上するとしているが、音声認識の誤認識を低減させるため、一般に、「Ｐｕｓｈ ｔｏ Ｔａｌｋ」と呼ばれる方式を採用して、ユーザが手元のボタンを押す等の動作でトリガ信号を発生させて音声認識していると記述していることから明らかなように、少なくても一方の手による押圧動作が必要であり、実質的にはハンズフリーと言えないものである。

しかも、誰が音声入力の動作を行ったのかを判別して、音声入力した人物を特定する認証する仕組みを備えていないので、店舗における音声入力業務の責任の所在が不明で信頼性に欠ける。本来音声入力業務を行うべき本人ではない他人が不正に音声入力を行っても、その不正を発見することは出来ないため、勤怠管理や責任の所在をハッキリさせる必要がある業務には不向きという問題を有する。

特許文献２記載の技術も「声だし確認」の評価や改善指導を適切に行うことが可能であると記載されているが、特許文献１同様に、誰が音声入力の動作を行ったか音声入力した人物を特定する仕組みを備えていないので、せっかく「声だし確認」しても誰が声だしをしたか特定することが出来ない。

特に、声だし評価を本人の面前で行わないで、遠隔地など他の場所で声をだした音声を評価した場合には、誰に対して指導を行えばよいか判らず、音声入力業務の責任の所在が不明となり、不正対策の面でも信頼性に欠ける。

また、音声中の所定語句を識別する語句識別手段は、実際に音声入力を行う作業者でない他の管理者が所定語句データベースに所定語句を入力設定することが多く、作業者特有の言語上のハンディがあった場合や多数の語句を覚えていない場合には、作業者が正確に発声できず、不明確伝達手段によって不明確と判断される恐れもある。

特許文献３に記載された技術は、出退勤時の本人確認の精度を向上および本人以外による不正出退勤操作を防止できるが、そのためには、予め社員画像を撮影した磁気カード、ＩＣカードからなるＩＤカードを作成しなければならないという煩雑に加え、カラーのビデオカメラなどの撮影部、カード読取部を出入門、受付に設置しなければならないという設備上の制約がある。

しかも、出退勤務時には、ＩＤカードをカード読取部に挿入したとき、ビデオカメラで撮影したときに併せて社員の名前を発声させ、マイク入力させる必要があるので、受付が大変で混雑し行列が出来てしまう。さらに、本人確認のため撮影した顔画像をディスプレイの画面上に表示し、この画面上の画像をオペレータが見た上で、社員が発生した音声を聞いて本人かどうか判断する必要があるので、オペレータは、多人数の名前、顔、音声をそれぞれ対応させて覚えておかなければならず、オペレータの負担が重い大変な作業であり、現実的でない。

さらに、ビデオカメラで撮影するとき、他人の写真を提示された場合、本物かどうか見極めることは困難であり、不正な出退勤処理をされても防ぐことが出来ない。出退勤時の本人確認作業だけでも大変であるのに加え、店舗業務における棚卸しなどの作業においては、一日中監視しなければならないので、オペレータ、管理者の負担は甚大である。

特許文献４に記載された技術は、特許文献３同様に、監視カメラなどの撮像部を設置する必要があるので設備上の制約がある。しかも、例外処理の可否、許可は、オペレータがヘッドセットを通じて管理者の携帯を呼び出し、管理者との間で会話を行わなければならない。管理者は、監視カメラで撮像した映像を見て、例外処理が行われている状況を確認してから、不正行為の可能性を推測して判断するので、時間が掛かりレジカウンタに行列ができてしまう。精算処理は例外処理ではないと定義されているので、精算処理などでオペレータが管理者を呼び出さないかぎり、管理者がレジカウンタ周りの映像を見ることはなく、オペレータを呼び出さないと、不正を防ぐことはできない。逆に、オペレータの不正を無くすため管理者が映像を常時監視していたのでは、管理者としての仕事を全うすることが出来ないという二律背反的行為を強いることになる。

特許文献５は、調理等の種々の作業をしながら音声入力をする場合、既に記録した回答に対応する質問項目と新たな回答との組み合わせが得られた場合、「担当者は山田」という音声認識結果や、「場所は冷蔵庫」という音声認識結果が得られた場合、この音声認識部が認識している「山田」という音声認識結果は、山田という人物が本人であるか否かを特定する認証ではないので、山田という人物以外の他人が、「山田」と発声した場合でも同じく認識されるので、不正操作される恐れがある。

すなわち、責任の所在を明確にする記録は、記録者を特定する必要があるが、特許文献５記載の技術では、真正な本人であるか特定できないので、本来点検業務を行わなければならない人ではない他人が本人になり替わって不正な点検した場合、この不正を後日発見することが出来ないので、責任者を特定して記録保存しなければならない点検業務には適さず、この技術は利用できない。しかも、一つの質問項目についての点検入力が終わって確定するまで、次の質問項目や他の質問項目へ変更することは出来ない。点検業務を効率よく行うには一度にまとめて一連の点検業務を実行した方が良いと考えやすいが、現実には、食品を調理、加工しながら、販売や在庫管理などの日々の業務を実施している従業員にとっては、同時に点検することは難しく、各業務の間に発生した空き時間に点検し、結果は次の空き時間に記録しようと忘れ、誤魔化して記録するなどの不正が日常茶飯事に発生する。この特許文献５記載の技術では、このような問題認識はなく、前述した理由によって対応することは出来ない。

特許文献６には、声紋認証等を用いて認証した承認者のみが、未承認文書格納部に格納の承認対象文書の閲覧を行って承認対象文書の承認の可否の入力をするが、承認対象文書全体に対しての承認であって、ＨＡＣＣＰのように１文書、１帳票の個々のチェック項目を一つ一つ効率良く承認することについては何ら開示されていない。チェック項目一つ一つを文書化して承認したのでは能率が悪く、この技術をＨＡＣＣＰなどの業務用チェックに用いることは出来ない。

そこで、本発明は、以上述べた特許文献１〜６記載の問題を解決したもので、音声認識技術および声紋認証技術の両方を導入可能とするスマートフォンなどのマイクを備えた携帯端末装置を用いるだけで、日本語が未熟な外国人労働者でも、食品衛生管理の点検、食品入荷チェック、在庫管理、勤務作業状況記録、集計作業等の円滑行うことが出来るようにして、業務効率化を図ろうとした場合、効率化に注力すると、懸念される不正対策が疎かになり、逆に、不正対策に注力すると、作業が煩雑になって効率化が犠牲となるという二律背反的な矛盾する課題を解決し、利用者が多様化する時代に対応する誰にでも使えるユーザインターフェースを備えた音声による点検データ保存方法、システムおよびプログラムを提供することを目的とする。

上記の目的を達成するため、本発明は、点検項目である質問項目を表現する文章、用語については、個人間の言語能力や発声の相違に影響されずに言語として認識できるように、点検者の要望に応じて文章や用語を省略、簡略化して表現して正確に質問項目や回答を認識できる音声認識の利点と、地球上の人間一人一人個人差がありバイオメトリックスとして個人を特定可能な音声データから特徴点を声紋として抽出して本人認証する声紋認証の利点との双方を相乗的に活用している。

すなわち、本発明は、正確に記帳しなければならない、点検すべき質問事項、回答を表す正式な名称、文章、用語及び数字を、点検者の要望に応じて、点検時における音声を入力する際に発声しやすいように、簡略化した言葉、発音に変えて入力できるようにしながら、点検結果を示す帳票や表示は、正式な質問項目、回答を表す名称、文章、用語、数字で表記することを可能にすると共に、不正を防止するために、管理者以外には、本人確認をいつどこで行っているかが判らないように、音声認識と声紋認識とを組み合わせて、前述の二律背反的な矛盾する課題を解決するために、以下の手段を用いている。

本発明の第１の観点に係る音声による点検データ保存システムは、点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称、前記質問項目に対応する点検結果を表現した回答を簡略化して呼称する回答呼称、及び点検者本人の音声から得た声紋情報を予め登録しておく点検者情報テーブル群（１１）と、点検者の音声を入力する音声入力手段（２）と、前記音声入力手段によって入力された音声を音声認識する音声認識手段（４）と、この音声認識手段により得られた情報から、前記質問項目呼称と前記回答呼称との一対を点検情報として検出する点検情報判別手段（１５）と、この点検情報判別手段により一対の点検情報を検出したとき、この点検情報に係る入力された音声と前記点検者情報テーブル群に登録されている声紋情報を照合して本人か否かを認証する声紋認証手段（１６）と、この声紋認証手段により本人と認証したとき、本人の名前を点検日時、前記点検情報に係る質問項目及び回答と共にそれぞれを点検データとして保存する点検データテーブル（１８）とを備えていることを特徴とする。

本発明の第２の観点に係る音声による点検データ保存システムは、点検者情報テーブル群（１１）が、点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称を記憶しておく質問項目呼称テーブル（１１−１）と、この点検結果を表現した回答を簡略化して呼称する回答呼称を記憶しておく回答呼称テーブル（１１−２）と、正規の点検者の音声から得た質問呼称及び又は回答呼称の声紋を記憶しておく呼称声紋テーブル（１１−３）と、点検条件を記憶しておく点検条件テーブル（１１−４）とを備えており、さらに、前記音声認識手段から得られた情報に前記質問呼称テーブルに記憶されている呼称が含まれるか否かを判別し、どの質問項目かを特定する質問項目判別手段（２１）と、前記音声認識手段から得られた情報に前記回答呼称テーブルに記憶されている呼称が含まれるか否かを判別し、回答内容を特定する回答判別手段（２２）とを備えていることを特徴とする。

本発明の第３の観点に係る音声による点検データ保存システムは、点検情報判別手段（１５）が、前記質問項目判別手段の出力と前記回答判別手段の出力とから、質問項目とその質問項目に対応する一対の回答であると判別したとき、当該質問項目と回答を複数の質問項目と回答の中から選択され特定されることを特徴とする。

本発明の第４の観点に係る音声による点検データ保存システムは、点検者本人確認手段（１７）を備え、連続的に入力された音声が音声認識手段により音声認識され、前記点検情報判別手段により点検情報が複数対判別され、且つそれぞれについて前記声紋認証手段により点検者本人と認証されたとき、前記点検者本人確認手段により前記複数の点検情報をまとめて、前記点検データテーブルに記憶することを特徴とする。

本発明の第５の観点に係る音声による点検データ保存システムは、位置情報取得手段（２３）と、点検情報不正検出手段（２４）と、点検情報不正通知手段（２５）とを備え、前記点検条件を記憶しておく点検条件テーブル（１１−４）は、位置制限情報、時間制限情報を記憶しており、前記点検不正検出手段が、前記質問項目判別手段によって検出した質問項目がそれ以前に記憶した点検情報の質問項目と重複するとき、前記点検者本人確認手段が点検者本人でないと判別したとき、前記位置情報取得手段によって取得された位置情報が前記位置制限情報で規定された正規の位置情報以外のとき、前記時間制限情報で規定された制限時間以外のとき、前記点検情報不正検出手段が回答情報の不正を検出したとき、これらのいずれかに該当して不正と検出された場合に、前記点検情報不正通知手段が不正であることを示す情報を前記点検情報と共に点検ログデータとして点検ログテーブルに記憶することを特徴とする。

本発明の第６の観点に係る音声による点検データ保存システムは、サーバ装置（７６）が、複数の点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称を記憶する質問項目呼称テーブル（１１−１）と、前記質問項目に対応する点検結果を表現した回答を簡略化して呼称する回答呼称を記憶する回答呼称テーブル（１１−２）と、点検者本人の音声から得た声紋情報を予め記憶する呼称声紋テーブル（１１−３）と、端末装置から送られてくる声紋認証スコア情報を基に本人か否かの認証をする点検者本人確認手段（１７）と、端末装置から送られてくる情報を基に、少なくとも質問項目情報、点検日時、点検情報、声紋認証スコアおよび点検者名を記録する点検データテーブル（１８−２）とを備えており、端末装置（７７）は、点検者の音声を入力する音声入力手段（２）と、音声入力手段から連続して入力された音声を音声認識する音声認識手段（４）と、前記音声認識手段による音声認識情報に基づいて、いずれの質問項目に関する音声入力かを判別する質問項目判別手段（２１）と、この特定された質問項目について、前記音声認識手段によって音声認識された回答情報に基づいて回答有無を判別する回答判別手段（２２）と、点検情報として質問項目情報とその回答情報との対を判別する点検情報判別手段（１５）と、前記音声入力手段によって得られた音声と予め登録されている声紋情報とを照合する声紋認証手段（１６）と、前記サーバ装置の点検データテーブルと同期して記憶されている複数の質問項目、回答情報、点検日、点検者名、点検情報不正検出結果を表示する点検データ表示手段（１９）とを備えていることを特徴とする。

本発明の第７の観点に係る音声による点検データ保存システムの端末装置（７７）は、当該端末装置の位置情報を取得する位置情報取得手段（２３）を備え、前記点検者本人確認手段により本人と認証されたとき、前記位置情報取得手段によって取得した位置情報を点検データと共にサーバ装置に送信することを特徴とする。

本発明の第８の観点に係る音声による点検データ保存システムのサーバ装置（７６）は、位置制限情報及び時間制限情報を点検条件として予め登録し記憶する点検条件テーブル（１１−４）と、この登録された点検条件と端末装置から送信された位置情報及び時間情報とを比較し、端末装置が点検場所として登録されている位置から点検データを送信しようとしているか否か、及び前記時間制限情報以内の時間に点検データを送信しようとしているか否かを判別し、端末装置の存在位置、使用時間に不正であることを検出する点検情報不正検出手段（２４）とを備え、検出した不正内容を点検ログとして点検ログテーブル（２６）に記憶することを特徴とする。

本発明の第９の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、回答欄の表示を回答内容に相応した色彩にし、異常のときの色彩と異ならせて、前記点検データ表示手段（１９）が表示することを特徴とする。

本発明の第１０の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、質問項目名を表示する欄、点検した結果の回答内容を表示する欄、点検日、回答内容が正常の数と割合を表示する欄、回答内容が異常の数と割合を表示する欄を、前記点検データ表示手段（１９）が表示することを特徴とする。

本発明の第１１の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、複数の質問項目、回答情報、点検日、点検異常検出結果と共に、質問項目に対応する回答情報に音声認識された数値データを含む場合、数値データをグラフ化して前記点検データ表示手段（１９）が表示することを特徴とする。

本発明の第１２の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、質問項目に対応する回答情報に音声認識された数値データを含む場合、数値データをグラフ化して表示する領域を有し、質問項目の対象機器が故障して数値データを計測することができないとき、点検項目が数値であるにも関わらず数値以外の文字を表示し、該当機器の計測した数値のグラフを前記点検データ表示手段（１９）が表示しないことを特徴とする。

本発明の第１３の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、点検を１日に複数回実施する場合にいずれかの質問項目に回答する内容を設定すると、点検日の隣に点検時間毎の点検データを表示できる欄と、点検回数を増やすことのできるボタンとを、前記点検データ表示手段（１９）が表示することを特徴とする。

本発明の第１４の観点に係る音声による点検データ保存システムは、表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、点検を１日に複数回記録する必要がある日は最初の点検は日付を表示し、他の点検については日付の表示をしないようにし、点検をする必要がない場合には、回答内容の表示は省略されるように、前記点検データ表示手段（１９）が表示することを特徴とする。

本発明の第１５の観点に係る音声による点検データ保存システムは、サーバ装置は、端末利用状況を記憶する端末利用状況テーブル（１８−１）と、各端末装置の点検データ表示を同期させる点検データ同期手段（１３）と、表示レイアウトを変更する表示レイアウト変更手段（１２）とを備え、任意の一つの端末装置が表示レイアウト変更手段により表示レイアウトを変更したとき、サーバ装置は、前記端末利用状況テーブルの情報を受け、前記点検データ同期手段により他の端末装置が異なる表示レイアウトを表示していることを検出した場合、サーバ装置の表示レイアウト変更手段により他の端末表示手段の表示レイアウト変更手段へ信号を送出して他の端末装置の表示レイアウトを変更し同期させることを特徴とする。

本発明の第１６の観点に係る音声による点検データ保存方法は、点検すべき質問項目を簡略化する質問項目呼称、質問項目についての回答を簡略化する回答呼称、点検者本人の音声から得た声紋情報を予め登録しておき、点検時に、入力された音声を音声認識し、得られた音声認識情報から前記質問項目呼称と前記回答呼称との対を点検情報として検出したとき、前記点検時に入力された音声と予め登録されている声紋情報を照合して本人か否かの認証をし、本人と認証したとき本人の名前を、点検日時、前記点検情報に係る質問項目及び回答と共に点検データとして保存することを特徴とする。

本発明の第１７の観点に係る音声による点検データ保存方法は、点検すべき質問項目が複数存在し、得られた音声認識情報から質問項目を簡略化する質問項目呼称と前記質問項目に対応する回答を簡略化する回答呼称との対を点検情報として検出したとき、検出された点検情報に係る質問項目が、複数の質問項目の中から選定され特定されたものとして、予め登録されている前記声紋情報と照合して本人か否かを認証し、本人と認証したとき本人の名前を、点検日時、前記点検情報に係る特定された質問項目及び回答と共に複数の点検データとしてまとめて保存することを特徴とする。

本発明の第１８の観点に係る音声による点検データ保存プログラムは、点検すべき質問項目を簡略化する質問項目呼称、質問項目に対応する回答を簡略化する回答呼称、点検者本人の音声から得た声紋情報を予め登録しておくステップと、音声入力手段から連続して入力された音声を音声認識するステップ（S３）と、得られた音声認識情報から質問項目呼称及び回答呼称を判別するステップ（S５、S６）と、質問項目呼称情報と質問項目呼称に対応する回答呼称との対を点検情報として判別するステップ（S７）と、予め登録された前記声紋情報と点検時に点検者によって前記音声入力手段から連続して入力された音声とを照合し声紋認証するステップ（S８）と、この声紋認証に基づいて正規の点検者本人であるか否かの点検者本人認証するステップ（S９）と、本人と確認したとき、当該質問項目、回答、及び点検者名を対応づけて点検データとして記憶するステップ（S１２）と、記憶した点検データを表示するステップ（S１６）とを備えていることを特徴とする。

本発明によれば、点検時には、点検者が覚えやすく、発声しやすく音声入力しやすい言葉に、質問項目を簡略化して呼称可能にする質問項目呼称と、この点検結果を表現した回答を簡略化して呼称可能にする回答呼称とを用いて、多様化する利用者それぞれの要望に応じた言葉使いや発音を活かし補いながら、効率化のための質問項目や回答の呼称を自由にカスタマイズできるようにすることで、音声入力時の間違いや、再度、再三の音声入力の必要がなくなり、音声認識の精度が向上する。

しかも、音声入力による質問項目と回答との特定も容易になり、言語能力や言葉に依存しない発音に基づく特徴点を抽出して本人認証する声紋認証で不正防止のための本人確認を同時に行うことが出来るので、本人確認作業に制約されることなく効率よく点検作業をしながら、点検作業の正当性も担保できる。さらに、点検すべき質問事項、回答を表す正式な名称、文章、用語及び数字は正確に記録できるので点検作業効率が良く、点検結果の正常、異常、不正を区別して点検データを保存できるので、エビデンスとして追跡調査する際の効率化も図れる。

本発明の実施例１を示す点検前の設定に関する機能ブロック図。 本発明の実施例１を示す点検時に関係する機能ブロック図。 本発明の実施例２を示す機能ブロック図。 本発明の実施例３を示す機能ブロック図。 本発明の実施例４を示すサーバ装置と端末装置の機能ブロック図。 本発明の実施例４のフローチャート。 本発明の実施例４の質問項目呼称テーブル。 本発明の実施例４の回答呼称テーブル。 本発明の実施例４の点検条件テーブル。 本発明の実施例４の点検者情報の質問項目呼称テーブル。 本発明の実施例４の点検者情報の回答呼称テーブル。 本発明の実施例４の点検者情報の呼称声紋テーブル。 本発明の実施例４の点検者情報の点検条件テーブル。 本発明の実施例４の点検ログテーブル。 本発明の実施例４の点検データテーブル。 本発明の実施例５を示すサーバ装置と端末装置。 本発明の実施例５の端末利用状況テーブル。 本発明の実施例６を示す端末装置の表示レイアウト。 本発明の実施例６を示す管理装置の表示レイアウト。 本発明の実施例７を示す管理装置の表示レイアウト。 本発明の実施例８を示す端末装置の表示レイアウト。 本発明の実施例８を示す管理装置の表示レイアウト。

以下、本発明の実施形態について図面を用いて説明する。説明を簡単にするために、先ず、点検データ保存システムが、可搬型端末装置である場合を例にして説明する。次に、後述するスマートフォン、管理用のタブレット端末装置及びサーバ装置を備える構成のいずれであってもよい。

図１は、本発明の実施例１として、予め登録しておくデータ登録時の機能ブロック図である。図２は本発明の実施例１の点検に関係する機能ブロック図である。図３は本発明の実施例２の機能ブロック図である。図４は本発明の実施例３の機能ブロック図であり、図３の機能ブロック図に点検不正を検出する機能が付加されている。図５は本発明の実施例４のサーバ装置と端末装置の機能ブロック図である。図６は本発明の実施例３、４の点検処理のフローを示すフローチャートである。

これらの機能を動作させるため、システム設定時、点検者の登録時に、実施例４として、図７〜図１６に示す各テーブルに記載したようなデータを予め登録し記憶させておく必要がある。図７は質問項目呼称テーブル、図８は回答呼称テーブル、図９は点検条件テーブル、図１０は点検者情報としての質問項目呼称テーブル、図１１は点検者情報としての回答呼称テーブル、図１２は点検者情報としての呼称声紋テーブル、図１３は点検者情報としての点検条件テーブルである。以下の説明において、各図における同じ機能手段については概ね同一番号を付与すが、データ構造を示す各データテーブルなど別な番号を付して説明した方が説明しやすいものについては新たな番号を付して説明する。

なお、この発明で用いる音声認識技術とは、不特定多数の言語が異なる多様な点検者が発音した音声を認識して文字化する従来からある音声認識技術で実現できる。以下の説明においては、説明の都合上、初期化時、点検時に、言語の種別として日本語を選択し、入力した場合を想定して説明する。他の言語を用いる場合には、言語種別として他の言語を選択し入力することで適正な音声認識が行われる。また、声紋認証技術としては、正規の点検者本人の音声を分析して正規点検者本人特有の特徴データを抽出して、点検者本人の音声モデルとして登録しておき、点検時に、入力された音声データと予め登録されている正規な点検者本人の特徴データとを照合し、正規の点検者本人か否かを認証するものであれば、技術内容の相違を問わず、どのような形態のものでもよい。

実施例１として示す図１におけるシステム設定時に用いる端末装置１としては、単体で構成してもよいが、スマートフォンと呼ばれる端末装置に備えられているマイクロフォン等の音声を入力するための音声入力手段２、音声入力手段２からの出力を受け、音声データを記憶する音声データ記憶手段３、音声データ記憶手段３に記憶された音声データを音声認識する音声認識手段４は、既存のスマートフォンに組み込まれ既に内蔵されているもので構成してもよい。音声データ記憶手段３に記憶された音声データから特徴点を抽出して声紋データを生成する声紋データ生成手段５は、正規の点検者の声紋データを呼称声紋テーブル１１−３に記憶し登録するために用いられる。この声紋データ生成手段５及び音声データから特徴点を抽出して本人確認の声紋認証する声紋認証手段１６は、既存のスマートフォンに、後からソフトウェアをインストールすることによって、これらの機能を実現してもよい。

なお、図２、図３、図４で示す点検時に用いる声紋認証手段１６は、点検者が発声し、音声入力手段２によって得られた音声データを、一旦、音声データ記憶手段３に記憶し、声紋認証時には、この音声データと呼称声紋テーブル１１−３から読みだした声紋データとを照合して声紋認証を行うように構成されており、声紋生成手段を用いなくても声紋認証できる。点検情報を入力して様々な設定を行うため、マウスやタッチパネルなどからなる操作入力手段６やキー操作で入力するキー入力手段７、出荷伝票・納品伝票・領収書などの伝票類・食品の外観・点検個所の画像を写すためのカメラなどの撮影手段８が設けられている。これらの入力手段の切り替えを行うために入力選択手段９が設けられている。

これらの手段によって入力された情報は、点検者情報設定手段１０を介して点検者情報テーブル群１１に予め登録され蓄積される。点検者情報テーブル群１１としては、質問項目呼称テーブル１１−１、回答呼称テーブル１１−２、呼称声紋テーブル１１−３、点検許可位置テーブル１１−４などの情報テーブルが設けられている。システムの初期設定時に各テーブルには、各情報が予め登録され記憶されている。

質問項目呼称テーブル１１−１に蓄積されるシステム設定時のデータとしては、図７に示すように、例えば、テーブル２７に、「一般的衛星管理の実施記録点検」などの点検データ名２８、番号２９、「原材料の受け入れの確認」、「冷蔵庫内温度の確認」、「冷凍庫内温度の確認」、「手洗いの実施」などの質問項目３０、この質問項目の文章、用語などを短縮し簡略化した発音、他の表現に代替した発音を登録可能にする質問項目呼称が呼称３１として「いちばん、げんざいりょう、しょくざい」、「にばん、れいぞうこ、れいぞう」、「さんばん、れいとうこ、れいとう」、「えぬばん、てあらい」などの用語が記憶され、これら質問項目に対応して回答される「良否」、「数値」などの回答種別３２、回答が正常な条件を満足する範囲を示す「良」、「１０以下」、「−１５以下」などの正常範囲３３が、記憶され蓄積されている。

回答呼称テーブル１１−２に蓄積されるシステム設定時のデータとしては、図８に示すように、例えば、回答呼称テーブル３４に、回答内容の種類を示す「良否」、「数値」などの種別３５、「良」、「否」、「１」、「１０」などの回答内容３６、これら回答内容を表す用語や数字を簡略化、代替して発音される呼称としての「よし、りょう、おーけー」、「いな、だめ、えぬじー」などの用語が回答呼称３７として記憶され蓄積されている。

点検条件テーブル１１−４に蓄積されるシステム設定時の拠点毎の点検条件を規定する具体的なデータとしては、図９に示すように、例えば、点検条件テーブル３８に、「田園調布店」、「横浜店」などの拠点名３８−１、「一般的衛生管理の実施記録」、「食材受入の確認（写真伝票）」などの点検データ名３８−２、「原材料の受け入れの確認」、「冷蔵庫内温度の確認」、「伝票」などの質問項目３８−３、「１」、「１０」などの１日の保存可能数３８−４、出退勤時刻、点検時刻、点検制限時間を規定するための、「（２０２０／３／３ ８：００〜１８：００）」、「（２０２０／３／３ １０：００〜２２：００）」などの点検可能日時３８−５、「（１２．３４５／６７．８／９．０）」、点検場所を規定するための、「（５６．７８９／１２３．４５／６．７８）」、「（１２．３４５／６７．８／９．０）」などの点検可能位置情報（緯度／経度／標高）３８−６、点検場所の周囲騒音などを考慮して声紋認定感度、精度を規定するための、「０．５」、「０．７」などの声紋スコアしきい値３８−７が記憶され蓄積されている。

また、各拠点毎に定められる点検者に関する点検者情報として、図１０、図１１、図１２に示すように、質問項目呼称テーブル３９、回答呼称テーブル４５、呼称声紋テーブル５０が設けられ、点検開始前の初期設定として規定される。これら点検者情報の音声入力は、各拠点毎に、正規の点検者の要望を管理者が聞いて、該当する点検者が音声入力手段２などを用いて入力し、予め記憶され、点検条件を規定することになる。

例えば、図１０に示す点検者情報の質問項目呼称テーブル３９としては、正規の点検者が新井茂成の場合、マウスやタッチパネルなどからなる操作入力手段６やキー操作で入力するキー入力手段７を用いて、「新井 茂成」という名前が点検者３９−１の列に記憶される。次に、点検者新井茂成の要望に応じて規定された保存データ名３９−２の列に、「一般的衛生管理の実施記録」と記憶される。各点検項目を示すために付与した番号３９−３の列には、「１」番目、「２」番目、「３」番目、「Ｎ」番目と番号が記憶される。これらの番号に対応づけて、質問項目３９−４の列には、「原材料の受け入れの確認」、「冷蔵庫内温度の確認」、「冷凍庫内温度の確認」、「手洗いの実施」などの用語が記憶される。質問項目呼称３９−５の列には、点検者である新井茂成の要望に応じて、本人が発声しやすく、覚えやすい言葉を音声入力のための用語「いちばん，げんざいりょう,しょくざい」、「にばん、れいぞうこ、れいぞう」、「さんばん、れいとうこ、れいとう」、「えぬばん、てあらい」などの用語が質問項目３９−４に対応づけて音声入力されて記憶される。これらの質問項目３９−４、質問項目呼称３９−５は、波線右側に示すように、図７を用いて説明した質問項目呼称テーブル２７の回答種別、正常範囲と紐づけられ関連づけられていることを示すために、「良否」、「数値」などの用語が回答種別３９−６の列を図示し、回答が正常な条件を満足する範囲を示す「良」、「１０以下」、「−１５以下」などの用語が正常範囲３９−７の列が図示してある。

点検者情報としての回答呼称テーブル４５は、例えば、図１１に示すように、正規の点検者が新井茂成の場合、点検者４６の列に「新井 茂成」という名前が記憶される。回答種別４７の列には、「良否」、「数値」などの用語が記憶され、回答内容４８の列には、「良」、「否」、「１」、「１０」などの用語が記憶され、回答呼称４９の列には、回答内容４８それぞれに対応づけて、点検者新井茂成の要望に応じて、回答内容を省略、代替するとして「よし、りょう、おーけー」、「いな、だめ、えぬじー」、「いち」、「じゅー」などの用語が、回答内容４８にそれぞれ対応づけて記憶され蓄積される。

点検者情報の呼称声紋テーブル５０としては、例えば、図１２に示すように、正規の点検者が新井茂成の場合、「新井 茂成」という名前が点検者５１の欄に記憶される。次の呼称（質問・回答）５２の欄には、点検者新井茂成の要望に応じて選ばれた、「よし」、「りょう」、「げんざいりょう」、「えぬじー」などのを示す用語が記憶され、特徴点情報である声紋情報５３の列には、呼称（質問・回答）５２の列のそれぞれの用語について、点検者新井茂成が発声した音声を音声データ入力手段２、音声データ記憶手段３、声紋データ生成手段５を介して得られた声紋情報５３がそれぞれ記憶される。この声紋情報５３の基である音声データとして、質問項目呼称及び回答項目呼称のいずれか、或いは双方を用いるかの選択については、管理者が自由に設定でき、セキュリティ向上のため適宜変更可能である。

図７、図８、１０、図１１、図１２に記載した各テーブルの質問項目の欄、質問項目呼称の欄、回答種別に欄、回答内容の欄、および回答呼称の欄に記憶されるデータとしては、点検者、管理者が日本人の場合を例示したが、点検者が外国人、管理者が日本人の場合には、各テーブルにおける質問項目の欄、回答種別の欄、および回答内容の欄に記憶されるデータを、点検者、管理者が日本人の場合と同一にして、各テーブルにおける質問項目呼称の欄および回答呼称の欄に記憶されるデータは、該当する外国人の点検者が希望する言語の用語にして、音声認手段がその言語の用語を認識できる機能を備えておれば、各テーブルにおける質問項目呼称の欄、回答呼称の欄に記憶されるデータは、各国語を混在させてもよい。

このような場合、図１２に示す呼称声紋テーブルの点検者の欄、呼称（質問・回答）の欄に記憶されるデータとしては、情報としてその言語を音声認識できる用語となるが、声紋情報の欄に記憶されるデータは、言語に左右されない音声データの特徴点を抽出した声紋データなので、点検者が希望する母国語や他の言語で発声した音声から得られた声紋情報としての声紋データを記憶すればよく、多様化する利用者それぞれの要望に応じた言葉使いや発音を活かし補いながら、効率化のための質問項目や回答の呼称化を自由にカスタマイズすることができ、言語の相違による音声入力時の間違いや、再度、再三の音声入力の必要がなくなり、音声認識、声紋認証の精度が向上する。

図１３に示す各拠点毎の点検時の点検条件を規定する点検者情報の点検条件テーブル５４としては、前述した図９に示した拠点毎の点検条件テーブル３８に蓄積されるシステムデータに加えて、図１０〜図１２に示す点検者情報、及び各拠点毎に配置される端末装置、操作可能な点検者、点検可能日時、点検可能位置情報、声紋スコアなどを規定し管理するため、図１３に示すように、拠点名５４−１の欄、点検データ名５４−２の欄、質問項目５４−３の欄、１日の保存可能数５４−４の欄、端末ＩＤ５４−５の欄、操作可能点検者５４−６の欄、点検可能日時５４−７の欄、点検可能位置情報５４−８の欄、声紋スコア５４−９の欄が設けられ、それぞれの欄に条件データが記憶、蓄積されている。

以上説明したようにシステム初期設定時において、図１に示すように、点検者情報設定手段１０により、点検者情報テーブル群１１としての質問項目呼称テーブル１１−１、回答呼称テーブル１１−２、呼称声紋テーブル１１−３、点検条件テーブル１１−４などの情報テーブルに、前述したそれぞれの情報が記憶され蓄積されている。

点検時には、図２に示すように、先ず、点検者の音声が音声入力手段２によって入力されると、入力された音声データは、音声データ記憶手段３に一時的に記憶される。音声データ記憶手段３に記憶された音声データは、音声認識手段４によって、文字データとして一区切り毎、ワード単位毎に処理される。処理された一区切り、ワード情報は、点検者情報テーブル群１１の予め登録されている質問項目呼称テーブル１１−１、及び回答呼称テーブル１１−２に記憶されている各情報と照合され、質問呼称、回答呼称などに関するワードであるか否か逐次検出される。

実施例２として示す図３に示すように、入力選択手段９の出力は、入力内容蓄積記憶手段２０を介して、質問項目判別手段２１によって、質問項目呼称テーブル１１−１に予め記憶されている質問項目呼称と照合され、一致する質問項目呼称があった場合、その質問項目に関する音声データであると、質問項目呼称を手掛かりとして判別される。また、回答判別手段２２によって、回答呼称テーブル１１−２に予め記憶されている回答呼称と照合され、一致する回答呼称があった場合、その回答に関する音声データであると、回答呼称を手掛かりとして判別される。

質問項目判別手段２１によって判別された質問項目呼称と、回答判別手段２１によって判別された回答呼称とは、点検情報判別手段１５によって、入力された音声データから質問項目呼称と回答呼称との一対の組み合わせであるか否かが判別される。一対の質問項目呼称と回答呼称の組み合わせに対応する音声データと判別されると、音声データ記憶手段３に記憶されている音声データは読み出される。

こうして得られた点検者の声紋認証用の音声データは、声紋データ声紋認証手段１６によって、呼称声紋テーブル１１−３に記憶されている正規の点検者本人の声紋データと照合され、本人らしさを示すスコアが所定のレベル以上の場合、本人と認証することになる。この本人認証するスコアがいくら以上とするかは、本人確認手段１７が点検条件テーブル一致して声紋認証された場合、点検者本人確認手段１７により、正規の点検者本人が音声入力した点検情報であるとして、点検者の名前、係る質問項目、回答をその他の情報と共に点検データテーブル１８−２に保存される。

この点検データテーブル１８−２に記憶され蓄積された点検データは、点検データ表示手段１９によって点検データとして表示される。得られた質問項目、回答、又は、マウスやタッチパネルなどからなる操作入力手段６やキー操作で入力するキー入力手段７からの入力によって、表示される点検データの表示レイアウトは、表示レイアウト変更手段１２によって適宜変更され表示される。

なお、点検情報判別手段１５によって、質問項目呼称と回答呼称との一対の組み合わせと判別されて質問項目と回答が選択され特定されることになる。点検データテーブル１８−２に保存されるとき、同じ質問項目と回答が既に点検データテーブルに保存されていた場合には、重複保存になる旨、点検データ表示手段１９がアラームを表示し、表示レイアウト変更手段１２により、得られた一対の質問項目呼称データと回答呼称データを破棄するか、上書きして保存するかの選択するための問いかけを行うためのレイアウトの画面へと変更される。

実施例３として示す図４は、点検時に、点検情報として得られた位置情報、点検回数、点検時間などに関する情報が、予め設定された点検条件として点検条件テーブル１１−４に記憶されている点検条件を満足しているか否かの点検不正に関する機能について説明したブロック図である。点検者本人確認手段１７、位置情報取得手段２３が得た点検情報は、点検条件テーブル１１−４に記憶されている点検条件と照合され、点検時にこれらの点検条件を満足しないことを点検情報不正検出手段２４が検出したときは、点検情報不正通知手段２５によって、管理者が監視しているタブレット端末装置の表示画面に表示すると共に、関係者へ点検情報の不正を知らせる不正検出信号としてメール送信し、点検情報の不正を迅速に伝えることが出来る。この点検情報不正検出データは、点検ログテーブル１８−３に記憶して保存する。不正対策の性質上、点検者が所持するスマートフォン等の端末装置の点検データ表示手段では表示しないようにするが、管理者が端末装置を点検するときのためなど表示できるようにしてもよい。又、この点検情報不正データは、点検ログテーブル１８−３に記憶しておき、通常、点検情報としては、点検データテーブル１８−２に、正常範囲内の場合には、正常を示す「良」と記憶し、正常範囲外の場合には、異常を示す「否」と、点検データを区別して記憶しているので、点検状況の確認をするため、エビデンスとしての履歴を追跡調査する際の効率化も図れるのが、この実施例の特徴でもある。

位置情報に関する不正検知を行うための機能として、予め管理者として各店舗に配置された端末装置の点検場所を示すため、端末装置のＧＰＳ機能から得られる位置情報としての緯度・経度・高度情報を、図９、図１３に示すように位置情報として、サーバ装置の点検条件テーブル１１−４に予め記録登録しておく。

点検時に得られる点検者の位置情報の例としては、点検者が所持する端末装置のＧＰＳ受信機能で得た位置情報がサーバ装置に送信されてきたとき、点検情報不正検出手段２４は、この予め登録蓄積されている位置情報と比較して、登録されている位置情報の許容範囲から逸脱しているときは、位置情報の不正として点検情報不正通知手段２５から通知し、図４に示す点検ログテーブル１８−３に、図１５で示すような位置情報を不正状況として保存する。この他、点検情報としては、図１４には図示した点検可能時間内での時間であるか、外出先の顧客の住所に何時に到着したかなど時間を管理する場合や、点検最大保存回数以内であるか否か、その他、冷蔵庫が故障したときなどの検出した情報として記録される。

実施例４として示す図５は、音声による点検データ保存システムの構成を、サーバ装置７６と、点検者が持つスマートフォンや管理者が点検状況を管理するためのタブレット端末装置などの端末装置７７とで構成した実施例を示し、それぞれの機能は、以下の構成となっている。各機能実現手段の具体的な内容は、前述したものと同じである。なお、管理者が点検状況を管理するためのタブレット端末装置は、点検者が持つスマートフォンと関連する部分のみ記載されているとし、その他の機能については省略されているとする。

サーバ装置７６は、初期設定条件を定める質問項目呼称テーブル２７、回答呼称テーブル３４、点検条件テーブル７８、点検者情報設定手段１０、点検者情報テーブル群１１として、質問項目呼称テーブル１１−１、回答呼称テーブル１１−２、呼称声紋テーブル１１−３、点検条件テーブル１１−４などを備えている。点検状況の表示に関する手段として、端末利用状況テーブル１８−１、表示レイアウト変更手段１２、点検データ同期手段１３を備えている。点検状況のデータ保存機能としては、点検データテーブル１８−２、点検ログテーブル１８−３を備えている。また、点検不正を発見するための手段としては、点検者本人確認手段１７、点検情報不正検出手段２４、点検情報不正通知手段２５を主な機能実現手段として備えている。管理者が点検状況を管理するためのタブレット端末装置は、後述するように、サーバ機能の動作状況を確認するための表示手段として用いられる。

端末装置７７としては、音声に関する機能として、音声入力手段２、音声データ記憶手段３、音声認識手段４、声紋データ生成手段５、入力内容蓄積記憶手段２０、質問項目判別手段２１、回答判別手段２２、点検情報判別手段１５、声紋データ声紋認証手段１６、質問項目判別手段２１、回答判別手段２２、位置情報取得手段２３などを備えている。

テキストデータや画像データの入力に関するものとしては、操作入力手段６、キー入力手段７、撮影手段８、入力選択手段９を備えている。各質問項目に対応する点検結果の回答を点検者が入力する場合、多種多様な点検者の言語、言語能力、個性、得意、不得意に応じて、最適な方法で入力可能にするため、各点検者の要望に基づいて、質問項目及び回答の用語を簡略化して表現した質問項目呼称及び回答呼称に代替して変更可能にするための機能としては、質問項目呼称テーブル１１−１′、回答呼称テーブル１１−２′、呼称声紋テーブル１１−３′を備えている。また、音声による点検結果の入力状況をスマホ等の画面で確認するための機能としては、点検データ表示手段１９、表示レイアウト変更手段１２−１〜１２−ｎを機能実現手段として備えている。

図６は、図４、図５に示した実施例における点検時の各処理のフローを示すフローチャートである。なお、システム初期設定時に、点検者情報テーブル群１１として、質問項目呼称テーブル１１−１、回答呼称テーブル１１−２、呼称声紋テーブル１１−３、点検条件テーブル１１−４には、図７〜図１３に示すように各データが記憶されているものとする。

先ず、点検作業の前に、点検者は、拠点名、点検者名を登録する。拠点名及び点検者名の登録は、音声入力で拠点名、自分の名前を発声して登録するか、或いは、マウスやタッチパネルなどからなる操作入力手段６、或いは、キー操作で入力するキー入力手段７によって登録するかどちらでもよい。以下の説明においては、拠点名として、「田園調布店」、点検者の例として、「新井 茂成」を登録したものとして、点検者情報テーブル群１１の質問項目呼称テーブル１１−１には、点検者情報として、質問項目呼称テーブル３９には、点検者４０の欄には正規の点検者として「新井 茂成」が選択され登録され記憶されているものとして以下に説明する。

点検時の準備が整ったら、点検者は、端末装置７７の音声入力手段２から、点検における質問項目を選び、点検結果の回答情報を入力する。例えば、「げんざいりょう りょう」と音声入力をする（Ｓ１）。この「げんざいりょう りょう」と入力された音声は、音声データ記憶手段３に「げんざいりょう」及び「りょう」が一区切りの情報として取り扱われて記憶される。

システム設定時の各用語の音声入力レベルの大小、用語と用語の間の空白時間の設定により、「げんざいりょう」と、「りょう」とを別な発声と認識する場合、両方を一緒に処理して、「げんざいりょう りょう」を一区切りの発声と認識する場合など、音声認識機能で自由に設定でき、任意の調整できる（Ｓ２）。記憶された音声データは、音声認識手段４によって逐次読み出され文字データ「げんざいりょう りょう」として入力内容蓄積記憶手段２０に記憶される（Ｓ４）。

入力内容蓄積記憶手段２０に記憶された文字データ「げんざいりょう りょう」は、質問項目判別手段２１により一区切りの文字データ毎に、図９、図１０に示す点検条件テーブル３８、質問項目呼称テーブル３９と照合される。質問項目呼称３９−５に記憶されているワードと照合される（Ｓ５）。この場合、質問項目呼称３９−５には、「げんざいりょう」というワードが存在するので、質問項目としては、番号３９−３が「１」番、保存データ名３９−２が「一般衛生管理の実施記録」、質問項目３９−４が「原材料の受け入れの確認」が存在するので、一致していると処理され、複数存在する質問項目の中から、「原材料の受け入れの確認」が選択され特定される。

同様に、入力内容蓄積記憶手段２０に記憶された文字データは、回答判別手段２２により一区切りの文字データ毎に、図１１に示す回答呼称テーブル４５と照合される。点検者としては「新井 茂成」が選ばれる。回答呼称４９に記憶されているワードと照合される（Ｓ６）。この場合、回答呼称４９には、「りょう」というワードが存在するので、回答としては回答種別４７が「良否」、回答内容４８が「良」が複数の回答の中から選択され、質問項目及び回答が特定される。

質問項目判別手段２１によって判別された「げんざいりょう」というワードの質問項目呼称から、図７の質問項目呼称テーブル２７における質問項目３０の「原材料の受け入れの確認」が選択される。同じ行に示されている回答種別３２は、「良否」とあり、質問項目と回答とが対として存在することが判る。回答判別手段２２によって判別された「りょう」という回答呼称から、図８の回答呼称テーブル３４における回答種別３５が「良否」であり、両者は一致し、点検情報判別手段１５によって、入力された音声情報は、質問項目呼称と回答呼称との対という条件を満たすので、点検情報であると判別される（Ｓ７）。回答としては、回答内容３６に記載されている「良」が選択され記憶されることになる。

点検情報判別手段１５によって質問項目と回答との対が検出されると、次に、質問項目呼称「げんざいりょう」と回答呼称「りょう」それぞれに対応する音声データは、声紋認証手段１６へ送出される。

。
同時に、点検者情報として、新井茂成は、質問項目呼称テーブル３９、図１１に示す回答呼称テーブル４５、図１２に示す呼称声紋テーブル５０、図１３に示す点検条件テーブル５４に、それぞれに記憶され紐づけられているので、点検時に点検者によって入力された音声データは、音声データ記憶手段３から読み出され、予め呼称声紋テーブル５０に記憶され登録されている正規の点検者による声紋情報５３と照合され、音声入力した点検者が正規の点検者新井茂成であるか否かの本人確認が行われる。

すなわち、図１２に示す点検者情報の呼称声紋テーブル５０には、点検者５１の欄に、点検者として「新井 茂成」と記憶されており、図１３に示す点検者情報としての点検条件テーブル５４の拠点名５４−１の「田園調布店」の操作可能点検者５４−５として、「新井 茂成」と記憶されているので、これらの点検者名の一致をてがかりとして、図１２に示す呼称声紋テーブル５０に予め記憶されていた正規の点検者本人「新井 茂成」の声紋データ５３が読み出される。

この読み出された声紋データ５３と前述した点検時に点検者が発声した音声に基づいて得られた質問項目呼称「げんざいりょう」と回答呼称「りょう」それぞれに対応する音声が音声データ記憶手段３に一旦記憶される。この記憶されている音声データは音声認識時及び声紋認証時に読み出される。読み出された音声データは、声紋認証手段１６によって、予め呼称声紋テーブル１１−３に記憶登録されている声紋データと照合され、本人認証が行われ、スコア値が決定される。

この得られたスコア値は、点検条件テーブル５４で予め規定されている点検者新井茂成の点検可能日時５８−４の「（２０２０／３／３ ８：００〜１５：００）」におけるスコア値５４−９に記憶されているスコア値「０．５」と比較される。そのため、端末装置７７で得られたスコア値は、端末装置７７からサーバ装置７６へ送信され、サーバ装置７６の点検者本人確認手段１７によって、この端末装置７７から送られてきたスコア値「０．８」は、点検条件テーブル３８の声紋スコアしきい値３８−７に、予め正規な点検者として認証できる声紋認証条件として設定されているスコア値「０．５」と比較され、設定値よりスコア値が十分高いので本人と認証される（Ｓ８）。

スコアしきい値が「０．２」の場合などには、「０．５」の規準を満たさないので、本人でないと判定される（Ｓ９）。この声紋認証できなかった声紋認証結果は、点検ログテーブル５９の本人５９−９の欄に、声紋認証結果が「拒否」として記録される（Ｓ１５）。

点検者本人確認手段１７によって、発声した点検者が正規の点検者本人と認証され確認できた後は、端末装置７７のＧＰＳ機能を用いて端末装置７７の位置情報を位置情報取得手段２３によって取得する（Ｓ１０）。位置情報取得手段２３によって取得された位置情報が、「（１２．３４５／６７．８／９．０）」であるとき、このデータを、図１３として、点検条件テーブル１１−４の点検者情報として記憶されている点検条件テーブル５４の位置情報５８−５に記憶されている緯度・経度・標高「１２．３４５,６７．８，９．０」と照合して、条件を満たすか否か判別される（Ｓ１１）。取得された位置情報が点検条件テーブルに規定された位置情報条件を満足しないことを、不正と看做され点検情報不正通知検出手段２４によって検出したときは、点検情報不正通知手段２５によって不正を通知し、点検データ表示手段１９で不正を通知すると共に、点検ログテーブル５９に記録する（Ｓ１５、Ｓ１７）。

次に、これら点検条件テーブル５４の点検可能日時５８−４に記憶されている「２０２０／１／１ １０：００〜２０２０／１／１ ２２：００」の条件を満たすか判別される。点検情報不正検出手段２４によって点検情報不正の有無の検出が行われる（Ｓ１１）。不正が検出されなければ、不正なしということで、点検データの保存（Ｓ１２）ということで、点検者情報としての呼称声紋テーブル５０に記憶されている点検者の名前、前述の例では、「新井 茂成」が点検者として、前記の質問項目情報、回答情報と共に点検データが点検データテーブル１８に保存データとして記憶され保存される。

点検情報不正検出手段２４によって点検情報不正が検出された場合には、図６のフローチャートで示す通り、図４の点検情報不正通知手段２５によって、点検情報不正通知が発せられ（Ｓ１７）、点検ログテーブル５９に点検不正を示す点検ログデータを保存する（Ｓ１５）と共に、同時に、点検データ表示手段１９によって、点検情報の不正を表示する。

点検データが保存され、点検条件テーブル５４の１日の点検データ最大数以下であるかの検出が行われる（Ｓ１３）。保存可能数５８−２に「１」と点検条件が設定されている場合は、１日に１セットの点検データが保存される（Ｓ１５）。点検データ表示手段１９で１セット分が表示される（Ｓ１６）。１日に複数セットと設定されている場合には、図４の表示レイアウト変更手段１２により、点検データ表示手段１９で表示するレイアウトが変更される（Ｓ１４）。

実施例４として点検データテーブルの例として示す図１５においては、例えば、１行目には、点検データとして、正規の点検者片岡敏光が点検を行った点検日は、点検日７０−１の欄に、「２０２０．３．３」と記憶され、拠点名７０−２の欄に、「田園調布店」として記憶され、作成される帳票名として、点検データ名７０−３の欄に、「一般的衛生管理の実施記録」と記憶される。質問項目として、点検者片岡敏光が発声した質問項目呼称が、「いちばん」の場合、音声認識手段４による音声認識に基づいて、質問項目７０−４の欄に、「原材料の受け入れの確認」と記憶され、この質問項目に対応する回答として、点検者片岡敏光が、回答称呼「りょう」と発声した場合、回答項目７０−５の欄に、「良」と記憶される。点検を行った場所の位置情報として、端末装置７７の位置が、位置情報７０−６の欄に、「（１２．３４５／６７．８／９．０）」と緯度、経度、標高が記憶され、この点検時に特記事項は無かったので、特記事項７０−７の欄に、「−」と記憶される。サーバ装置７６の点検データテーブル７０には、点検を行った点検者として、点検者７０−８の欄に、正規の点検者である片岡敏光の名前が、「片岡 敏光」と記憶される。

以下、点検されるたびに、順次、点検した質問項目と点検データが列記される。主な点検データの違った表示の個所について説明すると、２行目の回答項目７０−５の欄には、１行目では、「良」と文字データとして漢字で記録されたが、２行目では、質問項目７０−４の欄が「冷蔵庫温度の確認」と記憶されており、回答として、冷蔵庫の庫内温度が数値データとして、点検者が「ご」と発声したので、回答項目７０−５の欄には、「５」と記憶される。

３行目では、質問項目７１が、「冷凍庫内温度の確認」と記憶されており、回答項目７２には、「−１２」と冷凍庫温度が記憶されているが、温度変化が激しかった理由として、特記事項７４に、「原材料出し入れのため、その後、正常確認。」と記憶されているように、正常な庫内温度に復旧したことについての理由が記憶されている。この特記事項の記憶は、点検者の音声を音声認識で文字に変換して記憶される以外に、図４、図５に示す、操作入力手段６、キー入力手段７によって、適宜選択され、入力される。

また、伝票、点検現場の状況などを撮影しておく必要がある場合には、撮影手段８によって撮影され、その撮影結果を撮影データとして記憶してもよい。このように、点検者の判断、要望に応じて、点検データの記憶方法をフレキシブルに変更でき、対応できる。

点検ログテーブル５９には、図１４に示すように、点検情報が時系列の逐次記憶され入力され蓄積されることになる。参考まで、例として、１行目の質問項目について説明する。点検日時５９−１の欄には、「２０２０．３．３ １０：００：００」と記憶され、拠点名５９−２の欄には、「田園調布店」と記憶され、点検データ名５９−３の欄には、「一般的衛生管理の実施記録」と記憶される。質問項目５９−４の欄には、「冷蔵庫内温度の確認」と記憶される。回答項目５９−５の欄には、「５」と記憶される。点検者５９−６の欄には、「新井 茂成」と記憶される。特記事項５９−７の欄には、「−」と記憶される。

点検ログテーブル５９には、前記図１５の点検データテーブル７０と違って、点検者が正規の点検者であったか否かを知る手がかりとなる声紋データのスコアが記憶され、本人確認の認否結果が記憶される。例えば、１行目では、正規の点検者であるか否かの本人確認結果として、スコア５９−８の欄には、「０．８」と記憶されているので、本人確認の声紋認証結果、スコアが図９の点検条件テーブル３８の声紋スコアしきい値３８−７、及び図１３の点検者情報の点検条件テーブル５４の声紋スコアしきい値５４−９の欄に記憶されている「０．５」を超えるスコアなので、正規の点検者と本人確認できと認証され、「認証」と記憶される。

本人確認できなかった例としては、４行目のスコア５９−８の欄には、「０．２」と記憶されており、点検条件の設定値より著しくスコア値が低い場合には、声紋認証手段１６の出力を受けて、点検者本人確認手段１７が、点検者が本人でなかったと判定し、本人確認できなかった記録として、本人５９−９の欄に、「拒否」と本人確認できなかったことが記憶される。これによって、サーバ装置に登録された正規の点検者による正常な音声入力か、周囲環境の影響で音声入力が不調だったのか、それとも他の者による音声入力で不正が発生しているのかを確認する追跡調査の手がかりを得ることが出来る。

実施例５として示す図１６は、各拠点毎に点検者が複数人存在し、端末装置７７−１〜端末装置７７−ｎと複数台ある場合を示している。各点検者間の点検情報の共有を迅速に行わせ、同期させるため、正常・異常を問わず、サーバ装置７６から各端末装置７７−１〜７７−ｎへ点検データ更新信号が送出される。任意の端末装置７７−１を操作する点検者が表示レイアウト変更手段１２−１によって、点検データ表示手段１９−１の表示を変更した場合、端末装置７７−１からサーバ装置７６に対し、図１６に示す実線矢印で示すように表示レイアウト変更信号が送出される。この信号を受信したサーバ装置７６は、その時点で記憶されている図１７に示す端末利用状況テーブル１４の端末ＩＤ１４−１の欄、拠点名１４−２の欄、点検データ名１４−３の欄、質問項目１４−４の欄、ページ番号１４−５の欄、それぞれに記憶されている情報に基づいて、他の端末装置７７−２や端末装置７７−３のように、サーバ装置７６からアクセス可能な場合は、図１６におけるサーバ装置７６から端末装置７７−１〜７７−３への実線矢印で示すように、表示レイアウト変更手段１２及び点検データ同期手段１３に対し表示レイアウト変更の指令信号が送出される。

表示レイアウト変更の指令信号を受信した端末装置７７−２及び端末装置７７−３は、それぞれの表示レイアウト変更手段１２−２及び表示レイアウト変更手段１２−３によって、点検データ表示手段１９−２及び点検データ表示手段１９−３の表示内容を変更し、端末装置７７−１の点検データ表示手段１９−１で表示されている表示画面と同一の表示画面を表示するように同期して、３台の端末装置を所持している点検者は情報を即時に共有できる。この動作によって、管理者や各点検者は、冷蔵庫や冷凍庫などの設備の異常情報を一早く共有でき、損害拡大を未然に防止することが可能となる。

なお、このとき、サーバ装置７６にアクセスしていない端末装置７７−４や端末装置７７−ｎには、表示レイアウト変更の指令信号が送出されない（図１６の点線矢印）。これらの端末装置には、次にサーバ装置７６にアクセスして時点で、サーバ装置７６の端末利用状況テーブル１４及び点検データ同期手段１３からの信号を受けて同期され、端末装置７７−１の点検データ表示手段１９−１で表示されている表示画面と同一の表示画面を表示するようになる。

以上説明したように、本発明に係る正規の点検者が音声入力によって点検情報を入力し、システムとして予めデータが初期設定されたサーバ装置７６と、アプリケーションソフトウェアがインストールされたスマートフォンの端末装置７７を用いて、点検時に、点検者が端末装置７７を用いて音声入力によって点検情報として、質問項目呼称及び回答呼称を入力すると、音声認識手段４によって認識され、音声データ記憶手段３に一時記憶される。一時記憶された音声データは、質問項目判別手段２１及び回答判別手段２２によって読み出され、質問項目呼称テーブル１１−１’、回答呼称テーブル１１−２′に予め記憶されているデータと比較され、質問項目呼称及び回答呼称として認識される。同時に、点検情報判別手段１５によって、質問項目呼称と回答呼称とが対応づけられた一対と判別されると、質問項目呼称及び回答呼称の音声データは、声紋認証手段１６によって、呼称声紋テーブル１１−３′に予め記憶されている正規の点検者の声紋データと比較され、正規の点検者本人であるか否かの声紋認証が行われ本人確認される。これらの動作によって得られた点検情報は、サーバ装置７６の図１５に示す点検データテーブル７０に、点検情報が入力される都度、点検データが蓄積される。

次に、実施例６〜実施例８として、図１８〜図２２を用いて、端末装置として、点検者が点検データを入力する際に用い、点検データを表示するスマートフォンの画面表示、及び管理者が用いるサーバ装置に蓄積されている情報、点検状況の確認、管理、不正発見のために用いるタブレット端末装置の画面表示、それぞれの表示レイアウトについて説明する。

サーバ装置７６に記憶される情報は、タブレット端末装置の画面表示で目視確認できる。システムの初期設定時、点検者情報の入力時に、サーバ装置７６の点検者情報設定手段１０によって、サーバ装置７６の質問項目呼称テーブル１１−１、回答呼称テーブル１１−２、呼称声紋テーブル１１−３、点検条件テーブル１１−４に登録されたデータに基づいて、表示レイアウト、表示内容が設定される。選択指定された条件が変更されると、その変更に伴い、表示レイアウト変更手段１２によって表示レイアウトは変更される。

このとき、図１８に示す端末装置７７であるスマートフォン７８には、サーバ装置７６と同期して質問項目呼称テーブル１１−１′、回答呼称テーブル１１−２′、呼称声紋テーブル１１−３′が作成され、サーバ装置７６が選択指定する条件を変更すると、その変更に伴い同期して、端末装置７７の表示レイアウト変更手段１２−１〜１２−ｎによって表示レイアウトは変更される。

実施例６の図１８に示すスマートフォン７８の表示レイアウトＡは、点検データ未入力状態の表示レイアウトを示している。表示レイアウトＢは、スマートフォン７８を用いて、点検者が音声入力して点検作業を行った後の表示レイアウト７９を示している。

この実施例では、一番上には、点検状況を示す７９の欄、点検データ名を示す「一般的衛生管理の実施記録（温度）」などを表示する点検名８０の欄、拠点名を示す「田園調布店」などを表示する拠点名８１の欄、点検日を示す「２０２０年３月２８日」などを表示する点検日８２の欄が設けられている。

その下側には、前記点検状況７９の表示を月表示、週表示、日表示、拠点表示を切り替えるためのアイコン８３がそれぞれ配置されている。さらに下側には、質問項目として、一番上から順番に、「１．原材料の受け入れの確認」、「２．冷蔵庫内温度の確認」、「３．冷凍庫内温度の確認」、「４．交差汚染・二次汚染の防止」、「５．器具等の洗浄・消毒・殺菌」、「６．トイレの洗浄・清掃」、「７．従業員の健康管理等」、「８．手洗いの実施」が連続して表示される。質問項目数が８以上ある場合には、画面をスクロールすることにより、次の画面が表示される。その左隣りには、質問項目を一目で判るように表すシンボルマーク８５の欄が配置されている。名称の欄８４の右下角には、質問項目の詳細を知りたいときに選択して表示を変更するための三角印８６が配置されている。一番左側には、点検情報の回答欄が配置されており、「−」８７−１は任意点検事項を示し、「未」は点検が済んでいないことを表している。

図１８の表示レイアウトＢにおいては、各質問項目の右側の回答欄には、各質問項目の回答が音声入力によって入力されると、表示のレイアウト自動的に変更される。これは、前述したように、図４の機能ブロック図で示した各機能によって実現され、その手順は、図６のフローチャートにしたがって実行される。例えば、１行目の質問項目における「１．原材料の受け入れの確認」の場合、回答が任意であれば、回答欄８７−１の表示は、任意点検事項を示す「−」と表示する。２行目から８行目の回答欄８７−２に示すように、未だ点検が済んでいない場合には、「未」と表示する。

図１８のＢにおいては、Ａにおける質問項目の文字表示は同じであるが、Ｂの表示レイアウトは、回答内容に応じて変化している。質問項目、「１．原材料の受け入れの確認」に対応する回答欄は回答が不必要なので、不必要を示す「−」をＡ同様に表示し変化していない。

これに対し、正規の点検者によって点検され、点検結果として点検者が、例えば、質問項目５の「器具等の洗浄・消毒・殺菌」について、質問項目呼称として「きぐ」、回答呼称として「りょうこう」と音声入力した場合、音声認識手段４等を介して音声認識された質問項目呼称、回答呼称を質問項目判別手段２１、回答判別手段２２によって認識され、点検情報判別手段１５が質問項目呼称と回答呼称との対を検出して、点検者本人確認手段１７によって、これらの音声データに基づいて生成された声紋データが、予め登録されている正式な点検者の声紋データと声紋認証手段１６によって照合されると、「りょう」という回答内容に基づき、回答種別は「良否」、回答内容は「良」となり、この点検情報判別手段１５の信号を受けて、表示レイアウト変更手段１２によって変更され、点検データ表示手段１９による回答の表示レイアウトは、図１８Ａから図１８Ｂの回答８７−３に示すように、「良」の文字を表示し、文字の背景の色は、安全色の緑色に表示が変更される。

図４の点検情報不正検出手段２４により、図６のフローチャートにおけるステップ１１で点検情報不正を検出したとき、点検情報不正通知手段２５によって、管理者が監視しているタブレット型端末装置などに、点検情報の不正が迅速に通知され、点検ログテーブル１８−３に点検情報不正として記憶され、保存される。これに対し、点検結果、点検データテーブル１８−２に記憶された点検データが、点検条件テーブル１１−４に記憶された点検条件の正常範囲外で、異常と表示レイアウト変更手段１２により検出された場合には、回答欄の表示は点検データ表示手段１９によって変更され、点検データ表示手段１９の表示画面の回答の表示は、図１８Ａから図１８Ｂの回答欄８７−４で示すように、一目で判るように注意を喚起するため、背景の表示は警告色の赤色に変更され、「否」という文字が表示される。

このように、点検結果を示す点検データ表示手段による表示画面は、各質問項目の点検内容に応じて回答欄の表示は変化し、「良」又は「否」と文字で表示する以外に、回答欄８７−５の「５」という冷蔵庫内温度が正常であることを示す背景が緑色で数字が黒色で示される。これに対し、質問項目が「３ 冷凍庫内温度の確認」の場合は、冷凍庫内温度が1℃なので、点検条件テーブル１１−４に記憶された点検条件の正常範囲外であると表示レイアウト変更手段１２により異常と検出され、表示レイアウト変更手段１２及び点検データ表示手段１９によって、回答欄の表示は変更され、点検データ表示手段１９の表示画面の回答欄の色表示は、回答欄８７−６で示すように、異常を示す背景が警告色の赤色に変更され、「１」という冷凍庫内温度を示す数字が黒色で表示され、一目で異常が判るように表示レイアウトが変更される。

実施例６として示すスマートフォン７８を用いて点検者が音声入力して点検作業を行った後のスマートフォン７８の画面で表示する表示レイアウト及び点検データと連動して、サーバ装置側の管理帳票として用いられるタブレット型端末装置９１の表示画面の表示レイアウトは、図１９に示す通りである。表示レイアウト９２の最上部には、「勤怠」、「タスク」、「文書」、「販売」、「案件」、「マスタ」、「月次」、「帳票」、組織名「Ｍｉｎｔｏｍｏ」、閲覧者氏名「新井 茂成」など、表示する内容を選択するためのタグが設けられている。次の段には、選択された帳票名「一般的衛生管理の実施記録」、「利用開始日」、「利用終了日」、「メモ」が表示される。これらの下側に、一覧形状で、点検時に必要な帳票が表示される。

一覧表の最上部の行には、表示終了日の文字の右隣に「２０２０．２．２５」などと表示され、拠点「田園調布本店」などと表示される。さらに右隣には、帳票印刷のためのボタン「帳票印刷」、ボタン「帳票印刷（写真付）」が表示される。その下には、表形式で、横方向に一行にわたって、月日、曜日が、「１/２６」〜「２/２５」まで一行表示される。最左端には縦方向に、点検時の質問項目名が、スマートフォン７８の表示画面と同じく対応して、「原材料の受け入れの確認」から「手洗いの実施」にわたって表示される。

その下側には、点検結果の回答として、点検データが正常範囲内であるか、正常範囲外である異常かに応じて、回答内容を「良」と「否」とに分けて、それぞれの発生件数の比、割合が、％で表示している。図１９では、良や正常範囲内の合計欄９３の行の左側の合計表示位置には、「良、６０/８０件 ７５％」を表示している。各日毎にその日の回答が良の件数合計は、〇の安全色の緑地に白抜きで数字が下側に表示される。否合計欄９４の行の左側の合計表示位置には、「否、２０/８０件 ２５％」を表示している。各日毎にその日の回答が否や正常範囲外の異常の件数合計が、〇の警告色の赤地に白抜きの数字を下側に表示している。

これら横項目と縦項目との交差した位置に、点検した日の質問項目についての点検結果の回答内容が〇の中に、スマートフォン７８の表示に合わせ、「−」又は「未」の場合は、黒字で表示され、「良」の場合は、緑地に白抜きで文字が表示、「否」の場合は、注意を喚起する警告色の赤地に白抜きで表示される。

各日毎の各点検における質問項目した結果の回答の表示として、１/２６（日）の列９５は、点検結果、回答が「良」と緑地に白抜きで合計数が「２」と表示されすぐ判る。その下の点検結果、回答が「否」の数は、０件なので、緑地に「０」と表示され、問題なしとすぐ判る。これに対し、１/２７（月）の列９６は、「原材料の受け入れの確認」の質問項目の回答が、〇の警告色の赤色地に「否」の文字が白抜きで表示されており、最下段の否の行の最下端は、同様に「１」〇の警告色赤色で、「否」と白抜きで表示されているので、注意が喚起される。

これらの一覧表の下側には、特記事項を記載する欄、メモを記載する欄が設けられており、点検時にスマートフォン７８から音声入力手段２又は他の入力手段によって記入され、表示されている特記事項が、管理に使うタブレット型端末装置の表示レイアウトにも同期して表示される。

実施例７として図２０に示す、管理者が帳票管理に使うタブレット型端末装置９１の表示レイアウト９７として、前記した〇の緑地や赤地に白抜きした文字や数字で一覧表形式で表示するが、点検データに数値を含む場合には、一覧表形式の表示と共に、同時に、表示レイアウト変更手段１２により、これらの表示の下側の欄９８に、折れ線グラフや棒グラフで、数値データをグラフ表示することが出来る。

例えば、点検時の質問項目として、「冷蔵庫内温度の確認」が選択され、点検によって回答として、冷蔵庫温度について、回答として、「冷蔵庫温度７度」や、「冷蔵庫温度１度」と音声入力され、音声認識手段４によって音声認識され、データとして「７」や「１」を点検結果の回答として表示する場合、表示レイアウト変更手段１２及び点検データ表示手段１９により、〇の緑地に白抜きで「７」の数字や「１」の数字を表示すると共に、その下側に、図１９に示すグラフ表示欄９８が設けられ、折れ線グラフ９９のように表示される。

このように、数値データをグラフ化して表示する領域を設け、入力された質問項目に対応する回答情報に音声認識された数値データを含む場合であっても、質問項目の対象機器が故障して数値データを計測することができないときには、表示レイアウト変更手段１２によって、点検項目が数値以外の文字を表示し、該当機器が計測した数値のグラフを点検データ表示手段１９は表示しない。

実施例８として図２１に示すスマートフォンなどの端末装置７８の表示レイアウトは、点検を１日に複数回実施する場合を示している。点検回数は、質問項目毎に異なり、点検条件テーブル１１−４のデータ内容を示す図９の点検条件テーブル３８の１日の保存可能数の欄３８−４に記憶されて数値によって規定される。この数値以内で複数回点検された場合、点検の都度、表示レイアウト変更手段１２が点検ログテーブル１８−３に記憶されている点検情報に基づき点検回数をカウントして、そのカウント値が、点検条件テーブルの１日の保存可能数の欄３８−４に記憶されて数値を超えない正常値の場合、端末装置７８の表示レイアウト８８は、点検データ名、質問項目名以外は、実施例６の図１８のＡ、Ｂで示したものとほぼ同様な表示レイアウトである図２１のＡに示す状態から、Ｂに示す状態へと、複数回の点検のいずれであるかが一目で判るように表示レイアウト変更手段１２によって変更される。

すなわち、図２１のＢで示す点検状態表示欄８８は、複数回の点検を可能と点検追加のための「＋マーク」で示した点検追加ボタン８９を表示するようになり、この変更に伴って、図１８で点検日を示していた点検日欄８２に相当する点検日欄を示していた図２１のＡの状態から、点検日と点検時刻との両方を表示する点検時刻欄９０ように表示レイアウトは変更され、複数点検情報が格納されていることを示す点検追加ボタン８９を表示するように画面表示は自動的に変更される。なお、図１８のＡにおいては、質問項目として、一番上から順番に、「１．原材料の受け入れの確認」、「２．冷蔵庫内温度の確認」、「３．冷凍庫内温度の確認」などと長めの質問項目が表示されていたが、この実施例８の場合は、図２１のＡ及びＢに示すように、「１．伝票」、「２．鮮度」、「３．包装」などと、簡略化した表現の質問項目の例を示している。音声入力によって点検結果の回答が入力され、いずれかの質問項目と回答との対が正常な点検情報として入力されたことを点検情報判別手段１５が判別し、表示レイアウト変更手段１２が、点検回数が１回を超えたことをカウントした場合、図１８のＡで示した状態から、図１８のＢに示す点検追加ボタン８９「＋マーク」と点検時刻欄９０「２０２０年1月２２日（水）（＃１）１７：１６」を表示するように、画面表示は変化し、回答欄８７−７の表示が「済」と緑地に黒字で表示される。

点検時に、点検者の発声により、点検対象の質問項目呼称と回答呼称が音声で入力され、点検情報判別手段１５によって、質問項目呼称と回答が対となって点検情報として判別されると、質問項目が特定され、その質問項目に対応する回答内容によって、回答欄８７−８の表示の色は変更される。

他のデータとの区別を容易にする。特記事項として、緊急事態を知らせるメッセージを記録した場合、故障中で使用できない場合、修理して使用できる状態に復旧した場合など、状況に応じてこの欄の数字の背景色と異なる色で表示してもよい。

特に、前記の実施例５の図１６で説明したように、任意の１台の端末装置７７−１が、点検情報不正検出手段２４によって、点検不正を検出した場合などの特記事項の表示が緊急に変更された場合には、管理者のタブレット型端末装置９１の表示レイアウト９２が変更されると共に、他の端末装置７７−２や端末装置７７−３の特記事項の表示レイアウトも迅速に変更され、その点検不正や異常を他の点検者へ迅速に通知、報告できる。特記事項の異常が解決し、復旧した場合には、復旧した旨が表示される。

また、実施例８として図２２に示すように、点検者のスマートフォンなどの小型画面の端末装置７８を用いて１日に複数回記録した場合、管理者のタブレット型端末装置９１の表示レイアウト１００の点検日時を表示する行１０１の表示も自動的に同期して変更される。つまり、１日に１回点検した日と、１日に複数回点検した日とを一目瞭然に区別できるように表示される。「１１/７（木）」と表示された日付けの行の最初の点検項目は日付を表示し、次の点検の欄は同じ日なので、日付の表示をしないようにし、表示レイアウト変更手段１２によって、点検をする必要がない場合には、回答内容の表示は省略されるように、点検データ表示手段１９の表示を変更する。

１ 点検データ保存システム
２ 音声入力手段
３ 音声データ記憶手段
４ 音声認識手段
５ 声紋データ生成手段
６ 操作入力手段
７ キー入力手段
８ 撮影手段
９ 入力選択手段
１０ 点検者情報設定手段
１１ 点検者情報テーブル群
１１−１、１１−１′ 質問項目呼称テーブル
１１−２、１１−２′ 回答呼称テーブル
１１−３、１１−３′ 呼称声紋テーブル
１１−４、１１−４′ 点検条件テーブル
１２、１２−１〜１２−ｎ 表示レイアウト変更手段
１５ 点検情報判別手段
１６ 声紋認証手段
１７ 点検者本人確認手段
１８ 点検データテーブル
１９、１９−１〜１９−ｎ 点検データ表示手段
２１ 質問項目判別手段
２２ 回答判別手段
２３ 位置情報取得手段
２４ 点検情報不正検出手段
２５ 点検情報不正通知手段
２６ 点検ログテーブル
７６ サーバ装置
７７、７８ 端末装置（点検者用スマートフォン）
９１ 端末装置（管理者用タブレット）
７９ 表示レイアウト（点検者用スマートフォンのレイアウト）
９２ 表示レイアウト（管理者用タブレットのレイアウト）
Ｓ３ 音声認識するステップ
Ｓ５ 質問項目呼称判別ステップ
Ｓ６ 回答呼称判別ステップ
Ｓ７ 点検情報判別ステップ
Ｓ８ 声紋認証ステップ
Ｓ９ 点検者本人認証ステップ
Ｓ１０ 位置情報取得ステップ
Ｓ１１ 点検情報不正検出ステップ
Ｓ１２ 検データ保存ステップ
Ｓ１３ 点検データ最大数検出ステップ
Ｓ１４ 表示レイアウト変更ステップ
Ｓ１５ 点検ログ保存ステップ
Ｓ１６ 点検データ表示ステップ
Ｓ１７ 点検情報不正通知ステップ

Claims (18)

1. 点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称、前記質問項目に対応する点検結果を表現した回答を簡略化して呼称する回答呼称、及び点検者本人の音声から得た声紋情報を予め登録しておく点検者情報テーブル群（１１）と、点検者の音声を入力する音声入力手段（２）と、前記音声入力手段によって入力された音声を音声認識する音声認識手段（４）と、この音声認識手段により得られた情報から、前記質問項目呼称と前記回答呼称との一対を点検情報として検出する点検情報判別手段（１５）と、この点検情報判別手段により一対の点検情報を検出したとき、この点検情報に係る入力された音声と前記点検者情報テーブル群に登録されている声紋情報を照合して本人か否かを認証する声紋認証手段（１６）と、この声紋認証手段により本人と認証したとき、本人の名前を点検日時、前記点検情報に係る質問項目及び回答と共にそれぞれを点検データとして保存する点検データテーブル（１８）とを備えた音声による点検データ保存システム。
2. 前記点検者情報テーブル群（１１）は、点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称を記憶しておく質問項目呼称テーブル（１１−１）と、この点検結果を表現した回答を簡略化して呼称する回答呼称を記憶しておく回答呼称テーブル（１１−２）と、正規の点検者の音声から得た質問呼称及び又は回答呼称の声紋を記憶しておく呼称声紋テーブル（１１−３）と、点検条件を記憶しておく点検条件テーブル（１１−４）とを備えており、さらに、前記音声認識手段から得られた情報に前記質問呼称テーブルに記憶されている呼称が含まれるか否かを判別し、どの質問項目かを特定する質問項目判別手段（２１）と、前記音声認識手段から得られた情報に前記回答呼称テーブルに記憶されている呼称が含まれるか否かを判別し、回答内容を特定する回答判別手段（２２）とを備えていることを特徴とする請求項１記載の音声による点検データ保存システム。
3. 前記点検情報判別手段（１５）は、前記質問項目判別手段の出力と前記回答判別手段の出力とから、質問項目とその質問項目に対応する一対の回答であると判別したとき、当該質問項目と回答が複数の質問項目と回答の中から選択され特定されることを特徴とする請求項１又は請求項２記載の点検データ保存システム。
4. 点検者本人確認手段（１７）を備え、連続的に入力された音声が音声認識手段により音声認識され、前記点検情報判別手段により点検情報が複数対判別され、且つそれぞれについて前記声紋認証手段により点検者本人と認証されたとき、前記点検者本人確認手段により前記複数の点検情報をまとめて、前記点検データテーブルに記憶することを特徴とする請求項１乃至請求項３記載の音声による点検データ保存システム。
5. 位置情報取得手段（２３）と、点検情報不正検出手段（２４）と、点検情報不正通知手段（２５）とを備え、点検条件を記憶しておく点検条件テーブル（１１−４）は、位置制限情報、時間制限情報を記憶しており、前記点検情報不正検出手段が、前記質問項目判別手段によって検出した質問項目がそれ以前に記帳した点検情報の質問項目と重複するとき、前記点検者本人確認手段が点検者本人でないと判別したとき、前記位置情報取得手段によって取得された位置情報が前記位置制限情報で規定された正規の位置情報以外のとき、前記時間制限情報で規定された制限時間以外のとき、前記点検情報不正検出手段が回答情報の不正を検出したとき、これらのいずれかに該当して不正と検出された場合に、前記点検情報不正通知手段が不正であることを示す情報を前記点検情報と共に点検ログデータとして点検ログテーブルに記憶することを特徴とする請求項１乃至請求項４記載の音声による点検データ保存システム。
6. サーバ装置（７６）は、複数の点検すべき事項を表現した質問項目を簡略化して呼称する質問項目呼称を記憶する質問項目呼称テーブル（１１−１）と、
   前記質問項目に対応する点検結果を表現した回答を簡略化して呼称する回答呼称を記憶する回答呼称テーブル（１１−２）と、点検者本人の音声から得た声紋情報を予め記憶する呼称声紋テーブル（１１−３）と、端末装置から送られてくる声紋認証スコア情報を基に本人か否かの認証をする点検者本人確認手段（１７）と、端末装置から送られてくる情報を基に、少なくとも質問項目情報、点検日時、点検情報、声紋認証スコアおよび点検者名を記録する前記点検データテーブル（１８-２）とを備えており、
   端末装置（７７）は、点検者の音声を入力する音声入力手段（２）と、音声入力手段から連続して入力された音声を音声認識する音声認識手段（４）と、前記音声認識手段による音声認識情報に基づいて、いずれの質問項目に関する音声入力かを判別する質問項目判別手段（２１）と、この特定された質問項目について、前記音声認識手段によって音声認識された回答情報に基づいて回答有無を判別する回答判別手段（２２）と、点検情報として質問項目情報とその回答情報との対を判別する点検情報判別手段（１５）と、前記音声入力手段によって得られた音声と予め登録されている声紋情報とを照合する声紋認証手段（１６）と、前記サーバ装置の点検データテーブルと同期して記憶されている複数の質問項目、回答情報、点検日、点検者名、点検情報不正検出結果を表示する点検データ表示手段（１９）とを備えている音声による点検データ保存システム。
7. 前記端末装置（７７）は、当該端末装置の位置情報を取得する位置情報取得手段（２３）を備え、前記点検者本人確認手段により本人と認証されたとき、前記位置情報取得手段によって取得した位置情報を点検データと共にサーバ装置に送信することを特徴とする請求項６記載の音声による点検データ保存システム。
8. 前記サーバ装置は、位置制限情報及び時間制限情報を点検条件として予め登録し記憶する点検条件テーブル（１１−４）と、この登録された点検条件と端末装置から送信された位置情報及び時間情報とを比較し、端末装置が点検場所として登録されている位置から点検データを送信しようとしているか否か、及び前記時間制限情報以内の時間に点検データを送信しようとしているか否かを判別し、端末装置の存在位置、使用時間に不正であることを検出する点検情報不正検出手段（２４）とを備え、検出した不正内容を点検ログとして点検ログテーブル（２６）に記憶することを特徴とする請求項６乃至請求項７記載の音声による点検データ保存システム。
9. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、回答欄の表示を回答内容に相応した色彩にし、異常のときの色彩と異ならせて、前記点検データ表示手段（１９）が表示することを特徴とする請求項６乃至請求項８記載の音声による点検データ保存システム。
10. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、質問項目名を表示する欄、点検した結果の回答内容を表示する欄、点検日、回答内容が正常の数と割合を表示する欄、回答内容が異常の数と割合を表示する欄を、前記点検データ表示手段（１９）が表示することを特徴とする請求項６乃至請求項９記載の音声による点検データ保存システム。
11. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、複数の質問項目、回答情報、点検日、点検異常検出結果と共に、質問項目に対応する回答情報に音声認識された数値データを含む場合、数値データをグラフ化して前記点検データ表示手段（１９）が表示することを特徴とする請求項６乃至請求項１０記載の音声による点検データ保存システム。
12. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、質問項目に対応する回答情報に音声認識された数値データを含む場合、数値データをグラフ化して表示する領域を有し、質問項目の対象機器が故障して数値データを計測することができないとき、点検項目が数値であるにも関わらず数値以外の文字を表示し、該当機器の計測した数値のグラフを前記点検データ表示手段（１９）が表示しないことを特徴とする請求項６乃至請求項
    １１記載の音声による点検データ保存システム。
13. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、点検を１日に複数回実施する場合にいずれかの質問項目に回答する内容を設定すると、点検日の隣に点検時間毎の点検データを表示できる欄と、点検回数を増やすことのできるボタンとを、前記点検データ表示手段（１９）が表示することを特徴とする請求項６乃至請求項１２記載の音声による点検データ保存システム。
14. 表示レイアウトを変更する表示レイアウト変更手段（１２）を備え、点検を１日に複数回記録する必要がある日は最初の点検は日付を表示し、他の点検については日付の表示をしないようにし、点検をする必要がない場合には、回答内容の表示は省略されるように、前記点検データ表示手段（１９）が表示することを特徴とする請求項６乃至請求項１４記載の音声による点検データ保存システム。
15. 前記サーバ装置は、端末利用状況を記憶する端末利用状況テーブル（１８−１）と、各端末装置の点検データ表示を同期させる点検データ同期手段（１３）と、表示レイアウトを変更する表示レイアウト変更手段（１２）とを備え、任意の一つの端末装置が表示レイアウト変更手段により表示レイアウトを変更したとき、サーバ装置は、前記端末利用状況テーブルの情報を受け、前記点検データ同期手段により他の端末装置が異なる表示レイアウトを表示していることを検出した場合、サーバ装置の表示レイアウト変更手段により他の端末表示手段の表示レイアウト変更手段へ信号を送出して他の端末装置の表示レイアウトを変更し同期させることを特徴とする請求項６乃至請求項１５記載の音声による点検データ保存システム。
16. 点検すべき質問項目を簡略化する質問項目呼称、質問項目についての回答を簡略化する回答呼称、点検者本人の音声から得た声紋情報を予め登録しておき、点検時に、入力された音声を音声認識し、得られた音声認識情報から前記質問項目呼称と前記回答呼称との対を点検情報として検出したとき、前記点検時に入力された音声と予め登録されている前記声紋情報を照合して本人か否かの認証をし、本人と認証したとき本人の名前を、点検日時、前記点検情報に係る質問項目及び回答と共に点検データとして保存することを特徴とする音声による点検データ保存方法。
17. 点検すべき質問項目が複数存在し、得られた音声認識情報から前記質問項目呼称と前記回答呼称との対を点検情報として検出したとき、検出された点検情報に係る質問項目が、複数の質問項目の中から選定され特定されたものとして、予め登録されている前記声紋情報と照合して本人か否かを認証し、本人と認証したとき本人の名前を、点検日時、前記点検情報に係る特定された質問項目及び回答と共に複数の点検データとしてまとめて保存することを特徴とする請求項１６記載の音声による点検データ保存方法。
18. 点検すべき質問項目を簡略化する質問項目呼称、質問項目に対応する回答を簡略化する回答呼称、点検者本人の音声から得た声紋情報を予め登録しておくステップと、音声入力手段から連続して入力された音声を音声認識するステップ（S３）と、得られた音声認識情報から質問項目呼称及び回答呼称を判別するステップ（S５、S６）と、質問項目呼称情報と質問項目呼称に対応する回答呼称との対を点検情報として判別するステップ（S７）と、予め登録された前記声紋情報と点検時に点検者によって前記音声入力手段から連続して入力された音声とを照合し声紋認証するステップ（S８）と、この声紋認証に基づいて正規の点検者本人であるか否かの点検者本人認証するステップ（S９）と、本人と確認したとき、当該質問項目、回答、及び点検者名を対応づけて点検データとして記憶するステップ（S１２）と、記憶した点検データを表示するステップ（S１６）とを備えた音声による点検データ保存プログラム。

Images