JP2021117430A - 発言内容表示装置、発言内容表示システム、発言内容表示方法、及び発言内容表示プログラム - Google Patents

Abstract

【課題】危険予知活動において、文字で示した危険のポイントと危険に対する対応策を効率よく作業員に再確認させる。【解決手段】発言内容表示装置１は、話者の発言によって生じる音を収音して出力信号に変換するマイクロフォン２と、出力信号に対して音声認識処理を行って文字情報を生成する音声処理部１０と、予め定められるキーワードに関連するキーワード文字情報の文字情報における位置を検出するキーワード検出部１２と、キーワード文字情報の位置に基づいて文字情報から表示文字情報を検出する表示文字情報検出部１４と、表示文字情報を表示手段に表示する表示処理部１６と、を備える。【選択図】図１

Description

本発明は、発言内容表示装置、発言内容表示システム、発言内容表示方法、及び発言内容表示プログラムに関する。

作業現場においては、作業する当日の朝礼後に、同じ作業を行う作業員が集まり、危険個所を再確認するために、危険予知活動（以下、ＫＹ活動）を実施する。ＫＹ活動では、その日の作業における危険の発生が予測される箇所（以下、「危険のポイント」という）と、その危険に対する対応策を、作業員が発言し、発言した内容を図６に示すような危険予知活動表２００が描かれた掲示板に記載する。そして、作業員全員が、危険予知活動表２００に記載された文字を参照して再確認を行うという手順で進められる。

例えば、図６に示す危険予知活動表２００では、「危険のポイント」の項目に「床置きしたものにつまずいて転倒」、危険に対する対応策を示す「私たちはこうする」の項目に「両手に荷物を持たない」が記載された例を示している。

作業現場では、作業の進捗に応じて日々、作業の内容が変わり、それに伴い危険のポイントや、その危険に対する対応策も変わることになる。そのため、ＫＹ活動を日々繰り返すことは、作業員の危険への認識を高めることができるので、非常に重要である。

特開２０１０−１０８１３９号公報

上述したように、ＫＹ活動では、作業員の発言内容に基づいて、危険予知活動表２００に危険のポイントと危険に対する対応策を手書きで記載する。そのため、記載に時間がかかり、また、同じ内容を繰り返し記載することもあるため、効率が悪く、生産性も低くなる。

例えば、特許文献１には、上記のような作業現場における朝礼を効率よく実施するシステムが開示されており、マイクロフォンを用いて発言者の音声を収音し、収音した音声の信号を記録し、記録した音声の信号を再生装置に配信する技術が開示されている。

しかしながら、特許文献１の技術では、音声信号を再生装置に配信するだけであり、ＫＹ活動のように危険予知活動表２００に危険のポイントと危険に対する対応策を文字として示して作業員に再確認を促すことができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、ＫＹ活動において、文字で示した危険のポイントと危険に対する対応策を効率よく作業員に再確認させることができる発言内容表示装置、発言内容表示システム、発言内容表示方法、及び発言内容表示プログラムを提供することにある。

上記問題を解決するために、本発明の一態様は、話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する音声処理部と、予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出するキーワード検出部と、前記キーワード検出部が検出する前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する表示文字情報検出部と、前記表示文字情報検出部が検出する前記表示文字情報を表示手段に表示する表示処理部と、を備える発言内容表示装置である。

また、本発明の一態様は、上記に記載の発明において、前記音声処理部は、前記マイクロフォンが出力する信号の特徴に基づいて前記話者ごとの前記信号を特定する話者信号特定部と、前記話者信号特定部が特定する前記信号に対して前記音声認識処理を行って前記話者ごとに文字情報を生成する文字情報生成部と、を備えるようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記文字情報の言語を特定し、特定した言語から予め定められる言語に前記文字情報を翻訳する翻訳処理部を備え、前記キーワード検出部は、前記翻訳処理部が翻訳した前記文字情報から前記キーワード文字情報を検出するようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、言語指定情報を含む要求信号を受信し、前記表示文字情報検出部が検出する前記表示文字情報を前記要求信号の前記言語指定情報が示す言語に翻訳し、翻訳した前記表示文字情報を出力する出力処理部を備えるようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記話者は、予め定められる作業を行う作業員であり、前記キーワードは、少なくとも作業現場における作業当日の危険のポイントに関する前記作業員の発言の開始を示す第１キーワードと、当該危険に対する対応策に関する前記作業員の発言の開始を示す第２キーワードを含んでおり、前記キーワード検出部は、前記第１キーワードに関連する第１キーワード文字情報の前記文字情報における位置を検出し、更に、前記第２キーワードに関連する第２キーワード文字情報の前記文字情報における位置を検出し、前記表示文字情報検出部は、前記キーワード検出部が検出する前記第１キーワード文字情報の位置に基づいて、前記文字情報から第１表示文字情報を検出し、更に、前記キーワード検出部が検出する前記第２キーワード文字情報の位置に基づいて、前記文字情報から第２表示文字情報を検出し、前記表示処理部は、前記表示文字情報検出部が検出する前記第１及び第２表示文字情報を前記表示手段に表示するようにしてもよい。

また、本発明の一態様は、話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンと、画像信号に基づく画像を画面に表示する表示装置と、前記話者の発言内容を文字で表示する画像信号を生成する発言内容表示装置と、を備える発言内容表示システムであって、前記発言内容表示システムは、前記マイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する音声処理部と、予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出するキーワード検出部と、前記キーワード検出部が検出する前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する表示文字情報検出部と、前記表示文字情報検出部が検出する前記表示文字情報を含む画像から前記画像信号を生成し、生成した前記画像信号を前記表示装置に出力する表示処理部と、を備える発言内容表示システムである。

また、本発明の一態様は、話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成し、予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出し、検出した前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出し、検出した前記表示文字情報を表示手段に表示する発言内容表示方法である。

また、本発明の一態様は、コンピュータに、話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する手順、予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出する手順、検出した前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する手順、検出した前記表示文字情報を表示手段に表示する手順を実行させるための発言内容表示プログラムである。

この発明によれば、ＫＹ活動において、文字で示した危険のポイントと危険に対する対応策を効率よく作業員に再確認させることができる。

本発明の実施形態による発言内容表示システムの構成を示すブロック図である。 同実施形態のキーワード記憶部が記憶するキーワードテーブルの構成を示す図である。 同実施形態の記憶部が記憶する発言内容記録テーブルの構成を示す図である。 同実施形態の発言内容表示装置による処理の流れを示すフローチャートである。 同実施形態の発言内容表示装置の出力処理部による処理の流れを示すフローチャートである。 ＫＹ活動で用いられる危険予知活動表を示す図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態による発言内容表示システムＳの構成を示すブロック図である。発言内容表示システムＳは、発言内容表示装置１、マイクロフォン２、表示装置３、及び携帯端末装置４を備える。

また、図１では、朝礼後にＫＹ活動を行う複数の作業員３０−１，３０−２，…を示している。なお、図１では、一例として、６人の作業員３０−１〜３０−６を示しているが、人数は、６人に限られず、何人であってもよい。作業員３０−１，３０−２，…は、一人ずつ、または、複数人が一斉に、危険のポイントと、その危険に対する対応策を示す発言をＫＹ活動において行う。発言内容は、例えば、「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」といったような内容である。また、複数人が一斉に発言する場合、同一の内容を発言するものとする。

マイクロフォン２は、発言内容表示装置１に接続されており、複数の作業員３０−１，３０−２，…が朝礼後のＫＹ活動を行う付近に設置される。マイクロフォン２は、作業員３０−１，３０−２，…が発言することによって生じる音を収音し、収音した音を電気的な信号に変換して発言内容表示装置１に出力する。

表示装置３は、例えば、液晶ディスプレイ等の表示手段であり、発言内容表示装置１に接続され、発言内容表示装置１が出力する画像信号を受け、画像信号に基づいて画像を画面に表示する。

携帯端末装置４は、例えば、作業員３０−１，３０−２，…に携帯されるスマートフォン等であり、発言内容表示装置１と無線通信ネットワークを介して接続され、発言内容表示装置１との間で情報の送受信を行う。なお、図１では、一例として、作業員３０−６が携帯端末装置４を携帯している状態を示しているが、作業員３０−１，３０−２，…の各々が、それぞれの携帯端末装置４を携帯するようにしてもよい。

発言内容表示装置１は、音声処理部１０、翻訳処理部１１、キーワード検出部１２、キーワード記憶部１３、表示文字情報検出部１４、記憶部１５、表示処理部１６、及び出力処理部１７を備える。

音声処理部１０は、マイクロフォン２が出力する信号に対して音声認識処理を行い、当該信号に含まれている音声から文字情報を生成する。音声処理部１０は、話者信号特定部１０１と文字情報生成部１０２を備える。

話者信号特定部１０１は、マイクロフォン２が出力する信号の特徴に基づいて当該信号の中から話者ごとの信号を特定し、特定した話者ごとの信号を分離して出力する。ここで、話者の信号の特徴とは、例えば、声紋などである。話者信号特定部１０１による信号の特徴に基づいて話者ごとの信号を特定する手法として、様々な手法を適用することができる。例えば、人工知能技術によって予め何人かの話者の信号の特徴を示す信号のパターンを学習させておく。そして、学習済みデータを利用して話者ごとの信号の特定を行うといった手法などを適用することができる。

文字情報生成部１０２は、話者信号特定部１０１が特定した話者ごとの信号に対して音声認識処理を行い、話者ごとの信号に含まれる音声から文字情報を生成する。なお、文字情報生成部１０２が行う音声認識処理は、多言語についての音声認識処理であるものとする。

翻訳処理部１１は、文字情報生成部１０２が生成した文字情報の言語を特定し、特定した言語から予め定められる言語に文字情報を翻訳する。キーワード記憶部１３は、図２に示すキーワードテーブル２１を予め記憶する。キーワードテーブル２１は、「キーワード」の項目を有しており、当該項目には、例えば、「作業内容」、「危険のポイント」、「私たちはこうする」といったキーワードが予め書き込まれる。

キーワード検出部１２は、キーワード記憶部１３が記憶するキーワードテーブル２１のキーワードを参照し、キーワードごとに翻訳処理部１１が出力する文字情報における当該キーワードに関連するキーワード文字情報の位置を検出する。

ここで、キーワード文字情報とは、キーワードテーブル２１のキーワードに完全一致する文字情報である他に、完全一致はしていないがキーワードに類似する文字情報であってもよい。完全一致はしていない例として、例えば、キーワードが「危険のポイント」であれば、「の」を除いた「危険ポイント」などの「危険のポイント」と意味が一致する文字情報であってもよい。

表示文字情報検出部１４は、キーワード検出部１２が検出したキーワード文字情報の位置に基づいて、翻訳処理部１１が出力する文字情報から表示文字情報を検出する。また、表示文字情報検出部１４は、キーワードごとに検出した話者ごとの表示文字情報の中からいずれか１つを選択する。また、表示文字情報検出部１４は、選択した表示文字情報に対応するキーワードに基づいて、記憶部１５に対して検出した表示文字情報を書き込んで記憶させる。

記憶部１５は、図３に示す発言内容記録テーブル２２を記憶する。発言内容記録テーブル２２は、「危険予知ＩＤ(IDentification)」、「作業内容」、「危険のポイント」、「重篤度Ｂ」、「重篤度Ａ」、「可能性Ｂ」、「可能性Ａ」、「私たちはこうする」、「重み」の項目を有する。

「危険予知ＩＤ」の項目には、表示文字情報検出部１４が表示文字情報を発言内容記録テーブル２２に書き込む際に生成する危険予知ＩＤが書き込まれる。表示文字情報検出部１４は、危険予知ＩＤとして、例えば、「１」から順に１ずつ増える番号を生成する。

「作業内容」、「危険のポイント」、「私たちはこうする」の項目は、キーワードテーブル２１が記憶するキーワードに対応して設けられる項目である。表示文字情報検出部１４は、検出した表示文字情報に対応するキーワードの項目に、検出した表示文字情報を書き込んで記憶させる。

「重篤度Ｂ」、「重篤度Ａ」、「可能性Ｂ」、「可能性Ａ」、「重み」の項目は、発言内容記録テーブル２２が記憶するレコードの特徴や種類などを示す情報である。例えば、発言内容表示装置１の管理者が、レコード生成後に、発言内容表示装置１に接続する入力装置などを操作することにより、これらの項目に情報が書き込まれる。

表示処理部１６は、記憶部１５の発言内容記録テーブル２２が記憶する情報を読み出し、読み出した情報を、例えば、表形式で示した画像信号を生成する。表示処理部１６は、生成した画像信号を表示装置３に出力する。

出力処理部１７は、アンテナを有しており、携帯端末装置４が送信する要求信号を無線通信ネットワークを介して受信する。出力処理部１７は、要求信号を受信すると記憶部１５の発言内容記録テーブル２２が記憶する情報を読み出す。出力処理部１７は、読み出した情報に含まれる文字情報を、受信した要求信号に含まれる言語指定情報が示す言語に翻訳する。出力処理部１７は、言語指定情報が示す言語で表された情報を無線通信ネットワークを介して要求信号の送信元の携帯端末装置４に送信する。

（発言内容表示装置による処理）
図４は、発言内容表示装置１による処理の流れを示すフローチャートである。同じ作業を行う作業員３０−１，３０−２，…が、朝礼後に、マイクロフォン２の付近に集まり、ＫＹ活動を開始する。ＫＹ活動において、作業員３０−１，３０−２，…の全員、または、一部の人が、一斉に、「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」という発言を行ったとする。

マイクロフォン２は、発言によって生じた音を収音し、収音した音を電気的な信号に変換して発言内容表示装置１に出力する。発言内容表示装置１の音声処理部１０の話者信号特定部１０１は、マイクロフォン２が出力する信号を取り込む（ステップＳａ１）。

話者信号特定部１０１は、取り込んだ信号の特徴から話者ごとの信号を特定する（ステップＳａ２）。話者信号特定部１０１は、信号から話者ごとの信号を分離し、話者ごとの信号を順次、文字情報生成部１０２に出力する。

文字情報生成部１０２は、話者信号特定部１０１が出力する全ての話者ごとの信号に対して音声認識処理を行い、当該信号に含まれる音声から話者ごとの文字情報を生成する。文字情報生成部１０２は、生成した話者ごとの文字情報を順次、翻訳処理部１１に出力する（ステップＳａ３）。

翻訳処理部１１は、文字情報生成部１０２が順次出力する話者ごとの文字情報からいずれか１つの話者の文字情報を選択し、選択した文字情報の言語を特定する（ステップＳａ４）。ここで、翻訳処理部１１において、予め定められる言語が「日本語」であるとする。この場合、翻訳処理部１１は、特定した言語が日本語であるか否かを判定する（ステップＳａ５）。

翻訳処理部１１は、特定した言語が日本語でないと判定した場合（ステップＳａ５、Ｎｏ）、文字情報生成部１０２が生成した文字情報を日本語に翻訳し、日本語に翻訳した文字情報をキーワード検出部１２と表示文字情報検出部１４に出力する（ステップＳａ６）。一方、翻訳処理部１１は、特定した言語が日本語である場合（ステップＳａ５、Ｙｅｓ）、文字情報生成部１０２から受けた文字情報をそのままキーワード検出部１２と表示文字情報検出部１４に出力する。

翻訳処理部１１は、全ての話者の文字情報について処理が終了したか否かを判定する（ステップＳａ７）。翻訳処理部１１は、全ての話者の文字情報について処理を終了していないと判定した場合（ステップＳａ７、Ｎｏ）、処理対象としていない話者の文字情報についてステップＳａ４〜Ｓａ６の処理を行う。

一方、翻訳処理部１１が、全ての話者の文字情報について処理を終了したと判定した場合（ステップＳａ７、Ｙｅｓ）、キーワード検出部１２は、キーワード記憶部１３のキーワードテーブル２１が記憶するキーワードを全て読み出す。

キーワード検出部１２は、読み出したキーワードの中からいずれか１つのキーワードを選択する。キーワード検出部１２は、翻訳処理部１１が出力する文字情報から選択したキーワードに関連するキーワード文字情報の位置を検出し、検出した位置の情報と、キーワードの情報とを表示文字情報検出部１４に出力する（ステップＳａ８）。

例えば、文字情報が、上記したように「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」であるとする。また、キーワード検出部１２がキーワードとして「私たちはこうする」を選択したとする。この場合、キーワード検出部１２は、キーワード文字情報の「私たちはこうする」の文字情報における位置を検出する。

表示文字情報検出部１４は、翻訳処理部１１が出力する文字情報と、キーワード検出部１２が出力する位置の情報及びキーワードの情報とを取り込む。表示文字情報検出部１４は、取り込んだ位置の情報及びキーワードの情報との組み合わせからいずれか１つの組み合わせを選択する。

表示文字情報検出部１４は、選択した位置の情報に基づいて、選択した文字情報から表示文字情報を検出する。例えば、発言内容が、上記した「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」であって、キーワードが「私たちはこうする」である場合、表示文字情報検出部１４は、キーワードの直後の文節である「段差に注意する」を表示文字情報として検出する。

表示文字情報検出部１４は、読み出した全てのキーワードについて表示文字情報の検出を終了したか否かを判定する（ステップＳａ１０）。表示文字情報検出部１４は、読み出した全てのキーワードについて表示文字情報の検出を終了していないと判定した場合（ステップＳａ１０、Ｎｏ）、処理対象としていないキーワードについてステップＳａ８〜Ｓａ９の処理を行う。

一方、表示文字情報検出部１４は、読み出した全てのキーワードについて表示文字情報の検出を終了したと判定した場合（ステップＳａ１０、Ｙｅｓ）、各キーワードに関連付けて検出した表示文字情報を内部の記憶領域に書き込んで記憶させる（ステップＳａ１１）。

例えば、表示文字情報検出部１４が、キーワード「作業内容」について、表示文字情報「一般」を検出し、キーワード「危険のポイント」について、表示文字情報「段差につまずく」を検出し、キーワード「私たちはこうする」について、表示文字情報「段差に注意表示する」を検出したとする。この場合、表示文字情報検出部１４はキーワード「作業内容」に検出した表示文字情報「一般」を関連付け、キーワード「危険のポイント」に検出した表示文字情報「段差につまずく」を関連付け、キーワード「私たちはこうする」に検出した「段差に注意表示する」を関連付けて内部の記憶領域に書き込んで記憶させる。

表示文字情報検出部１４は、取り込んだ全ての話者の文字情報について処理を終了したか否かを判定する（ステップＳａ１２）。表示文字情報検出部１４は、取り込んだ全ての話者の文字情報について処理を終了していないと判定した場合（ステップＳａ１２、Ｎｏ）、処理対象としていない話者の文字情報についてステップＳａ８からステップＳａ１１の処理を行う。

表示文字情報検出部１４が、取り込んだ全ての話者の文字情報について処理を終了したと判定した場合（ステップＳａ１２、Ｙｅｓ）、内部の記憶領域が記憶する各キーワードに関連付けられている表示文字情報の中から、キーワードごとにいずれか１つの表示文字情報を選択する。ここで、いずれか１つの表示文字情報を選択する理由は、作業員３０−１〜３０−６の全員、または、一部の人が発言している内容が同一であり、ある１つのキーワードに関連付けられている表示文字情報が重複している可能性があるためである。

表示文字情報検出部１４がいずれか１つの表示文字情報を選択する手法としては、例えば、以下のような手法がある。すなわち、表示文字情報検出部１４は、１つのキーワードに関連付けられている複数の表示文字情報について、表示文字情報の内容ごとのヒストグラムを生成する。

例えば、キーワード「私たちはこうする」について、正しい発言内容の表示文字情報「段差に注意表示する」が３つ関連付けられており、誤った発言内容の表示文字情報「注意表示する」が２つ関連付けられており、音声認識処理が成功しておらず途中で文章が切れている表示文字情報「段差に・する」が１つ関連付けられているとする。この場合、表示文字情報検出部１４は、生成したヒストグラムにおいて度数が最も大きい表示文字情報「段差に注意する」を選択する。

表示文字情報検出部１４は、キーワードごとに選択した表示文字情報を発言内容記録テーブル２２に書き込む。すなわち、表示文字情報検出部１４は、発言内容記録テーブル２２に新たなレコードを生成し、新たな危険予知ＩＤを生成する。表示文字情報検出部１４は、生成したレコードの「危険予知ＩＤ」に生成した危険予知ＩＤを書き込み、各キーワードに対応する項目に、各々について選択した表示文字情報を書き込む（ステップＳａ１３）。例えば、表示文字情報検出部１４は、「作業内容」の項目に、表示文字情報「一般」を書き込み、「危険のポイント」の項目に、表示文字情報「段差につまずく」を書き込み、「私たちはこうする」の項目に、表示文字情報「段差に注意表示する」を書き込む。

表示処理部１６は、記憶部１５の発言内容記録テーブル２２から情報を読み出し、例えば、表形式で示した画面を表示する画像信号を生成する。表示処理部１６は、生成した画像信号を表示装置３に出力する（ステップＳａ１４）。ここで、表形式とは、例えば、図３に示す発言内容記録テーブル２２のような構成の表であってもよいし、図６に示した危険予知活動表２００のような表形式であってもよい。危険予知活動表２００のような表形式の場合、表示処理部１６は、発言内容記録テーブル２２から表示に必要な情報のみを選択して読み出すことになる。なお、日付に関する情報は、発言内容表示装置１が内部に備える時計などの計時手段から表示処理部１６が取得して表示するようにしてもよい。また、「本日の安全目標」、「会社名」、「リーダ名」、「作業員」の項目に表示する情報については、これらの情報を記憶部１５に予め記憶させておき、表示処理部１６が、記憶されている情報を取得して表示するようにしてもよい。

表示装置３は、表示処理部１６から受けた画像信号にしたがって画像を画面に表示する。

上記の実施形態の構成において、発言内容表示装置１の音声処理部１０は、話者である作業員３０−１〜３０−６の発言によって生じる音を収音し、収音した音を信号に変換して出力するマイクロフォン２が出力する信号に対して音声認識処理を行って文字情報を生成する。キーワード検出部１２は、予め定められるキーワードに関連するキーワード文字情報の文字情報における位置を検出する。表示文字情報検出部１４は、キーワード検出部１２が検出するキーワード文字情報の位置に基づいて、文字情報から表示文字情報を検出する。表示処理部１６は、表示文字情報検出部１４が検出する表示文字情報を表示装置３の画面に表示する。これにより、作業員３０−１〜３０−６がＫＹ活動において発言した内容が、表示装置３の画面に文字で表示されることになり、文字で示した危険のポイントと危険に対する対応策を効率よく作業員３０−１〜３０−６に再確認させることができることになる。

また、発言内容表示装置１では、翻訳処理部１１が、発言内容の文字情報を日本語に翻訳する。そのため、例えば、作業員３０−１〜３０−６の一部の人が日本語を発言することができない外国人であり、その作業員３０−１〜３０−６が、外国語で発言したとしても、表示装置３には日本語で発言内容を表示することができる。そのため、他の作業員３０−１〜３０−６は、外国人の作業員３０−１〜３０−６が発言した内容を表示装置３に表示される文字を参照して理解することができる。

（発言内容表示装置の出力処理部による処理）
例えば、図１に示すように作業員３０−６が、自らが携帯する携帯端末装置４を操作し、携帯端末装置４が言語指定情報を含む要求信号を無線通信ネットワークを介して発言内容表示装置１に送信する。発言内容表示装置１の出力処理部１７は、無線通信ネットワークを介して要求信号を受信する（ステップＳｂ１）。

出力処理部１７は、要求信号を受信すると、記憶部１５の発言内容記録テーブル２２から情報を読み出す（ステップＳｂ２）。ここで、出力処理部１７が発言内容記録テーブル２２から読み出す情報は、発言内容記録テーブル２２の全ての情報であってもよいし、直前に記録されたキーワードの項目名及び当該項目に含まれる文字情報のみといった一部の情報であってもよい。

出力処理部１７は、要求信号に含まれている言語指定情報を読み出す（ステップＳｂ３）。出力処理部１７は、読み出した言語指定情報が、日本語であるか否かを判定する（ステップＳｂ４）。

出力処理部１７は、読み出した言語指定情報が、日本語でないと判定した場合、発言内容記録テーブル２２から読み出した情報に含まれる文字情報を言語指定情報が示す言語に翻訳する（ステップＳｂ５）。

出力処理部１７は、読み出した言語指定情報が、日本語であると判定した場合（ステップＳｂ４、Ｙｅｓ）、読み出した情報をそのまま要求信号の送信元の携帯端末装置４に無線通信ネットワークを介して送信する。また、出力処理部１７は、ステップＳｂ５の処理を行っている場合、翻訳した情報を要求信号の送信元の携帯端末装置４に無線通信ネットワークを介して送信する（ステップＳｂ６）。

携帯端末装置４は、出力処理部１７が送信した情報を無線通信ネットワークを介して受信すると、受信した情報を携帯端末装置４の画面に表示する。

上記の通り、ＫＹ活動を行うと、表示装置３には、日本語で「危険のポイント」の項目の内容や「私たちはこうする」の項目の内容などが表示されることになる。これに対して、携帯端末装置４の画面には、言語指定情報により指定した言語で、「危険のポイント」の項目の内容や「私たちはこうする」の項目の内容などが表示されることになる。そのため、作業員３０−６が、日本語で記載された文章を理解することができない外国人である場合、作業員３０−６は、携帯端末装置４の画面を参照して、「危険のポイント」の項目の内容や「私たちはこうする」の項目の内容などを理解できる言語で参照することが可能になる。

なお、上記の実施形態の構成において、ＫＹ活動において作業員３０−１〜３０−６のいずれか１人しか発言しないのであれば、話者信号特定部１０１の構成を備えないようにしてもよい。この場合、文字情報生成部１０２が、マイクロフォン２が出力する信号を取り込み、取り込んだ信号に対して音声認識処理を行うことになる。

また、上記の実施形態の構成では、作業員３０−１〜３０−６が、「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」という同じ内容を一斉に発言するとしているが、発言する内容は任意に選択してもよい。例えば、「今日の作業内容、一般」という内容は発言せず、「危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」という内容を発言するようにしてもよい。この場合、表示文字情報検出部１４は、キーワード「作業内容」について表示文字情報を検出できないことになる。発言内容記録テーブル２２の「作業内容」の項目については、発言内容表示装置１の管理者が、レコード生成後に、発言内容表示装置１に接続する入力装置などを操作して情報を書き込むといったことを行うようにしてもよい。

また、上記の実施形態の構成では、例えば、図３に示す発言内容記録テーブル２２のような構成の表や、図３に示す発言内容記録テーブル２２のような構成の表の表形式で表示装置３の画面に表示するとしているが、表形式に限られず、「段差につまずく」や「段差に注意する」などの表示文字情報のみを画面に表示するようにしてもよい。この場合、「段差につまずく」が「危険のポイント」であること、及び「段差に注意する」が「私たちはこうする」の項目に対応することを示す項目名が記述された補助掲示板（ステッカーや紙面等）を、表示装置３の周囲に設置（あるいは貼付）するようにしてもよい。

また、上記の実施形態の構成では、作業員３０−１〜３０−６が、「今日の作業内容、一般、危険のポイント、段差につまずく、私たちはこうする、段差に注意表示する。」という同じ内容を一斉に発言するとしているが、例えば、以下のような発言をするようにしてもよい。例えば、１人の作業員３０−１が「今日の作業内容」と発言し、残りの作業員３０−２〜３０−６が、「一般」と一斉に発言する。続いて、作業員３０−１が「危険のポイント」と発言し、残りの作業員３０−２〜３０−６が、「段差につまずく」と一斉に発言する。続いて、作業員３０−１が「私たちはこうする」と発言し、残りの作業員３０−２〜３０−６が、「段差に注意表示する」と一斉に発言する。

このような発言が行われる場合、キーワードごとに表示文字情報を検出するためには、作業員３０−１の文字情報と、他の作業員３０−２〜３０−６の文字情報とを文節ごとに時系列で統合して１つの文章にする必要がある。時系列で統合を行うためには、例えば、文字情報生成部１０２は、音声認識処理により文字情報を生成する際、時系列を示す情報を含めて文字情報を生成する。

翻訳処理部１１は、ステップＳａ７の判定処理において、Ｙｅｓの判定をした後で、作業員３０−２〜３０−６の文字情報の各々に対して、作業員３０−１の文字情報を時系列順に挿入し、作業員３０−２〜３０−６の文字情報を新たに生成する。この場合、キーワード検出部１２、及び表示文字情報検出部１４は、作業員３０−１の文字情報については処理を行わず、作業員３０−２〜３０−６の文字情報について処理を行うことになる。

また、上記の実施形態の構成では、作業員３０−１〜３０−６のいずれかが日本語で発言することができない外国人であることを前提とし、翻訳処理部１１を備えるようにしているが、作業員３０−１〜３０−６の全員が日本語で発言することができるのであれば、翻訳処理部１１を備えない構成としてもよい。この場合、図４に示す処理において、ステップＳａ４からステップＳａ７の処理が行われず、ステップＳａ３の後、ステップＳａ８の処理が行われることになる。

また、上記の実施形態の構成では、表示文字情報検出部１４がいずれか１つの表示文字情報を選択する手法として、ヒストグラムを生成する手法を示したが、本発明の構成は、当該実施の形態に限られるものではない。例えば、発言内容記録テーブル２２に既に記録されている「作業内容」、「危険のポイント」、「私たちはこうする」の項目に記録されている文字情報に一致するか、類似する文字情報を、表示文字情報検出部１４が、検出した表示文字情報の中から選択するようにしてもよい。

上述した実施形態における発言内容表示装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 発言内容表示装置、２ マイクロフォン、３ 表示装置、４ 携帯端末装置、１０ 音声処理部、１１ 翻訳処理部、１２ キーワード検出部、１３ キーワード記憶部、１４ 表示文字情報検出部、１５ 記憶部、１６ 表示処理部、１７ 出力処理部、１０１ 話者信号特定部、１０２ 文字情報生成部

Claims (8)

1. 話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する音声処理部と、
   予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出するキーワード検出部と、
   前記キーワード検出部が検出する前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する表示文字情報検出部と、
   前記表示文字情報検出部が検出する前記表示文字情報を表示手段に表示する表示処理部と、
   を備える発言内容表示装置。
2. 前記音声処理部は、
   前記マイクロフォンが出力する信号の特徴に基づいて前記話者ごとの前記信号を特定する話者信号特定部と、
   前記話者信号特定部が特定する前記信号に対して前記音声認識処理を行って前記話者ごとに文字情報を生成する文字情報生成部と、
   を備える請求項１に記載の発言内容表示装置。
3. 前記文字情報の言語を特定し、特定した言語から予め定められる言語に前記文字情報を翻訳する翻訳処理部を備え、
   前記キーワード検出部は、
   前記翻訳処理部が翻訳した前記文字情報から前記キーワード文字情報を検出する請求項１または２に記載の発言内容表示装置。
4. 言語指定情報を含む要求信号を受信し、前記表示文字情報検出部が検出する前記表示文字情報を前記要求信号の前記言語指定情報が示す言語に翻訳し、翻訳した前記表示文字情報を出力する出力処理部
   を備える請求項１から３のいずれか１項に記載の発言内容表示装置。
5. 前記話者は、予め定められる作業を行う作業員であり、
   前記キーワードは、少なくとも作業現場における作業当日の危険のポイントに関する前記作業員の発言の開始を示す第１キーワードと、当該危険に対する対応策に関する前記作業員の発言の開始を示す第２キーワードを含んでおり、
   前記キーワード検出部は、
   前記第１キーワードに関連する第１キーワード文字情報の前記文字情報における位置を検出し、更に、前記第２キーワードに関連する第２キーワード文字情報の前記文字情報における位置を検出し、
   前記表示文字情報検出部は、
   前記キーワード検出部が検出する前記第１キーワード文字情報の位置に基づいて、前記文字情報から第１表示文字情報を検出し、更に、前記キーワード検出部が検出する前記第２キーワード文字情報の位置に基づいて、前記文字情報から第２表示文字情報を検出し、
   前記表示処理部は、
   前記表示文字情報検出部が検出する前記第１及び第２表示文字情報を前記表示手段に表示する
   請求項１から４のいずれか１項に記載の発言内容表示装置。
6. 話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンと、
   画像信号に基づく画像を画面に表示する表示装置と、
   前記話者の発言内容を文字で表示する画像信号を生成する発言内容表示装置と、を備える発言内容表示システムであって、
   前記発言内容表示システムは、
   前記マイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する音声処理部と、
   予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出するキーワード検出部と、
   前記キーワード検出部が検出する前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する表示文字情報検出部と、
   前記表示文字情報検出部が検出する前記表示文字情報を含む画像から前記画像信号を生成し、生成した前記画像信号を前記表示装置に出力する表示処理部と、
   を備える発言内容表示システム。
7. 話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成し、
   予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出し、
   検出した前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出し、
   検出した前記表示文字情報を表示手段に表示する
   発言内容表示方法。
8. コンピュータに、
   話者の発言によって生じる音を収音し、収音した前記音を信号に変換して出力するマイクロフォンが出力する前記信号に対して音声認識処理を行って文字情報を生成する手順、
   予め定められるキーワードに関連するキーワード文字情報の前記文字情報における位置を検出する手順、
   検出した前記キーワード文字情報の位置に基づいて、前記文字情報から表示文字情報を検出する手順、
   検出した前記表示文字情報を表示手段に表示する手順
   を実行させるための発言内容表示プログラム。

Images