JP2018045460A - 入力支援装置およびプログラム - Google Patents

入力支援装置およびプログラム Download PDF

Info

Publication number
JP2018045460A
JP2018045460A JP2016179894A JP2016179894A JP2018045460A JP 2018045460 A JP2018045460 A JP 2018045460A JP 2016179894 A JP2016179894 A JP 2016179894A JP 2016179894 A JP2016179894 A JP 2016179894A JP 2018045460 A JP2018045460 A JP 2018045460A
Authority
JP
Japan
Prior art keywords
slot
item
item value
reading
option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016179894A
Other languages
English (en)
Other versions
JP6762819B2 (ja
Inventor
佳祐 酒主
Keisuke Sakanushi
佳祐 酒主
泰成 宮部
Yasunari Miyabe
泰成 宮部
磯部 庄三
Shozo Isobe
庄三 磯部
後藤 和之
Kazuyuki Goto
和之 後藤
千加志 杉浦
Chikashi Sugiura
千加志 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2016179894A priority Critical patent/JP6762819B2/ja
Priority to US15/714,198 priority patent/US10410632B2/en
Publication of JP2018045460A publication Critical patent/JP2018045460A/ja
Application granted granted Critical
Publication of JP6762819B2 publication Critical patent/JP6762819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】音声認識による認識結果に誤りが含まれている場合でも、フォームデータのスロットに入力する項目値を適切に決定することができる入力支援装置およびプログラムを提供する。
【解決手段】実施形態の入力支援装置は、項目名に対応して項目値が入力される1以上のスロットを有するフォームデータのテンプレートであって、各スロットの項目名と、項目値が複数の選択肢の中から選択される選択肢型のスロットの選択肢とが、各々の読みとともに記述されたフォームテンプレートを記憶するテンプレート記憶部と、ユーザの発話を音声認識することで得られた認識結果データであって、表記と読みとを含む認識結果データを取得する取得部と、認識結果データの読みと、フォームテンプレートに記述された項目名および選択肢の読みとに基づいて、フォームデータのスロットに入力する項目値を決定する決定部と、を備える。
【選択図】図5

Description

本発明の実施形態は、入力支援装置およびプログラムに関する。
従来、音声認識技術を利用してユーザの入力操作を支援する技術が知られている。音声認識を行う音声認識エンジンは、グラマ型とディクテーション型とに大別される。グラマ型は、予め作成されたルール(グラマ)に基づいて音声認識を行う方式であり、認識精度を高めやすいが、ルールに則らない発話が認識できないという特徴がある。また、ルールの作成には音声認識に関する専門知識が必要となり、ルールを適切に作成・管理する作業が煩雑になるといった欠点もある。一方、ディクテーション型は、特定のルールに依らずに任意の発話を逐次認識する方法であり、汎用性が高いが、グラマ型に比べて認識精度が低いという特徴がある。
ここで、フォームデータのスロットに項目値を入力する操作を音声認識技術により支援することを考える。本明細書においてフォームデータとは、書式が定められたデータであって、項目名に対応して項目値が入力される1以上のスロットを有するデータを指す。例えば、フィールド作業を行った作業者による作業報告書のフォームデータへの入力を支援する場合、すべての作業者に対してルールに則った発話を期待するのは現実的でなく、発話の音声認識にはディクテーション型の音声認識エンジンを使用することが望ましいと考えられる。しかし、ディクテーション型の音声認識エンジンは上述のように認識精度が低いため、認識結果のどの部分をどのスロットの項目値として入力すればよいかを決定できないことが多い。このため、認識結果に誤りが含まれている場合であっても、フォームデータのスロットに入力する項目値を適切に決定できる新たな技術の提供が望まれる。
特許第5754177号公報 特許第5796496号公報
本発明が解決しようとする課題は、音声認識による認識結果に誤りが含まれている場合であっても、フォームデータのスロットに入力する項目値を適切に決定することができる入力支援装置およびプログラムを提供することである。
実施形態の入力支援装置は、テンプレート記憶部と、取得部と、決定部と、を備える。テンプレート記憶部は、項目名に対応して項目値が入力される1以上のスロットを有するフォームデータのテンプレートであって、各スロットの項目名と、項目値が複数の選択肢の中から選択される選択肢型のスロットの選択肢とが、各々の読みとともに記述されたフォームテンプレートを記憶する。取得部は、ユーザが発話した音声を音声認識することで得られた認識結果データであって、表記と読みとを含む認識結果データを取得する。決定部は、前記認識結果データの読みと、前記フォームテンプレートに記述された項目名および選択肢の読みとに基づいて、前記フォームデータのスロットに入力する項目値を決定する。
図1は、フォームデータの一例を示す図である。 図2は、フォームテンプレートの一例を示す図である。 図3は、認識結果データの一例を示す図である。 図4は、項目値が入力されたフォームデータの一例を示す図である。 図5は、入力支援装置の機能的な構成例を示すブロック図である。 図6は、抽出部による処理手順の一例を示すフローチャートである。 図7は、候補リストの一例を示す図である。 図8は、選択肢型項目値決定部による処理手順の一例を示すフローチャートである。 図9は、自由記述型項目値決定部による処理手順の一例を示すフローチャートである。 図10は、テンプレート管理部による処理手順の一例を示すフローチャートである。 図11は、一部のスロットの項目値が入力済みのフォームデータの一例を示す図である。 図12は、フォームテンプレートの一例を示す図である。 図13は、認識結果データの一例を示す図である。 図14は、未入力のスロットに項目値が入力されたフォームデータの一例を示す図である。 図15は、入力支援装置のハードウェア構成例を示すブロック図である。
以下、実施形態の入力支援装置およびプログラムについて、図面を参照して詳細に説明する。
<実施形態の概要>
本実施形態の入力支援装置は、ユーザの発話を音声認識することで得られた認識結果データを用いて、フォームデータのスロットに入力する項目値を決定する。ユーザの発話に対する音声認識には、特定のルールに依らずに音声認識が可能なディクテーション型の音声認識エンジンを使用するものとし、認識結果データには誤りが含まれていることを想定する。このような誤りを含む認識結果データからフォームデータのスロットに入力する項目値を適切に決定できるようにするために、本実施形態では、予めテンプレート作成者が作成したフォームテンプレートを用いる。なお、以下では、処理対象のフォームデータとして、フィールド作業の作業結果を報告するための作業報告書のフォームデータを例示するが、適用可能なフォームデータはこれに限らない。
フォームデータは、書式が定められたデータであり、項目名に対応して項目値が入力される1以上のスロットを有する。フォームデータの一例を図1に示す。図1に示すフォームデータAは、項目値が未入力の作業報告書のフォームデータの例であり、項目名が「作業場所」のスロット(スロットNo.1)、項目名が「立会人」のスロット(スロットNo.2)、項目名が「交換部品」のスロット(スロットNo.3)、および項目名が「特記事項」のスロット(スロットNo.4)の4つのスロットBを有する。
スロットBには、選択肢型スロットB1と自由記述型スロットB2との2種類がある。選択肢型スロットB1は、項目値が複数の選択肢の中から選択されるスロットBである。自由記述型スロットB2は、項目値が自由に書き込まれるスロットBである。図1に例示するフォームデータAでは、スロットNo.1からスロットNo.3までの3つのスロットBが選択肢型スロットB1であり、スロットNo.4のスロットBが自由記述型スロットB2である。これらの各スロットBの項目値としては、作業者の発話に基づく文字列が入力される。
フォームテンプレートは、フォームデータAのテンプレートであって、フォームデータAが有する各スロットBの項目名と、選択肢型スロットB1の項目値の選択肢とが、各々の読みとともに記述されている。フォームテンプレートの一例を図2に示す。図2に示すフォームテンプレートCは、図1に例示したフォームデータAに対応するフォームテンプレートの例であり、スロットNo.1からスロットNo.3までの3つの選択肢型スロットB1について、項目名と項目値の選択肢とがそれぞれの読みとともに記述され、スロットNo.4の自由記述型スロットB2については、項目名がその読みとともに記述されている。1つの項目名や選択肢に対して複数の読みが記述されていてもよい。また、このフォームテンプレートCには、各スロットBが選択肢型か自由記述型かを示すスロットの種類が記述されている。
フォームテンプレートCは、上述のように、テンプレート作成者により予め作成される。フォームテンプレートCは、誤りを含む認識結果データからフォームデータAの各スロットBに入力する項目値を決定するための手がかり情報として利用されるが、グラマ型の音声認識エンジンにおけるルール作成のような音声認識に関する詳細なパラメータ設定は不要である。つまり、テンプレート作成者は、音声認識に関する専門知識がなくても、対応するフォームデータAの各スロットBの項目名および選択肢型スロットB1の選択肢を読みとともに設定するだけでフォームテンプレートCを容易に作成することができ、また、その管理も容易となる。
ユーザの発話を音声認識することで得られる認識結果データの一例を図3に示す。図3(a)は、フィールド作業を行った作業者による作業報告書作成のための発話Dの一例を示し、図3(b)は、図3(a)の発話Dを音声認識エンジンにより音声認識することで得られた認識結果データEの一例を示している。図3(b)に示すように、認識結果データEには、表記と読みとが含まれる。図3に示す例では、発話Dの「川崎」が「岩崎」、発話Dの「エアフィルター」が「ではフィルタ」といったように誤認識され、認識結果データEに誤りが含まれている。
なお、認識結果データEの読みは、音声認識エンジンではなく、音声認識エンジンが出力する認識結果データEの表記から読みを生成する読み情報生成部を別途設けて、この読み情報生成部の出力を用いてもよい。また、本実施形態では、図3(a)のように複数の文を含む発話Dが音声認識エンジンに一度に入力されて図3(b)のような認識結果データEが得られるものとするが、音声認識のタイミングは任意である。例えば、発話Dを構成する各文が音声認識エンジンに逐次入力され、リアルタイムで音声認識する構成であってもよい。
本実施形態の入力支援装置は、例えば、図3(b)に例示するような認識結果データEを取得し、この認識結果データEの読みと、図2に例示するようなフォームテンプレートCに記述された項目名および選択肢の読みとに基づいて、図1に例示するようなフォームデータAの各スロットBに入力する項目値を決定する。本実施形態の入力支援装置により決定された項目値が入力されたフォームデータAの一例を図4に示す。本実施形態の入力支援装置の処理により、図4に示すように、項目名が「作業場所」の選択肢型スロットB1(スロットNo.1)には、項目値として「川崎」が入力され、項目名が「立会人」の選択肢型スロットB1(スロットNo.2)には、項目値として「中村」が入力され、項目名が「交換部品」の選択肢型スロットB1(スロットNo.3)には、項目値として「エアフィルター」が入力される。また、項目名が「特記事項」の自由記述型スロットB2には、項目値として「特記事項ですが、移動中にフィルム要り廃校につまづき転びそうになりました。」が入力される。
項目名が「作業場所」の選択肢型スロットB1(スロットNo.1)に入力された項目値「川崎」は、フォームテンプレートCに記述された選択肢「川崎」の読み「かわさき」に類似する「わさき」が認識結果データEの読みに含まれていることから、この選択肢型スロットB1の項目値として選ばれている。しかし、「川崎」は、項目名が「立会人」の選択肢型スロットB1(スロットNo.2)の選択肢にも含まれているため、「わさき」に対応する「川崎」をスロットNo.1とスロットNo.2のどちらの選択肢型スロットB1の項目値とするかを決める必要がある。また、項目名が「立会人」の選択肢型スロットB1(スロットNo.2)に入力された項目値「中村」は、フォームテンプレートCに記述された選択肢「中村」の読み「なかむら」に類似する「かむら」が認識結果データEの読みに含まれていることから、この選択肢型スロットB1の項目値として選ばれている。しかし、項目名が「立会人」の選択肢型スロットB1(スロットNo.2)の選択肢には、認識結果データEの読みに含まれる「わさき」に対応する「川崎」も含まれているため、「中村」と「川崎」のどちらをスロットNo.2の選択肢型スロットB2の項目値とするかを決める必要がある。本実施形態の入力支援装置は、このようにスロットBに入力する項目値に競合する複数の候補が存在する場合であっても、それぞれのスロットBに入力する項目値を適切に決定することができる。
<入力支援装置の具体例>
次に、本実施形態の入力支援装置の具体例について詳しく説明する。図5は、本実施形態の入力支援装置100の機能的な構成例を示す図である。本実施形態の入力支援装置100は、例えば図5に示すように、フォームデータ記憶部10と、テンプレート記憶部20と、取得部30と、決定部40と、テンプレート管理部50とを備える。
フォームデータ記憶部10は、フォームデータAを記憶する。例えば、テンプレート作成者がフォームテンプレートC(図2参照)を作成することに応じて、このフォームテンプレートCに対応する、項目値が未入力のフォームデータA(図1参照)が生成され、フォームデータ記憶部10に格納される。そして、フォームデータ記憶部10が記憶するフォームデータAの各スロットBに対して、決定部40により決定された項目値が入力されることにより、項目値が入力されたフォームデータA(図4参照)が生成される。項目値が入力されたフォームデータAは、必要に応じてフォームデータ記憶部10から読み出して、例えばディスプレイによる表示、記録紙への印刷出力、外部装置へのデータ送信など、任意の出力形態で出力することができる。
テンプレート記憶部20は、フォームテンプレートCを記憶する。テンプレート作成者は、テンプレート管理部50を用いてフォームテンプレートCを作成することができ、このテンプレート作成者が作成したフォームテンプレートCが、テンプレート記憶部20に格納される。テンプレート記憶部20が記憶するフォームテンプレートCは、決定部40により読み出される。テンプレート記憶部20が複数のフォームテンプレートCを記憶している場合、決定部40は、例えば、使用するフォームテンプレートCを選択するユーザの操作に応じて、あるいは、取得部30が取得した認識結果データEとの一致度に応じて、テンプレート記憶部20から読み出すフォームテンプレートCを選択すればよい。なお、テンプレート作成者は、テンプレート管理部50を用いて、テンプレート記憶部20が記憶するフォームテンプレートCの編集や削除などを行うこともできる。
取得部30は、音声認識エンジンがユーザ(本実施形態ではフィールド作業を行った作業者)の発話を音声認識することで得られた認識結果データE(図3参照)を取得する。取得部30が取得する認識結果データEは、上述のように、表記と読みとを含む。取得部30は、ユーザが発話した音声の入力を受け付け、入力された音声に対して内部の音声認識エンジンを用いて音声認識を行うことで認識結果データEを取得してもよいし、ユーザが発話した音声を外部の音声認識エンジンが音声認識することで得られた認識結果データEを取得してもよい。つまり、ユーザが発話した音声に対する音声認識を行う音声認識エンジンは、本実施形態の入力支援装置100が備える構成であってもよいし、例えば、ユーザが使用する端末装置や音声認識サービスを提供する外部サーバなど、入力支援装置100の外部の装置が備える構成であってもよい。取得部30が取得した認識結果データEは、決定部40に渡される。
決定部40は、取得部30が取得した認識結果データEの読みと、テンプレート記憶部20から読み出したフォームテンプレートCに記述された項目名および選択肢の読みとに基づいて、フォームデータAの各スロットBに入力する項目値を決定する。決定部40は、図5に示すように、抽出部41と、選択肢型項目値決定部42と、自由記述型項目値決定部43とを含み、この順に処理を実施する。
抽出部41は、取得部30が取得した認識結果データEの読みの文字列から、フォームテンプレートCに記述された項目名または選択肢の読みと類似する部分文字列を抽出する。そして、抽出部41は、認識結果データEの読みの文字列から抽出した部分文字列と、その部分文字列の抽出に用いたフォームテンプレートCの項目名または選択肢との組み合わせを、認識結果データEとフォームテンプレートCとの対応部分の候補として、候補リストに登録する。候補リストの詳細については後述する。
図6は、抽出部41による処理手順の一例を示すフローチャートである。図6に示す処理が開始されると、抽出部41は、まず、候補リストを初期化する(ステップS101)。次に、抽出部41は、フォームテンプレートCに記述された項目名と選択肢のうちの1つを変数TEXTにセットする(ステップS102)。このとき、変数TEXTにセットされた項目名または選択肢の読みも保持される。
次に、抽出部41は、認識結果データEの読みの文字列から、TEXTの読みに完全一致または部分一致する部分文字列を抽出する(ステップS103)。このとき、抽出部41は、例えば認識結果データEに対してフィラーを除去したり、形態素解析により名詞と思われる部分以外を除去したりといった前処理を行った後に、ステップS103の処理を行うようにしてもよい。そして、抽出部41は、ステップS103で抽出した部分文字列について、TEXTの読みに対する類似度を算出する(ステップS104)。ステップS103で複数の部分文字列が抽出された場合は、ステップS104において、それぞれの部分文字列に対して類似度が算出される。
ここで用いる類似度としては、例えば、TEXTの読みの文字数に対する部分文字列の文字数の割合などが挙げられる。例えば図2に示すフォームテンプレートCのスロットNo.3の選択肢「エアフィルター」がTEXTにセットされた場合、図3(b)に示す認識結果データEの読みの文字列の中から、選択肢「エアフィルター」の読み「えあふぃるた」に部分一致する「ふぃるた」(1行目)と「ふぃる」(3行目)とが抽出される。この場合、「えあふぃるた」の文字数は6であり、「ふぃるた」の文字数は4、「ふぃる」の文字数は3であるため、「ふぃるた」の類似度は4/6=0.67、「ふぃる」の類似度は3/6=0.5と算出される。このように、抽出された部分文字列に対して、TEXTの読みに似ているほど大きな値となる類似度が算出される。
なお、類似度の算出方法は上記に限らず公知の技術を用いることができる。例えば、レーベンシュタイン距離(2つの文字列に、文字の挿入、削除、置換の操作を何回適用すると同一の文字列になるか)や、N−gram(ある文字列の中で隣り合ったN個の文字列または単語の組み合わせの連続要素)の一致率を用いて類似度を算出する構成であってもよい。
次に、抽出部41は、ステップS103で抽出した部分文字列について、ステップS104で算出した類似度が予め定めた閾値(例えば0.5)以上であるか否かを判定する(ステップS105)。そして、部分文字列の類似度が閾値以上である場合(ステップS105:Yes)、抽出部41は、その部分文字列とTEXTにセットした項目名または選択肢との組み合わせを候補として、候補リストに登録する(ステップS106)。
一方、部分文字列の類似度が閾値に満たない場合(ステップSS105:No)、ステップS106の処理はスキップされ、候補リストへの登録は行われない。このように、類似度が閾値以上となる部分文字列のみを候補リストに登録する構成とすることで、例えば文字数が1文字あるいは2文字程度の短い部分文字列を候補から除外することができ、候補数が膨大になることで処理が煩雑になるといった不都合を有効に回避することができる。
その後、抽出部41は、フォームテンプレートCに記述されたすべての項目名と選択肢に対して処理を行ったか否かを判定し(ステップS107)、未処理の項目名または選択肢があれば(ステップS107:No)、ステップS102に戻って以降の処理を繰り返す。そして、フォームテンプレートCに記述されたすべての項目名と選択肢に対してステップS102からステップS106までの処理を行った後(ステップS107:Yes)、図6に示す一連の処理を終了する。
図7は、抽出部41による上述の処理により生成される候補リストFの一例を示す図である。図7に示す候補リストFは、図2に示すフォームテンプレートCと、図3(b)に示す認識結果データEとに基づいて生成された候補リストFの例である。候補リストFには、認識結果データEの読みの文字列から抽出した部分文字列と、その部分文字列の抽出に用いたフォームテンプレートCの項目名または選択肢との組み合わせが、候補として登録される。候補リストFの登録データは、例えば図7に示すように、候補種別、スロットNo.、項目名、項目値、部分文字列、オフセット、類似度、スロットの種類などが含まれる。
候補種別は、候補が項目名を対象としたものであるか、選択肢(項目値)を対象としたものであるかを示す。スロットNo.は、候補がどのスロットBを対象としているかを示す。項目名は、対応するスロットBの項目名を示す。項目値は、候補が選択肢(項目値)を対象としたものである場合の選択肢(項目値)を示す。オフセットは、認識結果データEにおける部分文字列の出現位置を示し、部分文字列の先頭文字が認識結果データEの読みの文字列の先頭から何文字目かを示す。類似度は、図6のステップS104で算出された類似度を示す。スロットの種類は、候補が項目名を対象としたものである場合に、対応するスロットBが選択肢型スロットB1であるか自由記述型スロットB2であるかを示す。これらの情報を含む各候補の登録データは、候補ごとに一意に割り当てられた候補IDに対応付けて格納される。以下では、候補リストFに登録された候補のうち、選択肢(項目値)を対象とする候補(候補種別が項目値の候補)を「項目値候補」と呼び、項目名を対象とする候補(候補種別が項目名の候補)を「項目名候補」と呼ぶ。
なお、図6に示した抽出部41の処理や図7に示した候補リストFの構成は一例であり、これに限らない。抽出部41は、認識結果データEの読みの文字列からフォームテンプレートCの項目名または選択肢の読みと類似する部分文字列を抽出して候補リストFに登録する構成であればよい。また、候補リストFは、抽出部41により抽出された部分文字列と項目名または選択肢との対応関係が分かる構成であればよい。テンプレート記憶部20が複数のフォームテンプレートCを記憶する場合、候補リストFは、候補IDに加え、使用したフォームテンプレートCを識別するテンプレートIDに対応付けて、各登録データを格納する構成であってもよい。
選択肢型項目値決定部42は、フォームテンプレートCに記述された選択肢の読みに類似する部分文字列の類似度と、当該部分文字列と他の部分文字列との位置関係と、の少なくともいずれかに基づいて、フォームデータAの選択肢型スロットB1に入力する項目値を決定する。
図8は、選択肢型項目値決定部42による処理手順の一例を示すフローチャートである。図8に示す処理が開始されると、選択肢型項目値決定部42は、まず、候補リストFに含まれる項目値候補の1つを変数VALUEにセットする(ステップS201)。
次に、選択肢型項目値決定部42は、VALUEにセットした項目値候補に対し、項目名または項目値が共通の競合候補があるかどうかを判定する(ステップS202)。例えば、図7に示す候補リストFの候補ID「001」の項目値候補がVALUEにセットされている場合、項目値「川崎」が共通である候補ID「003」の項目値候補が競合候補となる。また、候補ID「003」の項目値候補がVALUEにセットされている場合、項目値「川崎」が共通である候補ID「001」の項目値候補と、項目名「立会人」が共通である候補ID「004」の項目値候補とが競合候補となる。また、候補ID「006」の項目値候補がVALUEにセットされている場合、項目値「エアフィルター」が共通である候補ID「007」の項目値候補が競合候補となる。また、候補ID「007」の項目値候補がVALUEにセットされている場合、項目値「エアフィルター」が共通である候補ID「006」の項目値候補が競合候補となる。
選択肢型項目値決定部42は、ステップS202の判定の結果、競合候補がなければ(ステップS202:No)、VALUEの項目値を、対応するスロットBの項目値に決定する(ステップS203)。一方、競合候補がある場合は(ステップS202:Yes)、選択肢型項目値決定部42は、次に、VALUEの類似度が競合候補の類似度よりも大きいか否かを判定する(ステップS204)。そして、VALUEの類似度が競合候補の類似度よりも大きければ(ステップS204:Yes)、ステップS203に進んで、VALUEの項目値を、対応するスロットBの項目値に決定する。例えば、図7の候補ID「006」の項目値候補がVALUEにセットされている場合、VALUEの類似度0.67が競合候補である候補ID「007」の項目値候補の類似度0.5より大きいため、VALUEの項目値「エアフィルター」が、スロットNo.3の選択肢型スロットB1の項目値に決定される。
一方、VALUEの類似度が競合候補の類似度よりも大きくない場合(ステップS204:No)、選択肢型項目値決定部42は、次に、VALUEの類似度が競合候補の類似度よりも小さいか否かを判定する(ステップS205)。そして、VALUEの類似度が競合候補の類似度よりも小さければ(ステップS205:Yes)、VALUEにセットした項目値候補に対する処理を終了し、後述のステップS211に進む。
一方、VALUEの類似度が競合候補の類似度よりも小さくない場合、つまり、VALUEの類似度と競合候補の類似度とが等しい場合(ステップS205:No)、選択肢型項目値決定部42は、次に、VALUEの項目名に対応する項目名候補があるかどうかを判定する(ステップS206)。そして、VALUEの項目名に対応する項目名候補があれば(ステップS206:Yes)、選択肢型項目値決定部42は、次に、VALUEとその項目名候補とのオフセットの差が、競合候補とその項目名候補とのオフセットの差よりも小さいか否かを判定し(ステップS207)、オフセットの差が競合候補よりも小さければ(ステップS207:Yes)、ステップS203に進んで、VALUEの項目値を、対応するスロットBの項目値に決定する。
例えば、図7の候補ID「004」の項目値候補がVALUEにセットされている場合、VALUEの項目値「立会人」に対応する候補ID「002」の項目名候補があり、この項目名候補に対するVALUEのオフセットの差が25−17=8であるのに対し、この項目名候補に対する競合候補(候補ID「001」の項目値候補および候補ID「003」の項目名候補)のオフセットの差が17−2=15であり、オフセットの差が競合候補よりも小さい。このため、VALUEの項目値「中村」が、スロットNo.4の選択肢型スロットB1の項目値に決定される。
一方、VALUEとその項目名候補とのオフセットの差が、競合候補とその項目名候補とのオフセットの差以上である場合は(ステップS207:No)、VALUEにセットした項目値候補に対する処理を終了し、後述のステップS211に進む。
また、VALUEの項目名に対応する項目名候補がない場合は(ステップS206:No)、選択肢型項目値決定部42は、次に、競合候補の項目名に対応する項目名候補があるか否かを判定する(ステップS208)。そして、競合候補の項目名に対応する項目名候補があれば(ステップS208:Yes)、選択肢型項目値決定部42は、次に、競合候補と項目名が共通の他の項目値候補があるかどうかを判定する(ステップS209)。そして、このような項目値候補があれば(ステップS209:Yes)、選択肢型項目値決定部42は、次に、競合候補と項目名候補とのオフセットの差が、他の項目値候補と項目名候補とのオフセットの差よりも大きいか否かを判定し(ステップS210)、競合候補と項目名候補とのオフセットの差が、他の項目値候補と項目名候補とのオフセットの差よりも大きければ(ステップS210:Yes)、ステップS203に進んで、VALUEの項目値を、対応するスロットBの項目値に決定する。
例えば、図7の候補ID「001」の項目値候補がVALUEにセットされている場合、競合候補である候補ID「003」の項目値候補の項目名に対応する項目名候補として、候補ID「002」の項目名候補がある。また、競合候補である候補ID「003」の項目値候補と項目名が共通の他の項目値候補として、候補ID「004」の項目値候補がある。そして、競合候補である候補ID「003」の項目値候補と候補ID「002」の項目名候補とのオフセットの差が17−2=15であるのに対し、他の項目値候補である候補ID「004」の項目値候補と候補ID「002」の項目名候補とのオフセットの差が25−17=8であり、競合候補と項目名候補とのオフセットの差が、他の項目値候補と項目名候補とのオフセットの差よりも大きい。このため、VALUEの項目値「川崎」が、スロットNo.1の選択肢型スロットB1の項目値に決定される。
なお、競合候補の項目名に対応する項目値候補がない場合(ステップS208:No)、あるいは、競合候補と項目名が共通の他の項目値候補がない場合(ステップS209:No)、あるいは、競合候補と項目名候補とのオフセットの差が、他の項目値候補と項目名候補とのオフセットの差以下の場合は(ステップS210:No)、いずれも、VALUEにセットした項目値候補に対する処理を終了し、ステップS211に進む。
その後、選択肢型項目値決定部42は、候補リストFに含まれるすべての項目値候補に対して処理を行ったか否かを判定し(ステップS211)、未処理の項目値候補があれば(ステップS211:No)、ステップS201に戻って以降の処理を繰り返す。そして、候補リストFに含まれるすべての項目値候補に対してステップS201からステップS210までの処理を行った後(ステップS211:Yes)、決定した項目値をフォームデータAの対応する選択肢型スロットB1に入力し(ステップS212)、図8に示す一連の処理を終了する。
選択肢型項目値決定部42が以上の処理を行うことで、例えば図4に示したように、フォームデータAのスロットNo.1の選択肢型スロットB1には、項目値として「川崎」が入力される。また、スロットNo.2の選択肢型スロットB1には、項目値として「中村」が入力される。また、スロットNo.3の選択肢型スロットB1には、項目値として「エアフィルター」が入力される。
なお、図8に示した選択肢型項目値決定部42の処理は一例であり、これに限らない。選択肢型項目値決定部42は、項目値候補の類似度(項目値候補に含まれる部分文字列の項目値に対する類似度)と、その項目値候補と他の項目値候補または項目名候補との位置関係(各候補に含まれる部分文字列のオフセットの差)と、の少なくともいずれかに基づいて、選択肢型スロットB1の項目値を決定する構成であればよい。例えば、上述の例では、競合候補との比較において類似度の大きさを優先しているが、類似度と位置関係とを総合的に判断して各候補に対するスコアを算出し、各候補のスコアに基づいて選択肢型スロットB1の項目値を決定してもよい。また、上述の例では、各候補に含まれる部分文字列のオフセットの差を用いて候補間の位置関係を表したが、例えば、2つの候補の間に存在する他の候補の数など、別の指標を用いて候補間の位置関係を表してもよい。
自由記述型項目値決定部43は、フォームテンプレートCに記述された自由記述型スロットB2の項目名の読みに類似する部分文字列の類似度と、当該部分文字列の位置とに基づいて、認識結果データEの表記から、フォームデータAの自由記述型スロットB2に入力する項目値を決定する。
図9は、自由記述型項目値決定部43による処理手順の一例を示すフローチャートである。図9に示す処理が開始されると、自由記述型項目値決定部43は、まず、候補リストFに含まれる項目名候補のスロットの種類を参照し、候補リストFに自由記述型スロットB2の項目名候補があるかどうかを判定する(ステップS301)。ここで、候補リストFに自由記述型スロットB2の項目名候補がなければ(ステップS301:No)、そのまま処理を終了する。
一方、候補リストFに自由記述型スロットB2の項目名候補があれば(ステップS301:Yes)、自由記述型項目値決定部43は、次に、候補リストFに含まれる自由記述型スロットB2の項目名候補の1つを変数VALUEにセットする(ステップS302)。そして、自由記述型項目値決定部43は、次に、VALUEにセットした自由記述型スロットB2の項目名候補に対し、項目名が共通の競合候補があるかどうかを判定する(ステップS303)。
ここで、項目名が共通の競合候補がなければ(ステップS303:No)、自由記述型項目値決定部43は、VALUEの部分文字列から他のスロットBの項目名または項目値に対応する部分文字列の直前までに対応する認識結果データEの表記を、対応する自由記述型スロットB2の項目値に決定する(ステップS304)。なお、認識結果データEの読みにおいて、VALUEの部分文字列以降に他のスロットBの項目名または項目値に対応する部分文字列が存在しない場合は、VALUEの部分文字列から読みの末尾までに対応する認識結果データEの表記が、その自由記述型スロットB2の項目値として決定される。
例えば、図7に示す候補リストFに含まれる自由記述型スロットB2の項目名候補は、候補ID「008」の項目名候補のみであり、この項目名候補と項目名が共通の競合候補は存在しない。また、認識結果データEの読みにおいて、候補ID「008」の項目名候補の部分文字列「とっきじこう」以降には、他のスロットBの項目名または項目値に対応する部分文字列が存在しない。したがって、認識結果データEの読みの「とっきじこう」から末尾までに対応する認識結果データEの表記である「特記事項ですが、移動中にフィルム要り廃校につまづき転びそうになりました。」が、スロットNo.4の自由記述型スロットB2の項目値に決定される。
一方、項目名が共通の競合候補がある場合は(ステップS303:Yes)、自由記述型項目値決定部43は、次に、VALUEの類似度が競合候補の類似度よりも大きいか否かを判定する(ステップS305)。そして、VALUEの類似度が競合候補の類似度よりも大きければ(ステップS305:Yes)、ステップS304に進んで、VALUEの部分文字列から他のスロットBの項目名または項目値に対応する部分文字列の直前までに対応する認識結果データEの表記を、対応する自由記述型スロットB2の項目値に決定する。
一方、VALUEの類似度が競合候補の類似度以下である場合は(ステップS305:No)、VALUEにセットした自由記述型スロットB2の項目名候補に対する処理を終了し、ステップS306に進む。
その後、自由記述型項目値決定部43は、候補リストFに含まれるすべての自由記述型スロットB2の項目名候補に対して処理を行ったか否かを判定し(ステップS306)、未処理の自由記述型スロットB2の項目名候補があれば(ステップS306:No)、ステップS302に戻って以降の処理を繰り返す。そして、候補リストFに含まれるすべての自由記述型スロットB2の項目名候補に対してステップS302からステップS305までの処理を行った後(ステップS306:Yes)、決定した項目値をフォームデータAの対応する自由記述型スロットB2に入力し(ステップS307)、図9に示す一連の処理を終了する。
自由記述型項目値決定部43が以上の処理を行うことで、例えば図4に示したように、フォームデータAのスロットNo.4の自由記述型スロットB2には、項目値として「特記事項ですが、移動中にフィルム要り廃校につまづき転びそうになりました。」が入力される。
なお、図9に示した自由記述型項目値決定部43の処理は一例であり、これに限らない。自由記述型項目値決定部43は、自由記述型スロットB2の項目名候補の類似度(自由記述型スロットB2の項目名候補に含まれる部分文字列の項目名に対する類似度)と、その項目名候補の位置(その項目名候補に含まれる部分文字列のオフセット)とに基づいて、認識結果データEの表記から自由記述型スロットB2に入力する項目値を決定する構成であればよい。例えば、上述の例では、競合候補がある場合にその競合候補よりも類似度が大きければ、VALUEにセットされた自由記述型スロットB2の項目値候補がその自由記述型スロットB2の項目名であると判断して、VALUEの部分文字列以降に対応する認識結果データEの表記を、その自由記述型スロットB2の項目値に決定している。しかし、VALUEの類似度が競合候補の類似度よりも大きい場合であっても、認識結果データEの読みにおいて、VALUEの部分文字列以降でその部分文字列に近い位置に他のスロットBの項目名または項目値に対応する部分文字列がある場合は、競合候補がその自由記述型スロットB2の項目名であると判断して、競合候補の部分文字列以降に対応する認識結果データEの表記を、その自由記述型スロットB2の項目値に決定する構成であってもよい。
テンプレート管理部50は、テンプレート作成者の操作に応じて、テンプレート記憶部20が記憶するフォームテンプレートCにおけるスロットBの作成、編集、削除などを行って、テンプレート記憶部20が記憶するフォームテンプレートCを管理する。テンプレート管理部50は、図5に示すように、スロット種類設定部51と、項目名設定部52と、選択肢設定部53とを含む。
スロット種類設定部51は、フォームデータAが有する各スロットBについて、スロットBの種類として選択肢型と自由記述型とのいずれかを設定する。項目名設定部52は、フォームデータAが有する各スロットBの項目名とその読みを設定する。選択肢設定部53は、フォームデータAが有する選択肢型のスロットB1の項目値の選択肢とその読みを設定する。
図10は、テンプレート管理部50による処理手順の一例を示すフローチャートである。図10に示す処理が開始されると、テンプレート管理部50は、まず、テンプレート作成者による操作タイプ(テンプレート作成者の操作がスロットBの作成、編集、削除のいずれであるか)を判定する(ステップS401)。そして、操作タイプがスロットBの作成であれば、項目名設定部52が、テンプレート作成者の操作に応じて、作成するスロットBの項目名とその読みを設定し(ステップS402)、スロット種類設定部51がそのスロットBの種類を設定する(ステップS403)。そして、作成するスロットBの種類が自由記述型か選択肢型かを判定し(ステップS404)、作成するスロットBが選択肢型スロットB1であれば、選択肢設定部53が、テンプレート作成者の操作に応じて、その選択肢型スロットB1の項目値の選択肢と読みを設定する(ステップS405)。なお、読みの設定は、テンプレート作成者が入力した項目名や項目値の選択肢から読みを生成する読み情報生成部を別途設けて、この読み情報生成部の出力を設定してもよい。また、1つの項目名や項目値の選択肢に対して複数の読みを設定してもよい。
また、テンプレート作成者の操作タイプがスロットBの編集であれば、テンプレート管理部50は、編集の対象となるスロットBを選択し(ステップS407)、テンプレート作成者の操作に応じて、選択したスロットBの項目名、スロットBの種類、項目値の選択肢などの編集を行う(ステップS408)。また、テンプレート作成者の操作タイプがスロットBの削除であれば、テンプレート管理部50は、削除の対象となるスロットBを選択し(ステップS409)、テンプレート作成者の操作に応じて、選択したスロットBを削除する(ステップS410)。なお、ここではスロットBを削除する例を説明したが、フォームテンプレートCを削除する場合は、ステップS409において、削除の対象となるフォームテンプレートCを選択する構成とすればよい。
その後、テンプレート管理部50は、テンプレート作成者が操作したいスロットBがさらに存在するか否かを判定する(ステップS406)。そして、操作したいスロットBがあれば(ステップS406:Yes)、ステップS401に戻って以降の処理を繰り返し、操作したいスロットBがなければ(ステップS406:No)、図10に示す一連の処理を終了する。なお、図10に示したテンプレート管理部50の処理は一例であり、これに限らない。テンプレート管理部50は、テンプレート作成者の操作に応じて、テンプレート記憶部20が記憶するフォームテンプレートCにおけるスロットBの作成、編集、削除などを行って、テンプレート記憶部20が記憶するフォームテンプレートCを管理できる構成であればよい。
<実施形態の効果>
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の入力支援装置100は、ユーザの発話を音声認識することで得られた認識結果データEを用いてフォームデータAの各スロットBに入力する項目値を決定するにあたり、手がかり情報として、フォームテンプレートCを用いる。そして、認識結果データEの読みと、フォームテンプレートCに記述された項目名および選択肢の読みとに基づいて、フォームデータAの各スロットBに入力する項目値を決定する。したがって、本実施形態の入力支援装置100によれば、認識結果データEに誤りが含まれている場合であっても、フォームデータAの各スロットBに入力する項目値を適切に決定することができる。また、ユーザは、ルールに則った発話ではなく、比較的柔軟な発話によりフォームデータAの各スロットに適切な項目値を入力できる。
また、本実施形態の入力支援装置100において手がかり情報として用いるフォームテンプレートCは、フォームデータAの各スロットBの項目名と選択肢型スロットB1の項目値の選択肢とをそれぞれの読みとともに設定するだけでよく、グラマ型の音声認識エンジンにおけるルール作成のような音声認識に関する詳細なパラメータ設定は不要である。したがって、テンプレート作成者は、音声認識に関する専門知識がなくてもフォームテンプレートCを容易に作成することができ、また、その管理も容易となる。
また、本実施形態の入力支援装置100によれば、フォームデータAが選択肢型スロットB1と自由記述型スロットB2の2種類のスロットBを有する場合であっても、ユーザによる1回の発話からこれら選択肢型スロットB1と自由記述型スロットB2のそれぞれの項目値を適切に決定することができる。
<変形例1>
なお、以上説明した実施形態は一例であり、様々な変形が可能である。例えば、上述した実施形態では、選択肢型項目値決定部42が、項目値候補の類似度(項目値候補に含まれる部分文字列の項目値に対する類似度)と、その項目値候補と他の項目値候補または項目名候補との位置関係(各候補に含まれる部分文字列のオフセットの差)と、の少なくともいずれかに基づいて、選択肢型スロットB1に入力する項目値を決定している。また、上述した実施形態では、自由記述型項目値決定部43が、自由記述型スロットB2の項目名候補の類似度(自由記述型スロットB2の項目名候補に含まれる部分文字列の項目名に対する類似度)と、その項目名候補の位置(その項目名候補に含まれる部分文字列のオフセット)とに基づいて、認識結果データEの表記から自由記述型スロットB2に入力する項目値を決定している。しかし、フォームデータAの一部のスロットBにすでに項目値が入力されている場合、選択肢型項目値決定部42や自由記述型項目値決定部43は、そのフォームデータAの入力状況を用いて、選択肢型スロットB1に入力する項目値や自由記述型スロットB2に入力する項目値を決定してもよい。
図11は、一部のスロットBの項目値が入力済みのフォームデータAの一例を示す図であり、図12は、図11に示すフォームデータAに対応するフォームテンプレートCの一例を示す図である。また、図13は、図11に示すフォームデータAのスロットBに入力する項目値の決定に用いる認識結果データEの一例を示す図である。
図11乃至図13に示す例では、抽出部41の処理によって、認識結果データEの読みの文字列から、スロットNo.1の選択肢型スロットB1の項目値(選択肢)「1時間(いちじかん)」に類似する部分文字列として「いちじかん」が抽出され、この項目値(選択肢)と部分文字列との組み合わせが、項目値候補として候補リストFに登録される。また、抽出部41の処理によって、認識結果データEの読みの文字列から、スロットNo.2の選択肢型スロットB1の項目値(選択肢)「一次側配管(いちじがわはいかん)」に類似する部分文字列として「いちじかん」が抽出され、この項目値(選択肢)と部分文字列との組み合わせが、項目値候補として候補リストFに登録される。
本変形例では、以上のように同一の部分文字列を含む複数の項目値候補が候補リストFに登録された場合に、選択肢型項目値決定部42が、これら項目値候補の類似度の比較や他の候補との位置関係の比較だけでなく、フォームデータAの入力状況も利用して、フォームデータAの選択肢型スロットB1の項目値を決定する。例えば、項目値が未入力のスロットBを優先する場合、スロットNo.1の選択肢型スロットB1の項目値(選択肢)「1時間」に対応する項目値候補の方が、スロットNo.2の選択肢型スロットB1の項目値(一次側配管)に対応する項目値候補よりも類似度が大きいが、図11に示すように、スロットNo.1の選択肢型スロットB1は項目値が入力済みであるのに対し、スロットNo.2の選択肢型スロットB1は項目値が未入力である。したがって、選択肢型項目値決定部42は、スロットNo.2の選択肢型スロットB1の項目値(一次側配管)に対応する項目値候補を用いて、スロットNo.2の項目値を「一次側配管」に決定する。
また、図11乃至図13に示す例では、抽出部41の処理によって、認識結果データEの読みの文字列から、スロットNo.3の自由記述型スロットB2の項目名「注意事項」に類似する部分文字列として「ちゅうい」が抽出され、この項目名と部分文字列との組み合わせが、項目名候補として候補リストFに登録される。
本変形例では、以上のような自由記述型スロットB2の項目名候補が候補リストFに登録された場合に、自由記述型項目値決定部43が、項目名候補の類似度や位置だけでなく、フォームデータAの入力状況も利用して、フォームデータAの自由記述型スロットB2の項目値を決定する。例えば、項目値が未入力のスロットBを優先する場合、スロットNo.3の自由記述型スロットB2に対応する項目名候補が候補リストFに含まれていたとしても、スロットNo.3の自由記述型スロットB2は項目値が入力済みであるため、この項目名候補を用いた項目値の決定は行わない。
図14は、本変形例により未入力のスロットBに項目値が入力されたフォームデータAの一例を示す図である。図11に示したフォームデータAと比較して、項目値が未入力であったスロットNo.2の選択肢型スロットB1に対し、選択肢型項目値決定部42により決定された「一次側配管」が項目値として入力されている。なお、ここでは項目値が未入力のスロットBを優先する例を説明したが、後から入力した発話に基づいて項目値が入力済みのスロットBを更新することが重要であるとして、項目値が入力済みのスロットBを優先してもよい。
以上のように、本変形例では、フォームデータAの一部のスロットBにすでに項目値が入力されている場合、選択肢型項目値決定部42や自由記述型項目値決定部43が、フォームデータAの入力状況も用いて選択肢型スロットB1の項目値や自由記述型スロットB2の項目値を決定する。したがって、本変形例によれば、フォームデータAの各スロットBに入力する項目値をさらに適切に決定することができる。
なお、以上は、項目値候補の類似度や位置に加えてフォームデータAの入力状況を用いる例を想定したが、例えば、あるスロットBの項目値候補が1つだけ候補リストFに含まれている場合に、フォームデータAにおけるそのスロットBの項目値が未入力であれば、その項目値候補を用いて未入力のスロットBの項目値を決定するといったように、項目値候補の類似度や位置を用いずに、候補リストFに含まれる項目値候補とフォームデータAの入力状況とに基づいて、フォームデータAのスロットBに入力する項目値を決定する構成としてもよい。
<変形例2>
また、フォームテンプレートCに、上述した各スロットBの項目名や項目値の選択肢とその読み、スロットBの種類などの情報のほかに、補足情報が記述されている場合、選択肢型項目値決定部42や自由記述型項目値決定部43は、そのフォームテンプレートCに記述された補足情報を用いて、選択肢型スロットB1に入力する項目値や自由記述型スロットB2に入力する項目値を決定してもよい。
フォームテンプレートCに記述される補足情報としては、例えば、優先度が高いスロットBに対して付加される優先入力フラグが挙げられる。この優先入力フラグは、そのスロットBに対して優先して項目値を入力すべきことを示している。選択肢型スロットB1に対して優先入力フラグが付加されている場合、選択肢型項目値決定部42は、その優先入力フラグが付加された選択肢型スロットB1の項目値を優先的に決定する。また、自由記述型スロットB2に対して優先入力フラグが付加されている場合、自由記述型項目値決定部43は、その優先入力フラグが付加された自由記述型スロットB2の項目値を優先的に決定する。
また、フォームテンプレートCに記述される補足情報の他の例としては、フォームデータAにおける各スロットBの並び順の情報が挙げられる。この場合、選択肢型項目値決定部42や自由記述型項目値決定部43は、抽出部41により候補リストFに登録された項目値候補や項目名候補について、それぞれのフォームデータAにおける並び順を考慮しながら、選択肢型スロットB1の項目値や自由記述型スロットB2の項目値を決定する。
以上のように、本変形例では、フォームテンプレートCに補足情報が記述されている場合、選択肢型項目値決定部42や自由記述型項目値決定部43が、フォームテンプレートCに記述された補足情報も用いて選択肢型スロットB1の項目値や自由記述型スロットB2の項目値を決定する。したがって、本変形例によれば、フォームデータAの各スロットBに入力する項目値をさらに適切に決定することができる。
なお、以上は、項目値候補の類似度や位置に加えてフォームテンプレートCに記述された補足情報を用いる例を想定したが、項目値候補の類似度や位置を用いずに、候補リストFに含まれる項目値候補とフォームデータCに記述された補足情報とに基づいて、フォームデータAのスロットBに入力する項目値を決定する構成としてもよい。
<変形例3>
また、上述した実施形態では、フォームデータAが選択肢型スロットB1と自由記述型スロットB2の双方を含む形式であることを想定として、入力支援装置100が、選択肢型スロットB1に入力する項目値を決定する選択肢型項目値決定部42と、自由記述型スロットB2に入力する項目値を決定する自由記述型項目値決定部43との双方を備える構成を説明した。しかし、自由記述型スロットB2を含まない形式のフォームデータAを処理の対象とする場合、入力支援装置100は、自由記述型項目値決定部43を備えない構成であってもよい。
<補足説明>
本実施形態の入力支援装置100は、例えば、一般的なコンピュータを構成するハードウェアと、コンピュータで実行されるプログラム(ソフトウェア)との協働により実現することができる。例えば、コンピュータが所定のプログラムを実行することによって、上述した取得部30、決定部40(抽出部41、選択肢型項目値決定部42、および自由記述型項目値決定部43)、およびテンプレート管理部50(スロット種類設定部51、項目名設定部52、および選択肢設定部53)を実現することができる。また、コンピュータが備える大容量記憶装置を用いて、上述したフォームデータ記憶部10およびテンプレート記憶部20を実現することができる。
図15は、本実施形態の入力支援装置100のハードウェア構成例を示すブロック図である。入力支援装置100は、例えば図15に示すように、CPU101などのハードウェアプロセッサと、RAM102やROM103などの記憶装置と、HDD104などの大容量記憶装置と、ネットワークを介して外部と通信を行う通信I/F105と、周辺機器を接続するための機器I/F106と、を備えた通常のコンピュータとしてのハードウェア構成を有する。
このとき、上記のプログラムは、例えば、磁気ディスク、光ディスク、半導体メモリ、またはこれに類する記録媒体に記録されて提供される。プログラムを記録する記録媒体は、コンピュータシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。また、上記プログラムを、コンピュータに予めインストールするように構成してもよいし、ネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするように構成してもよい。
上記のコンピュータで実行されるプログラムは、上述した取得部30、決定部40(抽出部41、選択肢型項目値決定部42、および自由記述型項目値決定部43)、およびテンプレート管理部50(スロット種類設定部51、項目名設定部52、および選択肢設定部53)などの機能的な各部を含むモジュール構成となっており、プロセッサがこのプログラムを適宜読み出して実行することにより、上述した各部がRAM102などの主記憶上に生成されるようになっている。
なお、本実施形態の入力支援装置100は、上述した機能的な各部の一部または全部を、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアにより実現する構成であってもよい。
また、本実施形態の入力支援装置100は、複数台のコンピュータを通信可能に接続したネットワークシステムとして構成し、上述した各部を複数台のコンピュータに分散して実現する構成であってもよい。また、本実施形態の入力支援装置100は、クラウドシステム上で動作する仮想マシンであってもよい。
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 フォームデータ記憶部
20 テンプレート記憶部
30 取得部
40 決定部
41 抽出部
42 選択肢型項目値決定部
43 自由記述型項目値決定部
50 テンプレート管理部
51 スロット種類設定部
52 項目名設定部
53 選択肢設定部
A フォームデータ
B スロット
B1 選択肢型スロット
B2 自由記述型スロット
C フォームテンプレート
D 発話
E 認識結果データ

Claims (9)

  1. 項目名に対応して項目値が入力される1以上のスロットを有するフォームデータのテンプレートであって、各スロットの項目名と、項目値が複数の選択肢の中から選択される選択肢型のスロットの選択肢とが、各々の読みとともに記述されたフォームテンプレートを記憶するテンプレート記憶部と、
    ユーザの発話を音声認識することで得られた認識結果データであって、表記と読みとを含む認識結果データを取得する取得部と、
    前記認識結果データの読みと、前記フォームテンプレートに記述された項目名および選択肢の読みとに基づいて、前記フォームデータのスロットに入力する項目値を決定する決定部と、
    を備える入力支援装置。
  2. 前記決定部は、
    前記認識結果データの読みの文字列から、前記フォームテンプレートに記述された項目名または選択肢の読みと類似する部分文字列を抽出する抽出部と、
    前記フォームテンプレートに記述された選択肢の読みに類似する部分文字列である第1部分文字列の類似度と、当該第1部分文字列と前記フォームテンプレートに記述された項目名の読みに類似する部分文字列である第2部分文字列または当該第1部分文字列とは異なる他の第1部分文字列との位置関係と、の少なくともいずれかに基づいて、選択肢型のスロットに入力する項目値を決定する選択肢型項目値決定部と、を含む、
    請求項1に記載の入力支援装置。
  3. 前記決定部は、
    前記認識結果データの読みの文字列から、前記フォームテンプレートに記述された項目名または選択肢の読みと類似する部分文字列を抽出する抽出部と、
    前記フォームテンプレートに記述された選択肢の読みに類似する部分文字列と、前記フォームデータが有する複数のスロットのうちの一部に項目値が入力されている場合における前記フォームデータの入力状況とに基づいて、選択肢型のスロットに入力する項目値を決定する選択肢型項目値決定部と、を含む、
    請求項1に記載の入力支援装置。
  4. 前記決定部は、
    前記認識結果データの読みの文字列から、前記フォームテンプレートに記述された項目名または選択肢の読みと類似する部分文字列を抽出する抽出部と、
    前記フォームテンプレートに記述された選択肢の読みに類似する部分文字列と、前記テンプレートに記述された補足情報とに基づいて、選択肢型のスロットに入力する項目値を決定する選択肢型項目値決定部と、を含む、
    請求項1に記載の入力支援装置。
  5. 前記決定部は、
    項目値が自由に書き込まれる自由記述型のスロットの項目名の読みに類似する部分文字列の類似度と、当該部分文字列の位置とに基づいて、前記認識結果データの表記から自由記述型のスロットに入力する項目値を決定する自由記述型項目値決定部をさらに含む、
    請求項2乃至4のいずれか一項に記載の入力支援装置。
  6. 前記決定部は、
    項目値が自由に書き込まれる自由記述型のスロットの項目名の読みに類似する部分文字列と、前記フォームデータが有する複数のスロットのうちの一部に項目値が入力されている場合における前記フォームデータの入力状況とに基づいて、自由記述型のスロットに入力する項目値を決定する自由記述型項目値決定部をさらに含む、
    請求項2乃至4のいずれか一項に記載の入力支援装置。
  7. 前記決定部は、
    項目値が自由に書き込まれる自由記述型のスロットの項目名の読みに類似する部分文字列と、前記テンプレートに記述された補足情報とに基づいて、自由記述型のスロットに入力する項目値を決定する自由記述型項目値決定部をさらに含む、
    請求項2乃至4のいずれか一項に記載の入力支援装置。
  8. 前記フォームテンプレートを管理するためのテンプレート管理部をさらに備え、
    前記テンプレート管理部は、
    前記フォームデータが有する各スロットについて、スロットの種類として選択肢型と自由記述型とのいずれかを設定するスロット種類設定部と、
    前記フォームデータが有する各スロットの項目名とその読みを設定する項目名設定部と、
    前記フォームデータが有する選択肢型のスロットの項目値の選択肢とその読みを設定する選択肢設定部と、を含む、
    請求項5乃至7のいずれか一項に記載の入力支援装置。
  9. 項目名に対応して項目値が入力される1以上のスロットを有するフォームデータのテンプレートであって、各スロットの項目名と、項目値が複数の選択肢の中から選択される選択肢型のスロットの選択肢とが、各々の読みとともに記述されたフォームテンプレートを記憶するテンプレート記憶部を備えたコンピュータに、
    ユーザの発話を音声認識することで得られた認識結果データであって、表記と読みとを含む認識結果データを取得する機能と、
    前記認識結果データの読みと、前記フォームテンプレートに記述された項目名および選択肢の読みとに基づいて、前記フォームデータのスロットに入力する項目値を決定する機能と、
    を実現させるためのプログラム。
JP2016179894A 2016-09-14 2016-09-14 入力支援装置およびプログラム Active JP6762819B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016179894A JP6762819B2 (ja) 2016-09-14 2016-09-14 入力支援装置およびプログラム
US15/714,198 US10410632B2 (en) 2016-09-14 2017-09-25 Input support apparatus and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016179894A JP6762819B2 (ja) 2016-09-14 2016-09-14 入力支援装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2018045460A true JP2018045460A (ja) 2018-03-22
JP6762819B2 JP6762819B2 (ja) 2020-09-30

Family

ID=61685613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016179894A Active JP6762819B2 (ja) 2016-09-14 2016-09-14 入力支援装置およびプログラム

Country Status (2)

Country Link
US (1) US10410632B2 (ja)
JP (1) JP6762819B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107006A1 (ja) * 2019-11-27 2021-06-03 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US11315563B2 (en) * 2018-12-03 2022-04-26 B & W Group Ltd Content playback system
JP7333490B1 (ja) 2022-10-13 2023-08-24 アクションパワー コーポレイション 音声信号に関連するコンテンツを決定する方法、コンピューター可読保存媒体に保存されたコンピュータープログラム及びコンピューティング装置
US11875801B2 (en) 2018-10-08 2024-01-16 B & W Group Ltd Content playback system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538085B2 (en) * 2017-07-19 2022-12-27 Trygle Co., Ltd. Recommendation device
CN111128121B (zh) * 2019-12-20 2021-04-30 贝壳找房(北京)科技有限公司 语音信息生成方法和装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296991A (ja) * 2000-04-13 2001-10-26 Canon Inc データ処理装置、データ処理方法、記録媒体
JP2004061645A (ja) * 2002-07-25 2004-02-26 Casio Comput Co Ltd データ入力装置およびプログラム
JP2004157815A (ja) * 2002-11-07 2004-06-03 Hitachi Ltd 医用画像報告書入力システム
JP2005500591A (ja) * 2001-03-22 2005-01-06 キヤノン株式会社 情報処理装置及びその方法、プログラム
JP2006011641A (ja) * 2004-06-23 2006-01-12 Fujitsu Ltd 情報入力方法及びその装置
WO2011093025A1 (ja) * 2010-01-29 2011-08-04 日本電気株式会社 入力支援システム、方法、およびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834264B2 (en) * 2001-03-29 2004-12-21 Provox Technologies Corporation Method and apparatus for voice dictation and document production
US7415664B2 (en) * 2001-08-09 2008-08-19 International Business Machines Corporation System and method in a spreadsheet for exporting-importing the content of input cells from a scalable template instance to another
US20030144885A1 (en) * 2002-01-29 2003-07-31 Exscribe, Inc. Medical examination and transcription method, and associated apparatus
WO2004075027A2 (en) * 2003-02-19 2004-09-02 Custom Speech Usa, Inc. A method for form completion using speech recognition and text comparison
DE602004011753T2 (de) * 2003-03-01 2009-02-05 Coifman, Robert E. Verfahren und Vorrichtung zum Verbessern der Transkriptionsgenauigkeit bei der Spracherkennung
US7809565B2 (en) * 2003-03-01 2010-10-05 Coifman Robert E Method and apparatus for improving the transcription accuracy of speech recognition software
US8185398B2 (en) * 2007-12-31 2012-05-22 Intel-Ge Care Innovations Llc Reading device with shortcut read function
US8046226B2 (en) * 2008-01-18 2011-10-25 Cyberpulse, L.L.C. System and methods for reporting
US20120109686A1 (en) * 2010-11-01 2012-05-03 Oxbow Intellectual Property, LLC Electronic medical record system and method
JP5754177B2 (ja) 2011-03-03 2015-07-29 日本電気株式会社 音声認識装置、音声認識システム、音声認識方法及びプログラム
JP6078057B2 (ja) * 2011-06-19 2017-02-08 エムモーダル アイピー エルエルシー 口述ベース文書生成ワークフローにおける文書拡張
US9569594B2 (en) * 2012-03-08 2017-02-14 Nuance Communications, Inc. Methods and apparatus for generating clinical reports
WO2014105752A1 (en) * 2012-12-28 2014-07-03 Revon Systems, Llc Systems and methods for using electronic medical records in conjunction with patient apps
US20140195267A1 (en) * 2013-01-09 2014-07-10 Nuance Communications, Inc. Techniques to improve accuracy of a medical report relating to a medical imaging study
CA2879027A1 (en) * 2015-01-21 2016-07-21 Neil Anderson System and method for athlete assessment and team selection
RU2646350C2 (ru) * 2015-01-27 2018-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ ввода данных в электронное устройство, способ обработки голосового запроса, машиночитаемый носитель (варианты), электронное устройство, сервер и система
GB2538038A (en) * 2015-02-03 2016-11-09 Ipagoo Llp Apparatus, system and method
US10019430B2 (en) * 2015-02-09 2018-07-10 Thomas Ralph Rossi System and method for automatically filling out forms
US9934432B2 (en) * 2015-03-31 2018-04-03 International Business Machines Corporation Field verification of documents
EP3324305A4 (en) 2015-07-13 2018-12-05 Teijin Limited Information processing apparatus, information processing method, and computer program
US9473637B1 (en) * 2015-07-28 2016-10-18 Xerox Corporation Learning generation templates from dialog transcripts
US10769363B2 (en) * 2015-11-10 2020-09-08 Hyland Switzerland Sàrl System and methods for transmitting clinical data having multi-segment fields from one or more modalities to a dictation machine
US20170139895A1 (en) * 2015-11-13 2017-05-18 Richard Scott Rosenblum Method and System for Report Generation
US10290320B2 (en) * 2015-12-09 2019-05-14 Verizon Patent And Licensing Inc. Automatic media summary creation systems and methods
US20170235888A1 (en) * 2016-02-12 2017-08-17 Tellit Health, Inc. Systems and Methods for Creating Contextualized Summaries of Patient Notes from Electronic Medical Record Systems
US10691885B2 (en) * 2016-03-30 2020-06-23 Evernote Corporation Extracting structured data from handwritten and audio notes
US20170323060A1 (en) * 2016-05-04 2017-11-09 Nuance Communications, Inc. User interfaces for medical documentation system utilizing automated natural language understanding
US9899038B2 (en) * 2016-06-30 2018-02-20 Karen Elaine Khaleghi Electronic notebook system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296991A (ja) * 2000-04-13 2001-10-26 Canon Inc データ処理装置、データ処理方法、記録媒体
JP2005500591A (ja) * 2001-03-22 2005-01-06 キヤノン株式会社 情報処理装置及びその方法、プログラム
JP2004061645A (ja) * 2002-07-25 2004-02-26 Casio Comput Co Ltd データ入力装置およびプログラム
JP2004157815A (ja) * 2002-11-07 2004-06-03 Hitachi Ltd 医用画像報告書入力システム
JP2006011641A (ja) * 2004-06-23 2006-01-12 Fujitsu Ltd 情報入力方法及びその装置
WO2011093025A1 (ja) * 2010-01-29 2011-08-04 日本電気株式会社 入力支援システム、方法、およびプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875801B2 (en) 2018-10-08 2024-01-16 B & W Group Ltd Content playback system
US11315563B2 (en) * 2018-12-03 2022-04-26 B & W Group Ltd Content playback system
US20220208191A1 (en) * 2018-12-03 2022-06-30 B & W Group Ltd Content playback system
US11651773B2 (en) * 2018-12-03 2023-05-16 B&W Group Ltd Content playback system
US20230245655A1 (en) * 2018-12-03 2023-08-03 B & W Group Ltd Content playback system
WO2021107006A1 (ja) * 2019-11-27 2021-06-03 株式会社東芝 情報処理装置、情報処理方法及びプログラム
CN114746862A (zh) * 2019-11-27 2022-07-12 株式会社东芝 信息处理装置、信息处理方法以及程序
JP7475844B2 (ja) 2019-11-27 2024-04-30 株式会社東芝 情報処理装置、情報処理方法及びプログラム
JP7333490B1 (ja) 2022-10-13 2023-08-24 アクションパワー コーポレイション 音声信号に関連するコンテンツを決定する方法、コンピューター可読保存媒体に保存されたコンピュータープログラム及びコンピューティング装置

Also Published As

Publication number Publication date
US10410632B2 (en) 2019-09-10
JP6762819B2 (ja) 2020-09-30
US20180090146A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
JP6762819B2 (ja) 入力支援装置およびプログラム
JP6599219B2 (ja) 読み付与装置、読み付与方法、およびプログラム
WO2014183373A1 (en) Systems and methods for voice identification
JP2020087353A (ja) 要約文生成方法、要約文生成プログラム及び要約文生成装置
JP2019133046A (ja) 学習装置、学習方法及び学習プログラム
JP2002117027A (ja) 感情情報抽出方法および感情情報抽出プログラムの記録媒体
JP2012063611A (ja) 音声認識結果検索装置、音声認識結果検索方法および音声認識結果検索プログラム
KR101483947B1 (ko) 핵심어에서의 음소 오류 결과를 고려한 음향 모델 변별 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP6964558B2 (ja) 音声対話システムとモデル作成装置およびその方法
JP5224767B2 (ja) 大規模タグ付きコーパス作成方法、その装置およびプログラム
JP2004133003A (ja) 音声認識辞書作成方法及びその装置と音声認識装置
JP6059598B2 (ja) 情報抽出方法、情報抽出装置及び情報抽出プログラム
WO2021107006A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5670293B2 (ja) 単語追加装置、単語追加方法、およびプログラム
CN109840062B (zh) 输入辅助装置以及记录介质
JP7000096B2 (ja) 対話処理装置および対話処理システム
JP4478088B2 (ja) 記号列変換方法、音声認識方法、記号列変換装置とプログラム、記録媒体
JP5795302B2 (ja) 形態素解析装置、方法、及びプログラム
JP5120749B2 (ja) 木構造辞書を記録した記憶媒体、木構造辞書作成装置、及び木構造辞書作成プログラム
JP2005265967A (ja) 木構造辞書を記録した記憶媒体、及び木構造辞書の言語スコアテーブル作成プログラム
JP7430274B2 (ja) 計算機システム及び文字認識方法
JP7163845B2 (ja) 情報処理装置、およびプログラム
JP2006072520A (ja) 情報処理装置及びその方法及びそのプログラム記録媒体
JP2024027395A (ja) 辞書登録プログラム、辞書登録方法及び情報処理装置
JP2022175661A (ja) 校正支援装置、校正支援方法、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170904

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200909

R150 Certificate of patent or registration of utility model

Ref document number: 6762819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150