JP2013068783A - 音声認識装置、音声認識方法およびプログラム - Google Patents

音声認識装置、音声認識方法およびプログラム Download PDF

Info

Publication number
JP2013068783A
JP2013068783A JP2011207038A JP2011207038A JP2013068783A JP 2013068783 A JP2013068783 A JP 2013068783A JP 2011207038 A JP2011207038 A JP 2011207038A JP 2011207038 A JP2011207038 A JP 2011207038A JP 2013068783 A JP2013068783 A JP 2013068783A
Authority
JP
Japan
Prior art keywords
recognition
score
unit
program
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011207038A
Other languages
English (en)
Other versions
JP5694102B2 (ja
Inventor
Kota Nakata
康太 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011207038A priority Critical patent/JP5694102B2/ja
Priority to US13/535,798 priority patent/US8983847B2/en
Publication of JP2013068783A publication Critical patent/JP2013068783A/ja
Application granted granted Critical
Publication of JP5694102B2 publication Critical patent/JP5694102B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】音声認識の精度を向上させる。
【解決手段】音声認識装置は、番組情報記憶部と、辞書記憶部と、算出部と、更新部と、認識部と、操作制御部とを備える。番組情報記憶部は、放送番組のメタデータとユーザの視聴状態とを記憶する。辞書記憶部は、音声認識の対象となる認識語と優先度とを含む認識辞書を記憶する。算出部は、メタデータと視聴状態とに基づいて、放送番組の特徴語と特徴語に対するユーザの嗜好の度合いを表す第1スコアとを算出する。更新部は、特徴語を含む認識語の優先度を第1スコアに応じて更新する。認識部は、認識辞書を用いて音声を認識する。操作制御部は、認識結果に基づいて放送番組に対する操作を制御する。
【選択図】図1

Description

本発明の実施形態は、音声認識装置、音声認識方法およびプログラムに関する。
放送番組の電子番組表の情報を用いて音声制御を行う技術が知られている。例えば、電子番組表から放送番組の番組名、出演者、および、キーワードに含まれる語を抽出して認識の対象とし、ユーザの発声にいずれかの語が該当する場合に該当する放送番組を選局する技術が知られている。
特開2000−250575号公報
しかしながら、従来技術では、電子番組表から抽出される出演者やキーワードは大量であるため、音声認識の対象となる語彙数が多く誤認識が起こりやすいという問題があった。
実施形態の音声認識装置は、番組情報記憶部と、辞書記憶部と、算出部と、更新部と、認識部と、操作制御部とを備える。番組情報記憶部は、放送番組のメタデータとユーザの視聴状態とを記憶する。辞書記憶部は、音声認識の対象となる認識語と優先度とを含む認識辞書を記憶する。算出部は、メタデータと視聴状態とに基づいて、放送番組の特徴語と特徴語に対するユーザの嗜好の度合いを表す第1スコアとを算出する。更新部は、特徴語を含む認識語の優先度を第1スコアに応じて更新する。認識部は、認識辞書を用いて音声を認識する。操作制御部は、認識結果に基づいて放送番組に対する操作を制御する。
本実施形態にかかる音声認識装置のブロック図。 番組情報記憶部に格納された番組情報の一例を示す図。 番組名および番組嗜好スコアの例を表す図。 認識辞書のデータ構造例を示す図。 音声認識処理のフローチャート。 嗜好情報算出処理のフローチャート。 嗜好モデル算出処理のフローチャート。 特徴語の一例を示す図。 嗜好モデルの一例を示す図。 表示制御処理のフローチャート。 推薦状態0の場合の推薦画面の図。 推薦状態1の場合の推薦画面の図。 辞書更新処理のフローチャート。 推薦状態1の場合の認識辞書の一例を示す図。 音声認識処理のフローチャート。 アクセス制御処理のフローチャート。 音声認識装置のハードウェア構成図。
以下に添付図面を参照して、この発明にかかる音声認識装置の好適な実施形態を詳細に説明する。以下では、放送番組を視聴する機器として音声認識装置を実現する場合を説明するが、適用可能な装置はこれに限られるものではない。
放送番組を視聴する機器では、音声認識の精度が必ずしも十分でないことが問題となっている。例えば、放送番組が視聴されている際には、スピーカから放送番組の音声が出力されている。このため、ユーザの発声を認識する際の妨げとなると考えられる。また、視聴機器は生活空間に備えられていることが多く、多様な生活雑音が混入すると考えられる。そのため、視聴機器による音声認識の精度は低下することが予想される。従って、従来技術のように、電子番組表全体から抽出した多数の単語を認識対象とした場合、十分な精度が得られない可能性がある。また、音声による制御を行う際に、ユーザが音声により入力可能な単語を知ることができないことも問題となる。従来技術のように電子番組表に含まれる単語を認識対象とする方法では、ユーザが予め電子番組表の内容を知らない場合には、どのような単語で番組を選択することが可能かを知ることができない。そのため、ユーザはどのような発声を行えば所望した番組を選択できるか分からず、意図した制御を行うことが困難であると考えられる。
そこで、本実施形態にかかる音声認識装置は、放送番組に付与されたジャンルや出演者などのメタデータとユーザの視聴履歴(視聴状態)から放送番組の特徴を表す語である特徴語を抽出する。また、特徴語と番組に対するユーザの嗜好の度合いを示す嗜好スコアをそれぞれ算出し、嗜好スコアから特徴語と番組名の認識重みを算出して音声認識を行う。また、当該スコアが高い特徴語や番組名を入力候補としてユーザに提示する。
嗜好スコアを利用して音声認識の認識重みを算出することで、ユーザの嗜好に合った特徴語や番組名を高い精度で認識することが可能になる。また嗜好スコアに基づいて入力候補を提示することで、ユーザは嗜好に合った特徴語や番組名が入力可能であることを知ることができる。
図1は、本実施形態にかかる音声認識装置1の構成の一例を示すブロック図である。図1に示すように、音声認識装置1は、番組情報記憶部11と、算出部12と、嗜好情報記憶部13と、更新部14と、辞書記憶部15と、認識部16と、受信部17と、操作制御部18と、表示制御部19と、推薦状態記憶部20と、表示部21と、を備えている。
番組情報記憶部11は、放送番組のメタデータとユーザの視聴状態とを対応づけた放送番組情報を記憶する。メタデータは、ID、放送日時、番組名(タイトル)、出演者、キーワード、および、ジャンルの項目を含む。メタデータは、例えば、一般的な電子番組表から容易に抽出することが可能である。メタデータに含まれる各項目の情報から、特徴語が抽出される。以下では、特徴語の抽出対象となるメタデータ内の各項目を特徴語属性ともいう。
視聴状態は、放送番組に対するユーザの視聴状態を表す。視聴状態は、例えばユーザが番組を一定の割合以上視聴した場合には「視聴」とし、そうでない場合には「未視聴」とすることができる。電子番組表では放送が予定されている番組の情報も配信されており、例えば1週間後の番組の情報を抽出することが可能である。放送番組情報が得られているが放送されていない番組の視聴状態は「未放送」とすることができる。
図2は、番組情報記憶部11に格納された放送番組情報の一例を示す図である。各番組について、ID、日付、時間、番組名、出演者、キーワード、および、ジャンルのメタデータが得られている。一般的な電子番組表にはキーワードが付与されていない。このような場合は、番組の概要を記述したテキストから、形態素解析を用いることでキーワードを容易に抽出可能である。本実施形態では、番組Aと番組Bの視聴状態は「視聴」であり、番組Cの視聴状態は「未視聴」であるとする。また本実施形態では番組X、番組Y、および番組Zは放送されていないため、視聴状態は「未放送」であるとする。
算出部12は、放送番組情報を利用して、特徴語に対するユーザの嗜好の度合いを表す特徴語嗜好スコアを算出し、特徴語嗜好スコアをもとにユーザ嗜好モデルを学習する。また、算出部12は、未視聴の放送番組に対するユーザの嗜好の度合いを表す番組嗜好スコアを算出する。算出部12は、嗜好情報記憶部13に特徴語、特徴語嗜好スコア、番組名、および、番組嗜好スコアを含む嗜好情報を出力する。
嗜好情報記憶部13は、出力された嗜好情報を記憶する。図3は、嗜好情報のうち、番組名および番組嗜好スコアの例を表す図である。嗜好情報記憶部13は、特徴語および特徴語嗜好スコアについても同様に、例えば、IDと特徴語と特徴語嗜好スコアとを対応づけて記憶する。
辞書記憶部15は、音声認識で用いる認識辞書を記憶する。例えば、辞書記憶部15は、音声認識の対象となる認識語の音素列と、認識語の認識重み(優先度)とを含む認識辞書を記憶する。図4は、認識辞書のデータ構造の一例を示す図である。図4に示すように、認識辞書は、音素列と、当該音素列に対する認識重みとを含む。なお、図4の認識辞書のデータ構造は一例であり、これに限られるものではない。
更新部14は、嗜好情報記憶部13に格納された嗜好情報を利用して、認識辞書の認識重みを更新する。例えば、更新部14は、特徴語嗜好スコアが大きいほど値が大きくなるように、この特徴語嗜好スコアに対応する特徴語を含む認識語の認識重みを更新する。また、更新部14は、番組嗜好スコアが大きいほど値が大きくなるように、この番組嗜好スコアに対応する番組名を含む認識語の認識重みを更新する。
受信部17は、ユーザが発声した音声を受信し音声信号として認識部16に出力する。受信部17は例えば一般的なマイクで実現することが可能である。
認識部16は、受信部17から入力される音声信号と辞書記憶部15に格納された認識辞書を用いて音声認識を行い、認識結果を操作制御部18に出力する。認識部16は、認識重みが大きい単語ほど優先して音声認識を実行する。
操作制御部18は、認識部16から出力される認識結果と推薦状態記憶部20に格納された推薦状態を用いて、番組情報記憶部11に格納された放送番組情報の検索や録画予約等のアクセス操作を制御する。
推薦状態記憶部20は、表示制御部19が推薦を行う情報の種類を表す推薦状態を記憶する。推薦状態記憶部20は、例えば、推薦状態0および推薦状態1の2つの状態を記憶する。推薦状態0は、特徴語嗜好スコアを利用して、特徴語嗜好スコアが高い特徴語に関連する情報を推薦する状態を表す。推薦状態1は、番組嗜好スコアを利用して、番組嗜好スコアが高い番組に関連する情報を推薦する状態を表す。推薦状態記憶部20には初期値として推薦状態0が格納されているものとする。なお、推薦状態の個数は2に限られるものではなく、3以上の推薦状態を用いてもよい。
表示部21は、各種情報を表示する液晶ディスプレイなどの表示装置である。
表示制御部19は、表示部21に対する情報の表示を制御する。例えば、表示制御部19は、嗜好情報記憶部13に格納された嗜好情報を利用して、表示部21に単語や番組名を提示する。また、表示制御部19は、例えばユーザにより指定された推薦状態を推薦状態記憶部20に出力する。また、ユーザの指定により推薦状態が変更された場合、表示制御部19は、推薦状態に応じて認識重みを更新することを更新部14に指示する。
更新部14は、推薦状態に応じて、特徴語嗜好スコアに対応する特徴語を含む認識語の認識重みを更新するか、番組嗜好スコアに対応する番組名を含む認識語の認識重みを更新するかを切り替える。
なお、各記憶部(番組情報記憶部11、嗜好情報記憶部13、辞書記憶部15、推薦状態記憶部20)は、HDD(Hard Disk Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
次に、このように構成された本実施形態にかかる音声認識装置1による音声認識処理について図5を用いて説明する。図5は、本実施形態における音声認識処理の全体の流れを示すフローチャートである。
まず、算出部12が、放送番組情報を利用して嗜好情報を算出するとともに、ユーザ嗜好モデルを算出する嗜好情報算出処理を実行する(ステップS101)。次に、更新部14が、嗜好情報を利用して認識辞書を更新する辞書更新処理を実行する(ステップS102)。次に、認識部16が、受診された音声を認識する音声認識処理を実行する(ステップS103)。次に、操作制御部18が、音声認識処理の認識結果に従い、放送番組に対する各種のアクセス制御処理を実行する(ステップS104)。表示制御部19は、必要に応じて、アクセス制御処理の結果等を表示部21に表示する表示制御処理を実行する(ステップS105)。
次に、図5の各ステップの詳細について以下に説明する。図6は、ステップS101の嗜好情報算出処理の一例を示すフローチャートである。
算出部12は、ユーザの視聴状態を含む放送番組情報を利用して、ユーザ嗜好モデルを算出する嗜好モデル算出処理を実行する(ステップS121)。
図7は、ステップS121の嗜好モデル算出処理の一例を示すフローチャートである。嗜好モデル算出処理は、ブースティング手法に基づいている。ブースティング手法は、データ重みを導入し、データ重みを逐次更新しながら学習を行うことを特徴としている。ブースティング手法は高い分類性能を示すことが知られている。
まず、算出部12は、既に放送された放送番組について初期番組重みを与える(ステップS121−1)。以下の数1は、放送番組の初期番組重みw の一例を表している。なお、w は、繰り返し回数tのときの放送番組iの重み(番組重み)を表す。
Figure 2013068783
ここでiは放送番組のIDを表しており、既に放送された放送番組の数はN個であるとする。数1は、i=1からi=Nまでの全ての放送番組に1/Nの均等な番組重みを与えることを示す。Nの値は、過去に放送された番組の情報をどの程度格納しておくかに依存する。例えば、一般的に1週間の地上波7チャンネルで放送される放送番組は2,000件程度であることが知られている。本実施形態では過去1週間分の放送番組の情報が格納されているとする。
次に、算出部12は、計算(学習)の繰り返し回数tが予め設定された上限回数T未満であるか否かを判定する(ステップS121−2)。tがTに等しければ(ステップS121−2:No)、嗜好モデル算出処理を終了する。
tがT未満の場合(ステップS121−2:Yes)、算出部12は、メタデータに含まれる特徴語のうち、選択されていない特徴語が存在するか否かを判定する(ステップS121−3)。
図8は、本実施形態における特徴語の一例を示す図である。図8は、特徴語属性と、この特徴語属性のメタデータから抽出された特徴語とを対応づけた組の例を示している。例えば図2の番組Aに対応する放送番組情報からは、(出演者,福○雅治)、(キーワード,生放送)、(ジャンル,音楽)の組が得られる。算出部12は、このようにして得られる特徴語から、未選択の特徴語を逐次選択する。
図7に戻り、選択されていない特徴語が存在する場合(ステップS121−3:Yes)、算出部12は、選択されていない特徴語の中から未選択の特徴語を1つ選択する(ステップS121−4)。算出部12は、選択された特徴語に対する特徴語嗜好スコアを計算する(ステップS121−5)。以下の数2は、特徴語嗜好スコアfの算出式の一例を示す。
Figure 2013068783
ここでI(i)は、放送番組iをユーザが視聴していた場合に1となり、そうでない場合に0となる関数である。数2の特徴語嗜好スコアは、番組重みを反映した形で加算される。後述するように例えばユーザが視聴した番組の値が高くなるように番組重みが更新される。このため、ユーザが視聴したことなどにより番組重みが高い放送番組に含まれる特徴語ほど特徴語嗜好スコアの値は高くなる。
次に、算出部12は、特徴語嗜好スコアが一時最大スコア情報に含まれる特徴語嗜好スコアよりも大きいか否かを判断する(ステップS121−6)。本実施形態では、一時最大スコア情報に含まれる特徴語嗜好スコアの初期値は0であるとする。数3は、本実施形態における一時最大スコア情報の一例を表している。数3の例では、一時最大スコア情報は、特徴語属性、特徴語、および、特徴語嗜好スコアの組で構成される。
Figure 2013068783
特徴語嗜好スコアが一時最大スコア情報に含まれる特徴語嗜好スコアよりも大きい場合(ステップS121−6:Yes)、算出部12は、選択されている特徴語属性と特徴語および特徴語嗜好スコアによって一時最大スコア情報を更新する(ステップS121−7)。一時最大スコア情報は、例えばRAMなどの記憶部(図示せず)に保存しておく。
一時最大スコア情報の更新後、または、特徴語嗜好スコアが一時最大スコア情報に含まれる特徴語嗜好スコア以下の場合(ステップS121−6:No)、ステップS121−3に戻り処理を繰り返す。
選択されていない特徴語が存在しない場合(ステップS121−3:No)、算出部12は、一時最大スコア情報を保持することで嗜好モデルを更新し(ステップS121−8)、一時最大スコア情報を初期値に戻す。
図9は、嗜好モデルの一例を示す図である。嗜好モデルは、繰り返し回数tと、一時最大スコア情報に含まれる特徴語属性、特徴語、および、特徴語嗜好スコアと、を含む。図9では、1回目の繰り返し計算で(出演者,福○雅治,0.92)が嗜好モデルとして格納され、2回目の繰り返し計算で(キーワード,サスペンス,0.83)が嗜好モデルとして格納された例が示されている。
図7に戻り、算出部12は、既に放送された放送番組について番組重みを算出する(ステップS121−9)。算出後、ステップS121−2に戻り処理が繰り返される。数4は、放送番組の番組重みを更新する式の一例を表している。
Figure 2013068783
ここでft−1は、嗜好モデルに格納された(t−1)回目の繰り返し計算の特徴語嗜好スコアであり、xt−1は特徴語である。yはユーザが放送番組iを視聴した場合に1となり、視聴していない場合に−1となる変数である。ht−1(x)は特徴語xが放送番組iのメタデータに含まれている場合に1をとり、含まれていない場合に−1をとる関数である。
数4により番組重みの更新を行うことで、特徴語嗜好スコアの高い特徴語を含んでいながら視聴されていない番組や、特徴語嗜好スコアの高い特徴語を含まないが視聴されている番組の番組重みが高くなる。このような番組重みの更新はブースティング手法で用いられており、精度の高い嗜好モデルの学習が可能である。
繰り返し計算の上限回数Tは任意の値に設定することが可能である。本実施形態ではTの値は1000であるとする。
図6に戻り、嗜好モデル算出処理後の処理の説明を続ける。算出部12は、嗜好モデル算出処理で求めたユーザ嗜好モデルを嗜好情報記憶部13に出力する(ステップS122)。
図9は、ユーザ嗜好モデルの一例を示す図である。繰り返し計算の上限回数T=1000であることから、1000の特徴語と特徴語嗜好スコアとを含むユーザ嗜好モデルが嗜好情報記憶部13に格納される。
次に、算出部12は、ユーザ嗜好モデルにより未放送の放送番組の番組嗜好スコアを算出する(ステップS123)。数5は、未放送の放送番組jの番組嗜好スコアfsの算出式の一例を表している。
Figure 2013068783
ここでjは未放送の放送番組に固有のIDである。fは嗜好モデルのt番目の特徴語嗜好スコアの値である。xは嗜好モデルのt番目の特徴語である。h(x)は特徴語xが放送番組jのメタデータに含まれている場合に1をとり、含まれていない場合に−1をとる関数である。数5では、特徴語嗜好スコアの高い特徴語が多く含まれる放送番組ほどの番組嗜好スコアの値は高くなる。
次に、算出部12は、未放送の放送番組の番組嗜好スコアを嗜好情報記憶部13に出力する(ステップS124)。図3は、このようにして算出された未放送の番組X、Y、Zの番組嗜好スコアの例を示している。図3の例では、図2の未放送の番組X、番組Y、番組Zのうち、特徴語嗜好スコアの高い特徴語を含む番組Xと番組Yの番組嗜好スコアが高くなっている。
図10は、ステップS105の表示制御処理の一例を示すフローチャートである。
表示制御部19は、嗜好情報記憶部13に格納された嗜好情報を読み込む(ステップS191)。表示制御部19は、推薦状態記憶部20から推薦状態を読み込む(ステップS192)。表示制御部19は、ユーザが実際に視聴を行う表示部21に、読み込んだ推薦状態に応じた推薦画面を表示する(ステップS193)。
図11は、推薦状態0の場合に表示制御部19が出力する推薦画面の一例を示す図である。表示制御部19は、推薦状態0のとき特徴語嗜好スコアの順にK個(Kは予め定められた1以上の整数)の特徴語を表示する。また、表示制御部19は、出演者やジャンルなどの特徴語属性ごとに特徴語を表示する。
図12は、推薦状態1の場合に表示制御部19が出力する推薦画面の一例を示す図である。図12の例では、未視聴の番組嗜好スコアの順に番組が表示されている。表示制御部19が特徴語や番組名を画面上に表示することで、ユーザは入力可能な単語を知ることができ、ユーザが発話時に発話する単語を容易に決定することができる。
図13は、ステップS102の辞書更新処理の一例を示すフローチャートである。
更新部14は、推薦状態記憶部20から推薦状態を読み込む(ステップS141)。更新部14は、嗜好情報記憶部13に格納された嗜好情報を読み込む(ステップS142)。更新部14は、特徴語と番組名を音素列に変換し、推薦状態と嗜好情報とから、変換した各音素列の認識重みを計算する(ステップS143)。
数6は、推薦状態0のときの認識重みを表している。数6は、特徴語xに対しては認識重み0〜1の値をとり、番組名pに対しては認識重み0.0の値をとる。fav(x)は、特徴語xの特徴語嗜好スコアを表す。max(fav(x))は、特徴語嗜好スコアの最大値を表す。
Figure 2013068783
上述の図4は、推薦状態0の場合の認識辞書の例を表している。音素列では、特徴語である「福○雅治」および「サスペンス」、並びに、番組名である「番組A」および「番組B」が、それぞれ音素列「fukumarumasaharu」、「sasupeNsu」、「baNgumiee」および「baNgumibii」に変換されている。特徴語や番組名の文字列から音素列への変換は、形態素解析を用いることで容易に実現可能である。
認識重みには数6により算出された認識重みの値が格納されている。音声認識では、認識重みが大きい単語ほど優先して認識される。本実施形態では、推薦状態0は画面上に特徴語が推薦されている状態である。このため、番組名の認識重みを0.0にすることで、特徴語を番組名と誤認識することを防ぐことが可能となる。
数7は、推薦状態1のときの認識重みを表している。数7は、特徴語xに対しては認識重み0.0の値をとり、番組名pに対しては認識重み0〜1の値をとる。
Figure 2013068783
図14は、推薦状態1の場合の認識辞書の一例を示す図である。本実施形態では、推薦状態1は画面上に番組名が推薦されている状態である。このため、特徴語の認識重みを0.0にすることで、番組名を特徴語と誤認識することを防ぐことが可能となる。
図13に戻り、更新部14は、辞書記憶部15に認識重みを更新した認識辞書を出力する(ステップS144)。このように、更新部14は、ユーザの嗜好に合った特徴語や番組名に高い認識重みを与えることで、ユーザが発話すると予想される単語を高い精度で認識することを可能にする。
図15は、ステップS103の音声認識処理の一例を示すフローチャートである。
認識部16は、受信部17より音声信号を読み込む(ステップS161)。認識部16は、音声信号から音声認識に用いるための特徴量を抽出する(ステップS162)。一般的な特徴量抽出は公知の技術を用いて容易に実現することが可能である。例えば、一定間隔で区切ったフレームごとにMFCC(Mel−Frequency−Cepstrum−Coefficient)を算出することでスペクトル特徴量列を得ることができる。
認識部16は、抽出した特徴量を音素列に変換する(ステップS163)。一般的な音素列への変換は公知技術で容易に実現することができる。例えば隠れマルコフモデルを用いた変換により、スペクトル特徴量列を音素列に変換することが可能である。
認識部16は、音素列を単語に変換する(ステップS164)。音素列を単語に変換する際には、認識重みを反映する。ユーザは嗜好に合った単語を発する機会が多いと考えられる。このため、音素列を認識重みの高い単語に優先的に変換する。これにより、音素列変換で誤認識があった場合でも頑健に単語認識を行うことが可能になる。認識部16は、認識された単語を操作制御部18に出力する(ステップS165)。
図16は、ステップS104のアクセス制御処理の一例を示すフローチャートである。
操作制御部18は、認識部16から認識結果を読み込む(ステップS181)。操作制御部18は、推薦状態記憶部20から推薦状態を読み込む(ステップS182)。操作制御部18は、番組情報記憶部11に格納された放送番組情報を検索する(ステップS183)。推薦状態が0の場合、操作制御部18は、認識結果が放送番組の特徴語に含まれる番組を検索結果として表示制御部19に出力する。推薦状態が1の場合、操作制御部18は、認識結果が番組名と一致する番組の録画予約を行う。
操作制御部18は、推薦状態を更新して推薦状態記憶部20に出力する(ステップS184)。推薦状態が0の場合、操作制御部18は、推薦状態を1に更新して推薦状態記憶部20に出力する。推薦状態が1の場合、操作制御部18は、推薦状態を0に更新して推薦状態記憶部20に出力する。
上述の図11および図12を用いて本実施形態の効果の一例を示す。本実施形態によれば、音声認識装置1は適切なタイミングで図11のような音声認識可能なキーワードを提示することが可能である。ここで適切なタイミングとして、例えば番組終了直後のタイミングが考えられる。提示されたキーワードは認識重みにより重みづけされている。このため、ユーザが発声する確率の高いキーワードを高精度で認識することが可能になる。すなわち、リモコンやキーボードの煩雑な作業なしにキーワードを入力することが可能になる。以下では、ユーザはシステムに対して「サスペンス」と発声したこととする。
音声認識装置1は、キーワードを認識すると推薦状態を更新し、検索結果を図12のように表示する。図12では特徴語に「サスペンス」を含む放送番組を含む番組が提示されている。このように、本実施形態の音声認識装置1によれば、ユーザの嗜好に合ったキーワードから所望のキーワードを選択させ、選択されたキーワードで放送番組を絞込んで、キーワードに該当する個々の放送番組を表示させることができる。
「サスペンス」は一般的な語であるため、「サスペンス」を特徴語に含む未放送の番組は多数存在する場合が考えられる。放送番組の検索結果が多い場合には、画面表示が煩雑になるだけでなく、好みの番組を探すための画面のスクロール操作など新たな作業が必要となる可能性が考えられる。本実施形態では、ユーザの嗜好に合った番組Yが上位に表示され、嗜好に合っていない番組Zが下位に表示される。嗜好に合った番組が画面に簡潔に示されることで、ユーザは直感的に音声で番組の視聴や録画予約を行うことができ、好みの番組に対して簡単に意図した操作を行うことができる。
音声認識装置1は、複数のユーザにより利用される場合がある。従って、上記処理をユーザごとに実行するように構成してもよい。この場合、例えば各記憶部(番組情報記憶部11、嗜好情報記憶部13、辞書記憶部15、推薦状態記憶部20)が、ユーザごとに各情報を記憶するように構成すればよい。
ユーザの判定は、例えば、認識部16が音声に基づく話者判定機能を備えるように構成する。具体的には、認識部16が、例えば受信部17により受信された音声の基本周波数、スペクトル分布、フォルマント分布、または発話速度などの音響的な特徴量を分析する話者判定機能を備えるように構成すればよい。なお、話者判定機能はこれに限られるものではない。例えば、リモコン等の操作入力部(図示せず)により事前にユーザを特定する情報(ユーザID等)を入力させ、この情報により判定するように構成してもよい。
以上説明したとおり、本実施形態によれば、ユーザは容易に好みの番組を視聴および録画予約することが可能になる。
次に、本実施形態にかかる音声認識装置のハードウェア構成について図17を用いて説明する。図17は、本実施形態にかかる音声認識装置のハードウェア構成を示す説明図である。
本実施形態にかかる音声認識装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
本実施形態にかかる音声認識装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
本実施形態にかかる音声認識装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、本実施形態にかかる音声認識装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に記憶し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる音声認識装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本実施形態にかかる音声認識装置で実行されるプログラムは、コンピュータを上述した音声認識装置の各部(算出部、更新部、認識部、受信部、操作制御部、表示制御部)として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 番組情報記憶部
12 算出部
13 嗜好情報記憶部
14 更新部
15 辞書記憶部
16 認識部
17 受信部
18 操作制御部
19 表示制御部
20 推薦状態記憶部
21 表示部
実施形態の音声認識装置は、番組情報記憶部と、辞書記憶部と、算出部と、更新部と、認識部と、操作制御部とを備える。番組情報記憶部は、放送番組のメタデータとユーザの視聴状態とを記憶する。辞書記憶部は、音声認識の対象となる認識語と優先度とを含む認識辞書を記憶する。算出部は、メタデータと視聴状態とに基づいて、放送番組の特徴語に対するユーザの嗜好の度合いを表す第1スコアを算出する。更新部は、特徴語を含む認識語の優先度を第1スコアに応じて更新する。認識部は、認識辞書を用いて音声を認識する。操作制御部は、認識結果に基づいて放送番組に対する操作を制御する。

Claims (9)

  1. 放送番組のメタデータとユーザの視聴状態とを対応づけて記憶する番組情報記憶部と、
    音声認識の対象となる認識語と、前記認識語の優先度とを含む認識辞書を記憶する辞書記憶部と、
    前記メタデータと前記視聴状態とに基づいて、前記放送番組の特徴を表す特徴語と、前記特徴語に対する前記ユーザの嗜好の度合いを表す第1スコアと、を算出する算出部と、
    前記特徴語を含む前記認識語の前記優先度を、前記第1スコアに応じて更新する更新部と、
    音声を受信する受信部と、
    前記認識辞書を用いて前記音声を認識する認識部と、
    前記認識部による認識結果に基づいて、前記放送番組に対する操作を制御する操作制御部と、
    を備えることを特徴とする音声認識装置。
  2. 前記操作を指示する入力の候補を表す入力候補として、前記第1スコアが高い前記特徴語を優先して選択し、選択した前記入力候補を表示部に表示する表示制御部をさらに備えること、
    を特徴とする請求項1に記載の音声認識装置。
  3. 前記算出部は、さらに、前記放送番組に対する前記ユーザの嗜好の度合いを表すスコアであって、前記第1スコアが高い前記特徴語を含む前記放送番組ほど値が高い第2スコアを算出し、
    前記表示制御部は、前記第1スコアに基づく選択が指定された場合に、前記第1スコアが高い前記特徴語を優先して選択し、前記第2スコアに基づく選択が指定された場合に、前記第2スコアが高い前記特徴語を優先して選択し、選択した前記入力候補を前記表示部に表示すること、
    を特徴とする請求項2に記載の音声認識装置。
  4. 前記算出部は、さらに、前記放送番組に対する前記ユーザの嗜好の度合いを表すスコアであって、前記第1スコアが高い前記特徴語を含む前記放送番組ほど値が高い第2スコアを算出し、
    前記更新部は、さらに、前記放送番組を特定する特定情報を含む前記認識語の前記優先度を、前記第2スコアに応じて更新すること、
    を特徴とする請求項1に記載の音声認識装置。
  5. 前記更新部は、前記第1スコアに基づく更新が指定された場合に、前記特徴語を含む前記認識語の前記優先度を、前記第1スコアに応じて更新し、前記第2スコアに基づく更新が指定された場合に、前記特定情報を含む前記認識語の前記優先度を、前記第2スコアに応じて更新すること、
    を特徴とする請求項4に記載の音声認識装置。
  6. 前記算出部は、前記ユーザが視聴した前記放送番組に含まれる前記特徴語ほど値が高い前記第1スコアを算出すること、
    を特徴とする請求項1に記載の音声認識装置。
  7. 前記番組情報記憶部は、複数の前記ユーザごとに、前記メタデータと前記視聴状態とを対応づけて記憶し、
    前記辞書記憶部は、複数の前記ユーザごとに前記認識辞書を記憶し、
    前記算出部は、複数の前記ユーザごとに、前記メタデータと該ユーザの前記視聴状態とに基づいて、前記特徴語と前記第1スコアとを算出し、
    前記認識部は、さらに、受信された前記音声に基づいて該音声を発声した前記ユーザを判定し、判定した前記ユーザの前記認識辞書を用いて前記音声を認識すること、
    を特徴とする請求項1に記載の音声認識装置。
  8. 音声認識装置で実行される音声認識方法であって、
    前記音声認識装置は、
    放送番組のメタデータとユーザの視聴状態とを対応づけて記憶する番組情報記憶部と、
    音声認識の対象となる認識語と、前記認識語の優先度とを含む認識辞書を記憶する辞書記憶部と、を備え、
    前記メタデータと前記視聴状態とに基づいて、前記放送番組の特徴を表す特徴語と、前記特徴語に対する前記ユーザの嗜好の度合いを表す第1スコアと、を算出する算出ステップと、
    前記特徴語を含む前記認識語の前記優先度を、前記第1スコアに応じて更新する更新ステップと、
    音声を受信する音声受信ステップと、
    前記認識辞書を用いて前記音声を認識する音声認識ステップと、
    前記音声認識ステップによる認識結果に基づいて、前記放送番組に対する操作を制御する操作制御ステップと、
    を含むことを特徴とする音声認識方法。
  9. コンピュータを、
    放送番組のメタデータとユーザの視聴状態とを対応づけて記憶する番組情報記憶部と、
    音声認識の対象となる認識語と、前記認識語の優先度とを含む認識辞書を記憶する辞書記憶部と、
    前記メタデータと前記視聴状態とに基づいて、前記放送番組の特徴を表す特徴語と、前記特徴語に対する前記ユーザの嗜好の度合いを表す第1スコアと、を算出する算出部と、
    前記特徴語を含む前記認識語の前記優先度を、前記第1スコアに応じて更新する更新部と、
    音声を受信する受信部と、
    前記認識辞書を用いて前記音声を認識する認識部と、
    前記認識部による認識結果に基づいて、前記放送番組に対する操作を制御する操作制御部、
    として機能させるためのプログラム。
JP2011207038A 2011-09-22 2011-09-22 音声認識装置、音声認識方法およびプログラム Expired - Fee Related JP5694102B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011207038A JP5694102B2 (ja) 2011-09-22 2011-09-22 音声認識装置、音声認識方法およびプログラム
US13/535,798 US8983847B2 (en) 2011-09-22 2012-06-28 Voice recognition apparatus, method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011207038A JP5694102B2 (ja) 2011-09-22 2011-09-22 音声認識装置、音声認識方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2013068783A true JP2013068783A (ja) 2013-04-18
JP5694102B2 JP5694102B2 (ja) 2015-04-01

Family

ID=47912236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011207038A Expired - Fee Related JP5694102B2 (ja) 2011-09-22 2011-09-22 音声認識装置、音声認識方法およびプログラム

Country Status (2)

Country Link
US (1) US8983847B2 (ja)
JP (1) JP5694102B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018531404A (ja) * 2015-10-05 2018-10-25 サバント システムズ エルエルシーSavant Systems LLC ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案
JP2019135529A (ja) * 2018-02-05 2019-08-15 株式会社東芝 編集支援装置、編集支援方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150150029A1 (en) * 2013-11-26 2015-05-28 Piksel, Inc. Controlling Access to Content
TWI506458B (zh) 2013-12-24 2015-11-01 Ind Tech Res Inst 辨識網路產生裝置及其方法
CN109547854A (zh) * 2019-01-23 2019-03-29 深圳市酷开网络科技有限公司 一种基于声纹识别的电视推送方法、智能电视及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282285A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 音声認識方法及び音声認識装置、並びにそれを用いた番組指定装置
JP2002142160A (ja) * 2000-11-02 2002-05-17 Nec Corp 番組推薦装置、番組推薦方法およびそのプログラムを記録した記録媒体
JP2004295102A (ja) * 2003-03-13 2004-10-21 Matsushita Electric Ind Co Ltd 音声認識辞書作成装置及び情報検索装置
WO2005022914A1 (ja) * 2003-08-28 2005-03-10 Sony Corporation 情報提供装置及び情報提供方法、並びにコンピュータ・プログラム
WO2005064928A1 (ja) * 2003-12-26 2005-07-14 Matsushita Electric Industrial Co., Ltd. 推薦番組通知方法および推薦番組通知装置
JP2006041662A (ja) * 2004-07-23 2006-02-09 Matsushita Electric Ind Co Ltd 番組推薦装置
JP2006094018A (ja) * 2004-09-22 2006-04-06 Sharp Corp 番組推薦装置、番組推薦方法、プログラムおよびそのプログラムを記録した記録媒体
JP2007178927A (ja) * 2005-12-28 2007-07-12 Canon Inc 情報検索装置および方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314398B1 (en) 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
US7437296B2 (en) * 2003-03-13 2008-10-14 Matsushita Electric Industrial Co., Ltd. Speech recognition dictionary creation apparatus and information search apparatus
US8175885B2 (en) * 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282285A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 音声認識方法及び音声認識装置、並びにそれを用いた番組指定装置
JP2002142160A (ja) * 2000-11-02 2002-05-17 Nec Corp 番組推薦装置、番組推薦方法およびそのプログラムを記録した記録媒体
JP2004295102A (ja) * 2003-03-13 2004-10-21 Matsushita Electric Ind Co Ltd 音声認識辞書作成装置及び情報検索装置
WO2005022914A1 (ja) * 2003-08-28 2005-03-10 Sony Corporation 情報提供装置及び情報提供方法、並びにコンピュータ・プログラム
WO2005064928A1 (ja) * 2003-12-26 2005-07-14 Matsushita Electric Industrial Co., Ltd. 推薦番組通知方法および推薦番組通知装置
JP2006041662A (ja) * 2004-07-23 2006-02-09 Matsushita Electric Ind Co Ltd 番組推薦装置
JP2006094018A (ja) * 2004-09-22 2006-04-06 Sharp Corp 番組推薦装置、番組推薦方法、プログラムおよびそのプログラムを記録した記録媒体
JP2007178927A (ja) * 2005-12-28 2007-07-12 Canon Inc 情報検索装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018531404A (ja) * 2015-10-05 2018-10-25 サバント システムズ エルエルシーSavant Systems LLC ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案
JP2019135529A (ja) * 2018-02-05 2019-08-15 株式会社東芝 編集支援装置、編集支援方法及びプログラム

Also Published As

Publication number Publication date
US20130080156A1 (en) 2013-03-28
JP5694102B2 (ja) 2015-04-01
US8983847B2 (en) 2015-03-17

Similar Documents

Publication Publication Date Title
US10410627B2 (en) Automatic language model update
US11182122B2 (en) Voice control of computing devices
US10056078B1 (en) Output of content based on speech-based searching and browsing requests
US10283111B1 (en) Disambiguation in speech recognition
US10448115B1 (en) Speech recognition for localized content
US10503468B2 (en) Voice enabling applications
US9934777B1 (en) Customized speech processing language models
US10210862B1 (en) Lattice decoding and result confirmation using recurrent neural networks
CN106463113B (zh) 在语音辨识中预测发音
JP6003972B2 (ja) 音声検索装置、音声検索方法及びプログラム
US11501764B2 (en) Apparatus for media entity pronunciation using deep learning
JP7230806B2 (ja) 情報処理装置、及び情報処理方法
JP5694102B2 (ja) 音声認識装置、音声認識方法およびプログラム
JP5326169B2 (ja) 音声データ検索システム及び音声データ検索方法
JP4634156B2 (ja) 音声対話方法および音声対話装置
US11978445B1 (en) Confidence scoring for selecting tones and text of voice browsing conversations
US11328713B1 (en) On-device contextual understanding
US11626106B1 (en) Error attribution in natural language processing systems
CN111712790B (zh) 计算设备的语音控制
JP2011118775A (ja) 検索装置、検索方法、及び、プログラム
JP2010085522A (ja) 音声認識処理機能を用いたコンテンツ検索装置、プログラム及び方法
JP2017015847A (ja) 音声検索装置、音声検索方法及びプログラム
JP2011118774A (ja) 検索装置、検索方法、及び、プログラム
JP2017026792A (ja) 音声検索装置、音声検索方法及びプログラム
JP2024015818A (ja) 音声認識装置、音声認識方法、および音声認識プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150204

R151 Written notification of patent or utility model registration

Ref document number: 5694102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees