JP2022031863A - 単語スロットの認識方法、装置及び電子機器 - Google Patents

単語スロットの認識方法、装置及び電子機器 Download PDF

Info

Publication number
JP2022031863A
JP2022031863A JP2021197897A JP2021197897A JP2022031863A JP 2022031863 A JP2022031863 A JP 2022031863A JP 2021197897 A JP2021197897 A JP 2021197897A JP 2021197897 A JP2021197897 A JP 2021197897A JP 2022031863 A JP2022031863 A JP 2022031863A
Authority
JP
Japan
Prior art keywords
word
word slot
slot
candidate
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021197897A
Other languages
English (en)
Other versions
JP7308910B2 (ja
Inventor
チン,ライ
Lei Chen
ソン,フゥフェン
Huifeng Sun
ソン,シュキ
Shuqi Sun
ディン,シンゼ
Xinzhe Ding
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022031863A publication Critical patent/JP2022031863A/ja
Application granted granted Critical
Publication of JP7308910B2 publication Critical patent/JP7308910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/083Recognition networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】単語スロットの認識方法、装置、電子機器及び記憶媒体を提供する。【解決手段】単語スロットの認識方法は、取得された入力文に応答して、入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定しS101、各第1単語に対応する品詞に基づいて、入力文における各第1単語を組み合わせて、入力文に含まれる候補単語スロットセグメントを取得しS102、予め設定された単語スロットライブラリをクエリして、候補単語スロットセグメントにおける第1単語と単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定しS103、各候補単語スロットセグメントにおける第1単語と各参照単語スロットにおける第2単語との間のマッチング度に基づいて、候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定するS104。【選択図】図1

Description

本願は、コンピュータ技術の分野に関し、具体的には、自然言語処理、深層学習等の人工知能技術の分野に関し、特に、単語スロットの認識方法、装置、電子機器及び記憶媒体に関する。
人工知能技術及び理念の出現に伴い、多くの製品はいずれも対話式のヒューマンマシンインタラクション形態を採用し、製品の体験を向上させることを期待している。1つのヒューマンマシン対話システムを構成するために、まず対話意図と単語スロットを定義する必要がある。対話意図は、対話システムが理解する必要のあるユーザニーズであり、単語スロットは、ユーザの対話意図を満たす時のキー情報又は限定条件であり、ユーザに提供する必要のあるスクリーニング条件であると理解することができる。ここで、様々な単語スロットに対する一般化認識技術は、現在研究のキーである。
本願は、単語スロットの認識方法、装置及び電子機器を提供する。
本願の第1態様によれば、単語スロットの認識方法を提供し、取得された入力文に応答して、前記入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定するステップと、前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得するステップと、予め設定された単語スロットライブラリをクエリして、前記候補単語スロットセグメントにおける第1単語と前記単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定するステップと、各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップと、を含む。
本願の第2態様によれば、単語スロットの認識装置を提供し、取得された入力文に応答して、前記入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定するための第1決定モジュールと、前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得するための第1取得モジュールと、予め設定された単語スロットライブラリをクエリして、前記候補単語スロットセグメントにおける第1単語と前記単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定するための第2決定モジュールと、各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するための第3決定モジュールと、を含む。
本願の第3態様によれば、電子機器を提供し、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されたメモリと、を含み、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが前述した一態様の実施例に記載の単語スロットの認識方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
本願の第4態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに前述した一態様の実施例に記載の単語スロットの認識方法を実行させる。
本願の第5態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサに実行される場合、上述した一態様の実施例に記載の単語スロットの認識方法を実現する。
本文に説明された内容は、本願の実施例における肝心な又は重要な特徴を示すためのものではなく、本願の範囲を制限するためのものでもないと理解すべきである。本願の他の特徴は、以下の明細書からわかりやすくなる。
図面は、本技術的解決手段をよりよく理解するために用いられ、本願を限定するものではない。
本願の実施例により提供される単語スロットの認識方法の概略フローチャートである。 本願の実施例により提供される予め設定された単語スロットライブラリを構築する概略フローチャートである。 本願の実施例により提供されるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定する概略フローチャートである。 本願の実施例により提供される予め設定された単語スロットライブラリを充実させる概略フローチャートである。 本願の実施例により提供される同義語モデルを訓練する概略フローチャートである。 本願の実施例により提供される単語スロットの認識装置の概略構造図である。 本願の実施例に係る単語スロットの認識方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすく且つ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
AI(Artificial Intelligence、人工知能)は、コンピュータに人間のある思考過程と知能行動(例えば、学習、推理、思考、計画など)をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術の両方がある。人工知能のハードウェア技術は、一般的には、センサ、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理などの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習/深層学習、ビッグデータ処理技術、知識マップ技術等のいくつかの主要な方向を含む。
深層学習は、機械学習分野における新たな研究方向であり、それは機械学習に導入されてそれを最初の目標-人工知能に近づかせ、人工知能技術の発展に伴い、NLP(Natural Language Processing、自然言語処理)技術、深層学習技術を使用してテキストの誤りを訂正する方式が益々広くなり、NLPはコンピュータ科学分野及び人工知能分野における1つの重要な方向であり、それは人間とコンピュータとの間で自然言語を使用して効率的な通信を行うことを実現できる様々な理論と方法を研究している。深層学習は、サンプルデータの固有法則と表現レベルを学習することであり、これらの学習プロセスで取得された情報は、文字、画像及び音声などのデータの解釈に大きく寄与し、その最終的な目標は、マシンが人間のように分析と学習の能力を有し、文字、画像及び音声などのデータを認識できるようにすることである。
AI技術及び理念の出現に伴い、多くの製品はいずれも対話式のヒューマンマシンインタラクション形態を採用し、製品の体験を向上させることを期待している。1つのヒューマンマシン対話システムを構成するために、まず対話意図と単語スロットを定義する必要がある。対話意図は、対話システムが理解する必要のあるユーザニーズであり、単語スロットは、ユーザの対話意図を満たす時のキー情報又は限定条件であり、ユーザに提供する必要のあるスクリーニング条件であると理解することができる。天気を調べることを例として、ユーザが「北京の天気」を聞くと、対話意図は「天気を調べる」ことであり、対話の単語スロットは「北京」であり、ユーザに「北京」の天気を提供する必要がある。ユーザが「明日の気温」を聞くと、その意図が「気温を調べる」ことであり、対話の単語スロットは「明日」であり、「明日」の気温を提供する必要がある。ここで、様々な単語スロットに対する一般化認識は、現在研究のキーである。
関連技術において、開発者が単語スロットを定義した後、大量の単語スロット名を構成する必要がある。対話の単語スロットの認識は、開発者によって構成された単語スロット名に依存し、単語スロット名を構成する主な方法は、人工的な充実によって単語スロットライブラリを継続的に更新することである。天気を調べることを例として、開発者は、全ての地名及び時間並びにそれらの様々な言い方又は表現を収集する必要がある。「北京市海淀区」及びその同義の言い方を同じ地名として認識しようとする場合、開発者は「北京市海淀」、「北京海淀区」、「北京海淀」等の同義語を挙げてはじめて、正確に認識することができる。このステップは開発者にとって作業負荷が大きく、且つある言い方又は表現を漏れやすく、対話能力の低下を引き起こす。
従って、本願の実施例は、単語スロットの認識方法、装置及び電子機器を提供する。本願の実施例は、入力文における各単語に対応する品詞に基づいて、入力文における各単語を組み合わせて、入力文に含まれる候補単語スロットセグメントを取得し、さらに候補単語スロットセグメントにおける第1単語と、単語スロットライブラリにおける各参照単語スロットにおける第2単語との間のマッチング度を決定し、該マッチング度に基づいて候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定し、各単語スロットの認識の精度を確保するだけでなく、大量の単語スロットを構成する必要がなく、単語スロットを構成するコストを効果的に低減させ、開発者の作業負荷を軽減させることができる。
以下、図面を参照しながら本願の実施例に係る単語スロットの認識方法、装置及び電子機器について説明する。
図1は、本願の実施例により提供される単語スロットの認識方法の概略フローチャートである。
なお、本願の実施例に係る単語スロットの認識方法の実行本体は、電子機器であってもよく、具体的には、電子機器はサーバ、端末であってもよいが、これらに限定されず、端末はパソコン、スマートフォン、IPAD等であってもよいが、これらに限定されない。
図1に示すように、該単語スロットの認識方法は、ステップS101~S104を含む。
S101において、取得された入力文に応答して、入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定する。
本願の実施例において、入力文は、ユーザによって入力されたテキスト情報であってもよいし、ユーザによって入力された音声情報を変換して得られたテキスト情報であってもよく、該入力文は、段落であってもよく、入力文の長さ、タイプは限定されない。ここで、入力文における各単語を第1単語として定義する。
具体的には、ユーザの入力文が取得された後、単語分割、品詞タグ付け等の前処理により、その中の各第1単語及び各単語に対応する品詞を決定することができる。なお、品詞には内容語(名詞、動詞、形容詞、数量詞、代名詞など)及び機能語(前置詞、接続詞、助詞、感動詞、擬声語など)が含まれる。
例えば、入力文「北京海淀の気温をクエリしてください」の中に、第1単語は「北京」、「海淀」、「気温」及び「クエリ」を含み、「クエリ」の品詞は動詞であり、「北京」、及び「海淀」の品詞は名詞であり、「気温」の品詞も名詞である。
S102において、各第1単語に対応する品詞に基づいて、入力文における各第1単語を組み合わせて、入力文に含まれる候補単語スロットセグメントを取得する。
具体的には、入力文に含まれる各第1単語及び各第1単語に対応する品詞が決定された後、入力文における単語スロットの認識を容易にするために、各第1単語に対応する品詞に基づいて、入力文における各第1単語を組み合わせて、候補単語スロットセグメントを取得する。
例えば、名詞の品詞に基づいて第1単語「北京」及び「海淀」を組み合わせて、得られた候補単語スロットセグメントが「北京海淀」である。なお、名詞「気温」を組み合わせない理由は、「気温」が対話の単語スロットではなく、ユーザの意図を表すためである。
本願の実施例において、候補単語スロットセグメントの決定手段は複数種類あり、異なる決定手段は異なる候補単語スロットセグメントに対応する可能性があり、すなわち候補単語スロットセグメントは1つである可能性もあり、複数である可能性もある。
候補単語スロットセグメントが1つである場合、該候補単語スロットセグメントはターゲット単語スロットであり、該候補単語スロットセグメントの単語スロット名は単語スロット名である。候補単語スロットセグメントが複数である場合、以下のステップS103及びS104に基づいて複数の候補単語スロットセグメントから1つのターゲット単語スロット及びそれに対応する単語スロット名を決定する必要がある。
S103において、予め設定された単語スロットライブラリをクエリして、候補単語スロットセグメントにおける第1単語と単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定する。
本願の実施例において、図2に示すように、開発者は少数の単語スロットを予め構成し、サーバが開発者で構成された単語スロットを取得した後、各単語スロットをに対して単語分割、品詞タグ付けなどの前処理を行ってから、単語スロットライブラリにインポートすることにより、単語スロットライブラリの構築を実現し、後続の単語スロットの認識の基礎とする。
ここで、参照単語スロットとは、予め設定された単語スロットライブラリにおける単語スロットを指し、第2単語とは、該単語スロットに含まれる単語を指す。予め設定された単語スロットライブラリは複数の参照単語スロットを含み、各参照単語スロットは少なくとも1つの第2単語及び各第2単語の品詞を含む。
具体的には、第1単語で構成された候補単語スロットセグメントが決定された後、候補単語スロットセグメントに対する意味理解に基づいて、予め設定された単語スロットライブラリをクエリして、ヒューリスティックルールを利用して、候補単語スロットセグメントにおける第1単語と単語スロットライブラリにおける各参照単語スロットにおける第2単語との間のマッチング度を決定する。すなわち、単語スロットライブラリにn個の参照単語スロットがあると仮定すると、各第1単語と1個目の参照単語スロットにおける各第2単語との間のマッチング度を決定し、各第1単語と2個目の参照単語スロットにおける各第2単語との間のマッチング度を決定し、……、各第1単語とn個目の参照単語スロットにおける各第2単語との間のマッチング度を決定する。
なお、マッチング度が高いほど、第1単語と第2単語との間の類似度が高いことを示す。マッチング度が0であることは、第1単語と第2単語とが完全に類似せず、両者がマッチングしないことを示す。マッチング度が1であることは、第1単語と第2単語とがマッチングすることを示す。
例えば、第1単語「北京」と第2単語「北京市」との間の類似度が比較的高いため、両者がマッチングする。第1単語「北京」と第2単語「上海」とはマッチングしない。
S104において、各候補単語スロットセグメントにおける第1単語と各参照単語スロットにおける第2単語との間のマッチング度に基づいて、候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定する。
ここで、ターゲット単語スロットとは、認識する必要のある入力文における単語スロットを指し、単語スロット名は、単語スロットがある分野、単語スロットの目的地又は単語スロットのタイプ等を示す名称を表してもよい。例えば、ターゲット単語スロットが「北京海淀」である場合、ターゲット単語スロットの単語スロット名は場所である。ターゲット単語スロットが「明日」である場合、ターゲット単語スロットの単語スロット名は時間である。ターゲット単語スロットが「張三」である場合、ターゲット単語スロットの単語スロット名は人名である。
具体的には、各候補単語スロットセグメントにおける第1単語と各参照単語スロットにおける第2単語との間のマッチング度が決定された後、該マッチング度に基づいて、第1単語とマッチングする第2単語及び第2単語が位置する参照単語スロットを取得し、該候補単語スロットセグメントはターゲット単語スロットである。
本願の実施例において、予め設定された単語スロットライブラリには各参照単語スロットの単語スロット名が含まれる可能性があり、この場合、参照単語スロットの単語スロット名に基づいてターゲット単語スロットの単語スロット名を決定することができる。予め設定された単語スロットライブラリには各参照単語スロットの単語スロット名が含まれない可能性もあり、この場合、決定されたターゲット単語スロットを分析することによってターゲット単語スロットの単語スロット名を決定することができる。
例えば、ユーザが「北京海淀の天気をクエリする」という文を入力した場合、「北京」、及び「海淀」の名詞品詞に基づいて、それらを候補単語スロットセグメント「北京海淀」として組み合わせ、そして候補単語スロットセグメントに基づいて予め設定された単語スロットライブラリをクエリして、「北京海淀」とのマッチング度が最も高い「北京市海淀区」という参照単語スロットを取得し、さらにターゲット単語スロットが「北京海淀」であると決定し、該ターゲット単語スロットの単語スロット名は地名である。
上記ステップを実行することにより、開発者が単語スロット「北京市海淀区」のみを構成した場合、「北京海淀」、「海淀」等という「海淀区」の様々な単語スロットの言い方を認識し、ある単語スロットの漏れを回避し、それによって認識能力を向上させる。
本願の実施例に係る単語スロットの認識方法は、入力文における候補単語スロットセグメントの単語と、単語スロットライブラリにおける単語との間のマッチング度に基づいて、候補単語スロットセグメントにおける単語スロットの認識を行い、単語スロットの認識精度を確保するだけでなく、大量の単語スロットを構成する必要がなく、単語スロットを構成するコストを効果的に低減させ、開発者の作業負荷を軽減させ、開発者が単語スロットの認識能力を向上させるために協力し、さらに対話システムの体験を向上させる。
上記ステップS102において、各第1単語に対応する品詞に基づいて候補単語スロットセグメントを決定する場合、品詞が名詞である第1単語を組み合わせてもよく、または品詞が名詞である各単語の重要性に基づいて組み合わせ、すなわち重要度が高く、且つ品詞が名詞である第1単語を組み合わせてもよく、又は、接続詞で接続された2つの第1単語を組み合わせてもよく、それによって組み合わせられた候補単語スロットセグメントを取得する。
すなわち、本願の一実施例において、上記ステップS102は、入力文における品詞が名詞である少なくとも2つの隣接する第1単語を組み合わせて、入力文における1つの候補単語スロットセグメントを生成すること、又は、入力文における品詞が接続詞である第1単語に隣接する2つの第1単語を組み合わせて、入力文における1つの候補単語スロットセグメントを生成することを含むことができる。
具体的には、入力文に含まれる各第1単語及び各第1単語に対応する品詞が決定された後、品詞が名詞である全ての第1単語を取得し、そのうちの少なくとも2つの隣接する第1単語を取得し、該少なくとも2つの隣接する第1単語を組み合わせて、1つの候補単語スロットセグメントを生成することができる。
例えば、ユーザが「北京市海淀区の天気をクエリする」という文を入力した場合、その中の「北京」、及び「海淀」という2つの名詞を取得し、該2つの名詞が隣接しているため、それらを1つの候補単語スロットセグメント「北京海淀」として組み合わせる。
又は、入力文に含まれる各第1単語及び各第1単語に対応する品詞が決定された後、品詞が名詞である第1単語Bを取得し、接続詞Bに隣接する2つの第1単語A、Cを取得し、2つの第1単語A、Cを組み合わせて、1つの候補単語スロットセグメントを生成する。
例えば、ユーザが「北京市と上海市の天気をクエリする」という文を入力した場合、その中の接続詞「と」を取得し、該接続詞に隣接する2つの第1単語「北京」、及び「上海」を取得し、それらを1つの候補単語スロットセグメント「北京上海」として組み合わせる。
なお、本願の実施例では、候補単語スロットセグメントを決定する時、いずれかの方式で決定してもよく、確実な候補単語スロットを決定することができればよく、本願の実施例における上記決定方式であってもよいが、これらに限定されない。
これにより、各第1単語に対応する品詞に基づいて候補単語スロットセグメントを決定し、候補単語スロットセグメントを取得する信頼性を確保し、単語スロットの認識効率を向上させることができる。
候補単語スロットセグメントが決定された後、各候補単語スロットセグメントにおける第1単語と単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定し、該マッチング度に基づいて候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定する。
以下、3つの実施例を通じて、如何にマッチング度に基づいてターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定するかについて説明する。
本願の一実施例において、上記ステップS104は、いずれかの候補単語スロットセグメントにおける各第1単語が、それぞれいずれかの参照単語スロットにおける第2単語とマッチングする場合、いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名がいずれかの参照単語スロットの単語スロット名であると決定することを含むことができる。
本願の実施例において、「いずれか」は、「そのうちの1つ」の意味を表し、「各」を意味するものではない。
具体的には、各候補単語スロットセグメントにおける各第1単語と各参照単語スロットにおける各第2単語との間のマッチング度が決定された後、そのうちの1つの候補単語スロットセグメントにおける各第1単語が、それぞれ単語スロットライブラリの中の1つの参照単語スロットにおける第2単語とマッチングすると判断される場合、該候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が該参照単語スロットの単語スロット名であると決定する。
例えば、候補単語スロットセグメントM「北京海淀」における各第1単語が、それぞれ単語スロットライブラリにおける参照単語スロットN「北京市海淀区」における第2単語とマッチングする(北京が北京市とマッチングし、海淀が海淀区とマッチングする)と判断される場合、候補単語スロットセグメントMがターゲット単語スロットであると決定し、対応する単語スロット名が地名であると決定する。
これにより、マッチング度に基づいて候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定することで、開発者が少数の単語スロットを構成するだけで、ユーザの各種類の話し言葉のような言い方を認識することができ、対話システムの体験を向上させる。
本願の他の実施例において、上記ステップS104は、各第2単語の対応する参照単語スロットにおける重み値を取得することと、いずれかの参照単語スロットにいずれかの候補単語スロットセグメントにおける各第1単語が含まれ、いずれかの参照単語スロットにあるが、いずれかの候補単語スロットにない第2単語の重み値が第1閾値より小さい場合、いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名がいずれかの参照単語スロットの単語スロット名であると決定することと、を含むことができる。
ここで、第2単語の対応する参照単語スロットにおける重み値は該第2単語の対応する参照単語スロットにおける重要度(すなわち果たす役割の大きさ)を表し、開発者によって実際の状況に応じて設定されたものであってもよく、実行本体によって参照単語スロットにおける全ての単語を分析処理して得られたものであってもよい。なお、参照単語スロットにおける各第2単語の重み値の合計は1である。
なお、重み値が第1閾値より小さい場合、該重み値に対応する第2単語の参照単語スロットにおける重要度が低く、無視してもよいことを示す。重み値が第1閾値以上である場合、該重み値に対応する第2単語の参照単語スロットにおける重要度が高く、無視しないことを示す。
具体的には、各候補単語スロットセグメントにおける各第1単語と各参照単語スロットにおける各第2単語との間のマッチング度が決定された後、各第2単語の対応する参照単語スロットにおける重み値を取得して、各第2単語の対応する参照単語スロットにおける重要度を取得し、そのうちの1つの参照単語スロットEにいずれかの候補単語スロットセグメントFにおける各第1単語が含まれると判断される場合、そのうちの1つの参照単語スロットEにあるが、いずれかの候補単語スロットセグメントFにない第2単語を取得し、該第2単語の重み値が第1閾値より小さい場合、該候補単語スロットセグメントFがターゲット単語スロットであると決定し、対応する単語スロット名が該参照単語スロットEの単語スロット名であると決定する。
例えば、参照単語スロットEが「北京市海淀区中心路」であり、候補単語スロットセグメントFが「北京海淀」であり、すなわち参照単語スロットEには候補単語スロットセグメントFにおける各第1単語「北京」及び「海淀」が含まれ、そこで参照単語スロットEにあるが、候補単語スロットセグメントFにない第2単語「中心路」を取得し、該「中心路」の参照単語スロットEにおける重み値を取得し、該重み値が第1閾値(0.2)より小さい場合、候補単語スロットセグメントFがターゲット単語スロットであると決定し、対応する単語スロット名が地名であると決定する。
これにより、ターゲット単語スロットの認識を行う場合、参照単語スロットにおける第2単語の重み値を考慮し、参照単語スロットに候補単語スロットにおける全ての単語が含まれる場合、単語スロットのマッチングを行うことができず、さらに単語スロットを正確に認識できないという現象を回避し、単語スロットの認識の精度を向上させる。
本願の別の実施例において、図3に示すように、上記ステップS104は、ステップS301~S303を含むことができる。
S301において、各候補単語スロットセグメントにおける第1単語と各参照単語スロットにおける第2単語との間のマッチング度に基づいて、候補単語スロットセグメントに対応する少なくとも1つの関連参照単語スロットを決定する。
具体的には、いずれかの第1単語がいずれかの第2単語とマッチングする場合、いずれかの第2単語が位置する参照単語スロットが候補単語スロットセグメントの1つの関連参照単語スロットであると決定し、該関連参照単語スロットと候補単語スロットセグメントとのマッチング度が0より大きく、且つ1以下である。なお、マッチング度が1に等しい場合、関連参照単語スロットと候補単語スロットセグメントとがマッチングする(その中の単語及びその品詞もマッチングする)。
なお、参照単語スロットが複数であり、各参照単語スロットに複数の第2単語が含まれるため、候補単語スロットセグメントの少なくとも1つの関連参照単語スロットを決定することができる。
S302において、候補単語スロットセグメントと各関連参照単語スロットとの間でマッチングしない第1単語又は第2単語の候補単語スロットセグメント及び関連参照単語スロットにおける重み値をそれぞれ決定する。
具体的には、候補単語スロットセグメントにおける、関連参照単語スロットにおける第2単語とマッチングしない第1単語を決定し、該第1単語の候補単語スロットセグメントにおける重み値を決定する。又は、関連参照単語スロットにおける、候補単語スロットセグメントにおける第1単語とマッチングしない第2単語を決定し、該第2単語の関連参照単語スロットにおける重み値を決定する。
S303において、各関連参照単語スロットに対応する重み値に基づいて、候補単語スロットセグメント及び関連参照単語スロットに対してフィルタリングを行って、候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定する。
具体的には、重み値の低い関連参照単語スロットを除去して、候補単語スロットセグメントに含まれるターゲット単語スロット及びターゲット単語スロットの単語スロット名を決定する。
例えば、候補単語スロットセグメントにおける第1単語は、「北京海淀」及び「海淀」を含み、「北京海淀」に基づいて検索された関連参照単語スロットには「北京市海淀区」及び「北京市」が含まれ、「海淀」に基づいて、検索された関連参照単語スロットは「北京市海淀区」であり、「北京」という単語の重み値が高いため、候補単語スロットセグメントにおける「海淀」が除去され、「海淀」という単語の重み値も高いため、関連参照単語スロットにおける「北京市」も除去され、それによって候補単語スロットセグメントに含まれるターゲット単語スロットが「北京市海淀区」であることを取得する。
これにより、重み値に基づいて候補単語スロットセグメント及び関連参照単語スロットに対してフィルタリングを行って、ターゲット単語スロットを取得し、単語スロットの認識の精度をさらに向上させる。
以上のように、予め設定された単語スロットライブラリを基礎としてユーザの入力文における単語スロットを如何に認識することを説明し、該部分の方法は実行本体によってオンラインで実現されることができ、単語スロットライブラリの精度を確保するために、単語スロットライブラリに対する充実と拡張を、オフラインで行うことができ、従って、マニュアルで行うことができ、それによってリソースを節約するだけでなく、さらに精度も確保する。次に、単語スロットライブラリの構築又は拡張を如何に行うかについて説明する。
図4に示すように、本願の一実施例において、単語スロットの認識方法は、ステップS401~S404をさらに含む。
S401において、予め設定された単語スロットライブラリにおける第1参照単語スロット、第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞を取得する。
本願の実施例において、予め設定された単語スロットライブラリにおける全ての参照単語スロットを第1参照単語スロットとして定義し、第1単語スロットライブラリにおける全ての単語を第3単語として定義する。予め設定された単語スロットライブラリには少数(少なくとも1つ)の第1参照単語スロットが含まれている。
具体的には、単語スロットを認識する必要がある場合、予め設定された単語スロットライブラリにおける第1参照単語スロット、第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞を取得し、後に使用するために備える。
S402において、第1参照単語スロットを同義語モデルに入力して、第2参照単語スロット及び第2参照単語スロットにおける各第4単語の品詞を生成する。
本願の実施例において、同義語モデルは開発者によって事前に訓練されたものであり、図5に示すように、その訓練方式は、まず、履歴累積同義語データをクリーニングして、コーパス内の非中国語コーパスを除去し、データを整列させ、同義語ペアにおいて入力された単語の長さが予測された単語の長さ以上であることを確保する。次に、クリーニングされたコーパスを長短期記憶ネットワーク及び注意力メカニズムアルゴリズムによって訓練する。モデルが収束した後、同義語モデルを取得する。同義語モデルは、単語スロットを入力とし、単語スロットの略語同義語を出力とする。
具体的には、訓練された同義語モデルが取得され、単語スロットライブラリにおける第1参照単語スロット、第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞が取得された後、全ての第1参照単語スロットをモデルの入力として、同義語モデルに入力し、さらに同義語モデルによって第1参照単語スロットと同義である第2参照単語スロットを出力し、第2参照単語スロット及び第2参照単語スロットにおける各第4単語の品詞を取得する。
なお、第1参照単語スロットが少なくとも1つであるため、それと同義である第2参照単語スロットも少なくとも1つである。少なくとも1つの第2参照単語スロットが第1参照単語スロットの同義語候補である。
S403において、各第3単語と各第4単語との間のマッチング度、及び各第3単語の品詞と対応する各第4単語の品詞との間のマッチング度に基づいて、第2参照単語スロットの信頼度を決定する。
具体的には、第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞と、第2参照単語スロットにおける各第4単語の品詞とが取得された後、各第3単語と各第4単語との間のマッチング度を決定するとともに、各第3単語の品詞と対応する各第4単語の品詞との間のマッチング度を決定する。マッチング度に基づいて、第2参照単語スロットの信頼度を決定する。
ここで、信頼度とは信頼できる程度であり、信用度とも呼ばれることができる。マッチング度が高いほど、信頼度が高くなり、マッチング度が1である(即ちマッチングする)場合、信頼度は1である。
S404において、第2参照単語スロットの信頼度が第2閾値より大きい場合、第2参照単語スロット、第4単語及び各第4単語の品詞を予め設定された単語スロットライブラリに追加する。
具体的には、第2参照単語スロットの信頼度が取得された後、信頼度の大きさを判断し、信頼度が第2閾値より大きい場合、モデルから出力された第2参照単語スロットが信頼できることを示し、そこで第2参照単語スロット、第4単語及び各単語の品詞を予め設定された単語スロットライブラリに追加し、単語スロットライブラリの充実を実現する。
なお、第2参照単語スロットの信頼度が第2閾値以下である場合、入力された第1参照単語スロットの重要な部分が出力結果に失われ、すなわち第2参照単語スロットを信頼できないことを示し、そこで該第2参照単語スロットをフィルタリングする。
すなわち、開発者によって少数の単語スロットが構成された後、これらの単語スロットをモデルの入力として、同義語モデルに入力し、モデルの出力を取得し、モデルの出力結果が同義語候補であり、また候補を除去し、開発者によって構成された単語スロットの同義語を取得し、さらに該同義語を予め設定された単語スロットライブラリに追加して、単語スロットライブラリの充実を実現する。
例えば、開発者が「北京市海淀区」を構成し、それを同義語モデルに入力し、同義語モデルは「北京海淀」、「北京海淀区」を出力する可能性があり、また「北京市中関村」を出力する可能性もあり、開発者は必要に応じて必要な単語スロットを選択して単語スロットライブラリに追加し、充実のコストを削減することができる。
これにより、モデル推薦により、開発者が参照単語スロットを充実させるコストを効果的に節約し、対話システムの認識能力を向上させ、モデルの精度をさらに向上させ、充実のコストを削減することができる。
本願の実施例は、単語スロットの認識装置をさらに提供し、図6は本願の実施例により提供される単語スロットの認識装置の概略構造図である。
図6に示すように、該単語スロットの認識装置600は、第1決定モジュール610、第1取得モジュール620、第2決定モジュール630及び第3決定モジュール640を含む。
ここで、第1決定モジュール610は、取得された入力文に応答して、前記入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定する。第1取得モジュール620は、前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得する。第2決定モジュール630は、予め設定された単語スロットライブラリをクエリして、前記候補単語スロットセグメントにおける第1単語と前記単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定する。第3決定モジュール640は、各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定する。
本願の一実施例において、前記第1取得モジュール620は、前記入力文における品詞が名詞である少なくとも2つの隣接する第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するための第1組み合わせユニット、又は、前記入力文における品詞が接続詞である第1単語に隣接する2つの第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するための第2組み合わせユニット、を含む。
本願の一実施例において、前記第3決定モジュール640は、いずれかの候補単語スロットセグメントにおける各第1単語が、それぞれいずれかの参照単語スロットにおける第2単語とマッチングする場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するための第1決定ユニットを含むことができる。
本願の一実施例において、前記第3決定モジュール640は、各第2単語の対応する参照単語スロットにおける重み値を取得するための第1取得ユニットと、いずれかの参照単語スロットにいずれかの候補単語スロットセグメントにおける各第1単語が含まれ、前記いずれかの参照単語スロットにあるが、前記いずれかの候補単語スロットセグメントにない第2単語の重み値が第1閾値より小さい場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するための第2決定ユニットと、を含むことができる。
本願の一実施例において、前記第3決定モジュール640は、各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに対応する少なくとも1つの関連参照単語スロットを決定するための第3決定ユニットと、前記候補単語スロットセグメントと各前記関連参照単語スロットとの間でマッチングしない第1単語又は第2単語の前記候補単語スロットセグメント及び前記関連参照単語スロットにおける重み値をそれぞれ決定するための第4決定ユニットと、各前記関連参照単語スロットに対応する前記重み値に基づいて、前記候補単語スロットセグメント及び前記関連参照単語スロットに対してフィルタリングを行って、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するための第5決定ユニットと、を含むことができる。
本願の一実施例において、単語スロットの認識装置は、前記予め設定された単語スロットライブラリにおける第1参照単語スロット、前記第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞を取得するための第2取得モジュールと、前記第1参照単語スロットを同義語モデルに入力して、第2参照単語スロット及び前記第2参照単語スロットにおける各第4単語の品詞を生成するための第1生成モジュールと、
各前記第3単語と各前記第4単語との間のマッチング度、及び前記各第3単語の品詞と対応する前記各第4単語の品詞との間のマッチング度に基づいて、前記第2参照単語スロットの信頼度を決定するための第4決定モジュールと、前記第2参照単語スロットの信頼度が第2閾値より大きい場合、前記第2参照単語スロット、前記第4単語及び各前記第4単語の品詞を前記予め設定された単語スロットライブラリに追加するための第1追加モジュールと、をさらに含むことができる。
なお、本願の実施例に係る単語スロットの認識装置の他の具体的な実施形態は前述した単語スロットの認識方法の具体的な実施形態を参照することができ、重複を避けるため、ここでは説明を省略する。
本願の実施例に係る単語スロットの認識装置は、入力文における候補単語スロットセグメントの単語と、単語スロットライブラリにおける単語との間のマッチング度に基づいて、候補単語スロットセグメントにおける単語スロットの認識を行い、単語スロットの認識の精度を確保するだけでなく、さらに大量の単語スロットを構成する必要がなく、単語スロットを構成するコストを効果的に低減させ、開発者の作業負荷を軽減させることができる。
本願の実施例によれば、本願は、単語スロットの認識方法の電子機器、読み取り可能な記憶媒体をさらに提供する。以下、図7と組み合わせて説明する。
本願の実施例によれば、本願は、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサに実行される場合、本願の実施例により提供される単語スロットの認識方法を実現する。
図7に示すように、本願の実施例に係る単語スロットの認識方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本願の実現を制限することを意図したものではない。
図7に示すように、機器700は、読み取り専用メモリ(ROM)702に記憶されているコンピュータプログラム又は記憶ユニット708からランダムアクセスメモリ(RAM)703にロードされたコンピュータプログラムに応じて、各種類の適切な動作及び処理を実行できる計算ユニット701を含む。RAM703には、機器700の動作に必要な様々なプログラム及びデータも記憶されてもよい。計算ユニット701、ROM702、及びRAM703は、バス704を介して相互に接続されている。入力/出力(I/O)インターフェース705もバス704に接続されている。機器700における複数のコンポーネントは、I/Oインターフェース705に接続され、キーボード、マウス等の入力ユニット706と、様々なタイプのディスプレイ、スピーカ等の出力ユニット707と、磁気ディスク、光ディスク等の記憶ユニット708と、ネットワークカード、モデム、無線通信トランシーバー等の通信ユニット709と、を含む。通信ユニット709は、機器700がインターネットのようなコンピュータネットワーク及び/又は様々な電気通信ネットワークを介して、他の機器と情報/データを交換することを可能にする。
計算ユニット701は、処理及びコンピューティング機能を備える様々な汎用及び/又は専用処理コンポネントであってもよい。計算ユニット701のいくつかの例としては、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、様々な専用の人工知能(AI)コンピューティングチップ、各種類の機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算ユニット701は、上述した各方法及び処理、たとえば、単語スロットの認識方法を実行する。例えば、いくつかの実施例において、単語スロットの認識方法は、記憶ユニット708のような機械読み取り可能な媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM702及び/又は通信ユニット709を介して、機器700にロード及び/又はインストールされることができる。コンピュータプログラムがRAM703にロードされ、計算ユニット701によって実行される場合、上述した単語スロットの認識方法の1つ又は複数のステップを実行することができる。選択的に、他の実施例において、計算ユニット701は、単語スロットの認識方法を実行するように、他の任意の適切な形態(例えば、ファームウェアを介する)によって構成されてもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、専用標準製品(ASSP)、システムオンチップ(SOC)、ロードプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に送信することができる。
本願の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードを汎用コンピュータ、専用コンピュータ、又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供できるため、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び/又はブロック図に規定された機能/操作が実行されるようになる。プログラムコードは、完全に機械上で実行され、一部が機械上で実行されることができ、独立したソフトウェアパッケージとして、一部が機械上で実行され且つ一部が遠隔機械上で実行され、又は完全に遠隔機械又はサーバ上で実行されてもよい。
本願の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又は機器によって使用されるか、又は命令実行システム、装置、又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる有形媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置又は機器、又は上記内容の任意の組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、1つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージデバイス、磁気ストレージデバイス、又は前述した内容の任意の適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータで実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、ブロックチェーンネットワークと、を含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストコンピュータと呼ばれるクラウドコンピューティングサービスシステムにおけるホスト製品であってもよく、従来の物理ホストとVPS(Virtual Private Server、仮想プライベートサーバ)サービスにおいて、管理の難度が大きく、トラフィックの拡張性が弱いという欠点を解決する。サーバは分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせたサーバであってもよい。
本願の実施例の技術的解決手段によれば、入力文における候補単語スロットセグメントの単語と、単語スロットライブラリにおける単語との間のマッチング度に基づいて、候補単語スロットセグメントにおける単語スロットの認識を行い、単語スロットの認識精度を確保するだけでなく、さらに大量の単語スロットを構成する必要がなく、単語スロットを構成するコストを効果的に低減させ、開発者の作業負荷を軽減させることができる。
本明細書の説明において、「第1」、「第2」という用語は、説明という目的にのみ使用され、相対的な重要性を示す又は暗示する、又は示された技術的特徴の数を暗黙的に示すと理解することはできない。したがって、「第1」及び「第2」で限定された特徴には、明示的又は暗黙的に該特徴の少なくとも1つが含まれてもよい。本願の説明において、「複数」とは、特に明記しない限り、少なくとも2つ、例えば2つ、3つなどを意味する。
なお、上に示される様々な形態のフローを使用して、ステップを並べ替え、追加し、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよく、順次的に実行されてもよく、異なる順序で実行されてもよいが、本願で開示されている技術的解決手段が所望の結果を実現することができれば、本明細書では限定しない。
上記発明を実施するための形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善等は、いずれも本願の保護範囲内に含まれるべきである。

Claims (15)

  1. 単語スロットの認識方法であって、
    取得された入力文に応答して、前記入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定するステップと、
    前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得するステップと、
    予め設定された単語スロットライブラリをクエリして、前記候補単語スロットセグメントにおける第1単語と前記単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定するステップと、
    各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップと、を含む、
    ことを特徴とする単語スロットの認識方法。
  2. 前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得するステップは、
    前記入力文における品詞が名詞である少なくとも2つの隣接する第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するステップ、又は、
    前記入力文における品詞が接続詞である第1単語に隣接する2つの第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するステップ、を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップは、
    いずれかの候補単語スロットセグメントにおける各第1単語が、それぞれいずれかの参照単語スロットにおける第2単語とマッチングする場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するステップを含む、
    ことを特徴とする請求項1に記載の方法。
  4. 前記各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップは、
    各第2単語の対応する参照単語スロットにおける重み値を取得するステップと、
    いずれかの参照単語スロットにいずれかの候補単語スロットセグメントにおける各第1単語が含まれ、前記いずれかの参照単語スロットにあるが、前記いずれかの候補単語スロットセグメントにない第2単語の重み値が第1閾値より小さい場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  5. 前記各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップは、
    各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに対応する少なくとも1つの関連参照単語スロットを決定するステップと、
    前記候補単語スロットセグメントと各前記関連参照単語スロットとの間でマッチングしない第1単語又は第2単語の前記候補単語スロットセグメント及び前記関連参照単語スロットにおける重み値をそれぞれ決定するステップと、
    各前記関連参照単語スロットに対応する前記重み値に基づいて、前記候補単語スロットセグメント及び前記関連参照単語スロットに対してフィルタリングを行って、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  6. 前記予め設定された単語スロットライブラリにおける第1参照単語スロット、前記第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞を取得するステップと、
    前記第1参照単語スロットを同義語モデルに入力して、第2参照単語スロット及び前記第2参照単語スロットにおける各第4単語の品詞を生成するステップと、
    各前記第3単語と各前記第4単語との間のマッチング度、及び前記各第3単語の品詞と対応する前記各第4単語の品詞との間のマッチング度に基づいて、前記第2参照単語スロットの信頼度を決定するステップと、
    前記第2参照単語スロットの信頼度が第2閾値より大きい場合、前記第2参照単語スロット、前記第4単語及び各前記第4単語の品詞を前記予め設定された単語スロットライブラリに追加するステップと、をさらに含む、
    ことを特徴とする請求項1~5のいずれかに記載の方法。
  7. 単語スロットの認識装置であって、
    取得された入力文に応答して、前記入力文に含まれる各第1単語及び各第1単語に対応する品詞を決定するための第1決定モジュールと、
    前記各第1単語に対応する品詞に基づいて、前記入力文における各第1単語を組み合わせて、前記入力文に含まれる候補単語スロットセグメントを取得するための第1取得モジュールと、
    予め設定された単語スロットライブラリをクエリして、前記候補単語スロットセグメントにおける第1単語と前記単語スロットライブラリの各参照単語スロットにおける第2単語との間のマッチング度を決定するための第2決定モジュールと、
    各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するための第3決定モジュールと、を含む、
    ことを特徴とする単語スロットの認識装置。
  8. 前記第1取得モジュールが、
    前記入力文における品詞が名詞である少なくとも2つの隣接する第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するための第1組み合わせユニット、
    又は、
    前記入力文における品詞が接続詞である第1単語に隣接する2つの第1単語を組み合わせて、前記入力文における1つの候補単語スロットセグメントを生成するための第2組み合わせユニット、を含む、
    ことを特徴とする請求項7に記載の装置。
  9. 前記第3決定モジュールが、
    いずれかの候補単語スロットセグメントにおける各第1単語が、それぞれいずれかの参照単語スロットにおける第2単語とマッチングする場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するための第1決定ユニットを含む、
    ことを特徴とする請求項7に記載の装置。
  10. 前記第3決定モジュールが、
    各第2単語の対応する参照単語スロットにおける重み値を取得するための第1取得ユニットと、
    いずれかの参照単語スロットにいずれかの候補単語スロットセグメントにおける各第1単語が含まれ、前記いずれかの参照単語スロットにあるが、前記いずれかの候補単語スロットセグメントにない第2単語の重み値が第1閾値より小さい場合、前記いずれかの候補単語スロットセグメントがターゲット単語スロットであると決定し、対応する単語スロット名が前記いずれかの参照単語スロットの単語スロット名であると決定するための第2決定ユニットと、を含む、
    ことを特徴とする請求項7に記載の装置。
  11. 前記第3決定モジュールが、
    各前記候補単語スロットセグメントにおける第1単語と各前記参照単語スロットにおける第2単語との間のマッチング度に基づいて、前記候補単語スロットセグメントに対応する少なくとも1つの関連参照単語スロットを決定するための第3決定ユニットと、
    前記候補単語スロットセグメントと各前記関連参照単語スロットとの間でマッチングしない第1単語又は第2単語の前記候補単語スロットセグメント及び前記関連参照単語スロットにおける重み値を決定するための第4決定ユニットと、
    各前記関連参照単語スロットに対応する前記重み値に基づいて、前記候補単語スロットセグメント及び前記関連参照単語スロットに対してフィルタリングを行って、前記候補単語スロットセグメントに含まれるターゲット単語スロット及び前記ターゲット単語スロットの単語スロット名を決定するための第5決定ユニットと、を含む、
    ことを特徴とする請求項7に記載の装置。
  12. 前記予め設定された単語スロットライブラリにおける第1参照単語スロット、前記第1参照単語スロットに含まれる各第3単語及び各第3単語の品詞を取得するための第2取得モジュールと、
    前記第1参照単語スロットを同義語モデルに入力して、第2参照単語スロット及び前記第2参照単語スロットにおける各第4単語の品詞を生成するための第1生成モジュールと、
    各前記第3単語と各前記第4単語との間のマッチング度、及び前記各第3単語の品詞と対応する前記各第4単語の品詞との間のマッチング度に基づいて、前記第2参照単語スロットの信頼度を決定するための第4決定モジュールと、
    前記第2参照単語スロットの信頼度が第2閾値より大きい場合、前記第2参照単語スロット、前記第4単語及び各前記第4単語の品詞を前記予め設定された単語スロットライブラリに追加するための第1追加モジュールと、をさらに含む、
    ことを特徴とする請求項6~11のいずれかに記載の装置。
  13. 電子機器であって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1~6のいずれかに記載の単語スロットの認識方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
    ことを特徴とする電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~6のいずれかに記載の単語スロットの認識方法を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  15. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサに実行される場合、請求項1~6のいずれかに記載の単語スロットの認識方法を実現する、
    ことを特徴とするコンピュータプログラム。
JP2021197897A 2020-12-25 2021-12-06 単語スロットの認識方法、装置及び電子機器 Active JP7308910B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011563106.4 2020-12-25
CN202011563106.4A CN112632987B (zh) 2020-12-25 2020-12-25 词槽的识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
JP2022031863A true JP2022031863A (ja) 2022-02-22
JP7308910B2 JP7308910B2 (ja) 2023-07-14

Family

ID=75325235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021197897A Active JP7308910B2 (ja) 2020-12-25 2021-12-06 単語スロットの認識方法、装置及び電子機器

Country Status (3)

Country Link
US (1) US20220005461A1 (ja)
JP (1) JP7308910B2 (ja)
CN (1) CN112632987B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425945B1 (ja) 2022-10-25 2024-02-01 正宏 小川 コンピュータ会話装置、コンピュータ会話方法およびコンピュータ会話装置用のプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220999B (zh) * 2021-05-14 2024-07-09 北京百度网讯科技有限公司 用户特征的生成方法、装置、电子设备和存储介质
CN115965018B (zh) * 2023-01-04 2024-04-26 北京百度网讯科技有限公司 信息生成模型的训练方法、信息生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013174995A (ja) * 2012-02-24 2013-09-05 Nippon Hoso Kyokai <Nhk> 基本語彙抽出装置、及びプログラム
JP2019016269A (ja) * 2017-07-10 2019-01-31 ヤフー株式会社 学習装置、情報処理装置、学習方法及び学習プログラム
JP2019086820A (ja) * 2017-11-01 2019-06-06 Tis株式会社 入力内容決定装置
CN111143561A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 意图识别模型训练方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235358B2 (en) * 2013-02-21 2019-03-19 Microsoft Technology Licensing, Llc Exploiting structured content for unsupervised natural language semantic parsing
US10437833B1 (en) * 2016-10-05 2019-10-08 Ontocord, LLC Scalable natural language processing for large and dynamic text environments
CN110168535B (zh) * 2017-10-31 2021-07-09 腾讯科技(深圳)有限公司 一种信息处理方法及终端、计算机存储介质
US11138374B1 (en) * 2018-11-08 2021-10-05 Amazon Technologies, Inc. Slot type authoring
GB201818237D0 (en) * 2018-11-08 2018-12-26 Polyal A dialogue system, a dialogue method, a method of generating data for training a dialogue system, a system for generating data for training a dialogue system
CN111178077B (zh) * 2019-12-26 2024-02-02 深圳市优必选科技股份有限公司 一种语料生成方法、语料生成装置及智能设备
CN111708800A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 查询方法、装置及电子设备
US11132988B1 (en) * 2020-10-22 2021-09-28 PolyAI Limited Dialogue system, a dialogue method, and a method of training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013174995A (ja) * 2012-02-24 2013-09-05 Nippon Hoso Kyokai <Nhk> 基本語彙抽出装置、及びプログラム
JP2019016269A (ja) * 2017-07-10 2019-01-31 ヤフー株式会社 学習装置、情報処理装置、学習方法及び学習プログラム
JP2019086820A (ja) * 2017-11-01 2019-06-06 Tis株式会社 入力内容決定装置
CN111143561A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 意图识别模型训练方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425945B1 (ja) 2022-10-25 2024-02-01 正宏 小川 コンピュータ会話装置、コンピュータ会話方法およびコンピュータ会話装置用のプログラム

Also Published As

Publication number Publication date
US20220005461A1 (en) 2022-01-06
JP7308910B2 (ja) 2023-07-14
CN112632987B (zh) 2023-08-11
CN112632987A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
JP7283009B2 (ja) 対話理解モデルの訓練方法、装置、デバイス及び記憶媒体
US10726204B2 (en) Training data expansion for natural language classification
US11645470B2 (en) Automated testing of dialog systems
CN108170749B (zh) 基于人工智能的对话方法、装置及计算机可读介质
US20210342549A1 (en) Method for training semantic analysis model, electronic device and storage medium
US20210312139A1 (en) Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium
US10832658B2 (en) Quantized dialog language model for dialog systems
JP2021197138A (ja) エンティティ・リンキング方法、装置、機器、及び記憶媒体
JP2022031804A (ja) イベント抽出方法、装置、電子機器及び記憶媒体
JP7308910B2 (ja) 単語スロットの認識方法、装置及び電子機器
US20210200949A1 (en) Pre-training method for sentiment analysis model, and electronic device
JP2022050379A (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP2021099890A (ja) 因果関係の判別方法、装置、電子機器及び記憶媒体
JP7093825B2 (ja) マンマシン対話方法、装置、及び機器
JP2022006173A (ja) 知識事前訓練モデルの訓練方法、装置及び電子機器
US20230094730A1 (en) Model training method and method for human-machine interaction
JP2021170310A (ja) 対話生成方法、装置、電子機器、プログラム及び記憶媒体
JP2022076439A (ja) 対話管理
JP7369228B2 (ja) ユーザ興味画像の生成方法、装置、電子機器及び記憶媒体
US12086555B2 (en) Method for generating dialogue, electronic device, and storage medium
JP2023002690A (ja) セマンティックス認識方法、装置、電子機器及び記憶媒体
JP7349523B2 (ja) 音声認識方法、音声認識装置、電子機器、記憶媒体コンピュータプログラム製品及びコンピュータプログラム
CN116010571A (zh) 知识库构建方法、信息查询方法、装置以及设备
US20210406294A1 (en) Relevance approximation of passage evidence
CN114416941A (zh) 融合知识图谱的对话知识点确定模型的生成方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230704

R150 Certificate of patent or registration of utility model

Ref document number: 7308910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150