JP2020187513A - 自動報告書作成システム - Google Patents

自動報告書作成システム Download PDF

Info

Publication number
JP2020187513A
JP2020187513A JP2019091139A JP2019091139A JP2020187513A JP 2020187513 A JP2020187513 A JP 2020187513A JP 2019091139 A JP2019091139 A JP 2019091139A JP 2019091139 A JP2019091139 A JP 2019091139A JP 2020187513 A JP2020187513 A JP 2020187513A
Authority
JP
Japan
Prior art keywords
time
term
voice
input
voice recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019091139A
Other languages
English (en)
Other versions
JP6774120B1 (ja
Inventor
潔 関根
Kiyoshi Sekine
潔 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Solutions Corp
Original Assignee
Interactive Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019091139A priority Critical patent/JP6774120B1/ja
Application filed by Interactive Solutions Corp filed Critical Interactive Solutions Corp
Priority to SG11202109885R priority patent/SG11202109885RA/en
Priority to CA3144329A priority patent/CA3144329C/en
Priority to US17/441,283 priority patent/US11570014B2/en
Priority to PCT/JP2020/005197 priority patent/WO2020230383A1/ja
Priority to CN202080006101.3A priority patent/CN112997207A/zh
Application granted granted Critical
Publication of JP6774120B1 publication Critical patent/JP6774120B1/ja
Publication of JP2020187513A publication Critical patent/JP2020187513A/ja
Priority to US18/087,775 priority patent/US11991017B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】自動的に報告書を作成することができる自動報告書作成システムを提供する。【解決手段】自動報告作成システム1は、音声認識部3と、計時部7と、用語辞書9とを有する。音声認識部は、あらかじめ記憶されていた開始用語が入力されたことを認識し、計時部は、音声認識部が開始用語が入力されたことを認識した時間に基づいて、開始時間を求める。音声認識部は、あらかじめ記憶されていた終了用語が入力されたことを認識する。計時部は、音声認識部が終了用語が入力されたことを認識した時間に基づいて、終了時間を求める。音声認識部は、開始時間から終了時間までの音声を記録音声として記憶するとともに、記録音声を解析し、記録音声に含まれる用語のうち、用語辞書に含まれる用語である発話キーワードを抽出して記憶し、開始時間、終了時間及び発話キーワードに関する情報を含むファイルであって、録音音声と関連付けられたファイルを作成する。【選択図】図1

Description

この発明は,自動報告書作成システムに関する。
特開2015−75792号公報には, 物件の保守点検作業を行う作業員が所持する携帯端末を利用した報告書作成システムが記載されている。この報告書作成システムは,作業員によって入力された音声に基づく情報によって,物件の作業対象項目ごとの保守点検結果を集約する報告書作成システムが記載されている。
この報告書作成システムは,物件の作業対象項目ごとに音声入力された情報を自動的に集約するものなので,用途が物件の保守点検作業に限られている。また,このシステムは,任意の内容を報告書にすることができない。
特開2015−75792号公報
この明細書に記載されるある発明は,自動的に様々な用途の報告書を作成することができる自動報告書作成システムを提供することを目的とする。
上記の課題は,例えば,用語辞書を用いて,会話に含まれる音声情報から必要な用語を抽出することで,自動的に報告書を作成できるという知見に基づく。また,好ましい態様では,GPSなどの位置情報確認部を有し,位置情報を確認し,打ち合わせや会議などの場所や時刻を特定することで,より自動的に,打ち合わせなどの場所や開始時間を把握できるという知見に基づく。
この明細書に記載される発明のひとつは,自動報告作成システムに関する。
このシステム1は,音声認識部3と,位置情報確認部5と,計時部7と,用語辞書9とを有する。位置情報確認部が,自動報告作成システムの位置を確認し,一定時間以上,所定の地理的範囲に自動報告作成システムが留まっていることを確認する。そして,位置情報確認部が,自動報告作成システムの位置と関連して打合せ場所を求める。求めた打ち合わせ場所は,適宜システムの記憶部に記憶されてもよい。
その場合,計時部は,
所定の地理的範囲に自動報告作成システムが留まり始めた時間,
所定の地理的範囲に自動報告作成システムが留まり始めた後であって,音声認識部に音声が入力された時間,又は
音声認識部があらかじめ記憶されていた開始用語が入力されたことを認識した時間に基づいて,開始時間を求める。
また,計時部は,所定の地理的範囲から自動報告作成システムが離れた時間,又は所定の地理的範囲から自動報告作成システムが離れた時間の前であって,音声認識部に音声が最後に入力された時間に基づいて,終了時間を求める。
音声認識部は,開始時間から終了時間までの音声を記録音声として記憶するとともに,記録音声を解析し,記録音声に含まれる用語のうち,用語辞書に含まれる用語である発話キーワードを抽出して記憶する。
また,自動報告作成システムは,打合せ場所,開始時間,終了時間及び発話キーワードに関する情報を含むファイルであって,録音音声と関連付けられたファイルを作成する。このようにして,このシステムは,報告書を自動的に作成する。
上記のシステムの好ましい例は,以下のとおりである。
つまり,位置情報確認部は,打ち合わせ場所の候補を,自動報告作成システムの位置情報に基づいて表示し,打ち合わせ場所として入力されたものを,打合せ場所として記憶する。
上記のシステムの好ましい例は,以下のとおりである。
スケジューラー又は会議室予約システムと連動し,
スケジューラー又は会議室予約システムが記憶する打合せ情報を受け取り,
位置情報確認部が確認した位置情報が,打合せ情報に含まれる情報と関連した場合に,打合せ情報に含まれる打ち合わせ場所情報及び出席者情報のいずれか又は両方を読み出す。
自動報告作成システム1の別の例は,
音声認識部3と,計時部7と,用語辞書9とを有し,
音声認識部3は,あらかじめ記憶されていた開始用語が入力されたことを認識し,
計時部7は,音声認識部3が開始用語が入力されたことを認識した時間に基づいて,開始時間を求め,
音声認識部3は,あらかじめ記憶されていた終了用語が入力されたことを認識し,
計時部7は,音声認識部3が終了用語が入力されたことを認識した時間に基づいて,終了時間を求め,
音声認識部3は,開始時間から終了時間までの音声を記録音声として記憶するとともに,記録音声を解析し,記録音声に含まれる用語のうち,用語辞書9に含まれる用語である発話キーワードを抽出して記憶し,
開始時間,終了時間及び発話キーワードに関する情報を含むファイルであって,録音音声と関連付けられたファイルを作成する,
自動報告作成システム1である。
この自動報告書作成システムは,自動的に様々な用途の報告書を作成することができる。
図1は,自動報告作成システムを説明するためのブロック図である。 図2は,コンピュータの基本構成を示すブロック図である。 図3は,報告書のフォーマットの例を示す概念図である。 図4は,記憶部から複数の企業名が読み出され,場所の候補として,読み出された企業名が表示された様子を示す概念図である。 図5は,スケジューラーの表示画面の例を示す概念図である。
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
図1は,自動報告作成システムを説明するためのブロック図である。図1に示されるように,このシステム1は,音声認識部3と,位置情報確認部5と,計時部7と,用語辞書9とを有する。このシステムは,コンピュータにより自動的に処理がなされるシステムであることが望ましい。また,このシステムは,ユーザからの入力があった場合,その入力をも情報のひとつとして処理することができるものであってもよい。
図2は,コンピュータの基本構成を示すブロック図である。この図に示されるように,コンピュータは,入力部11,出力部13,制御部15,演算部17及び記憶部19を有しており,各要素は,バス21などによって接続され,情報の授受を行うことができるようにされている。例えば,記憶部には,制御プログラムが記憶されていてもよいし,各種情報が記憶されていてもよい。入力部から所定の情報が入力された場合,制御部は,記憶部に記憶される制御プログラムを読み出す。そして,制御部は,適宜記憶部に記憶された情報を読み出し,演算部へ伝える。また,制御部は,適宜入力された情報を演算部へ伝える。演算部は,受け取った各種情報を用いて演算処理を行い,記憶部に記憶する。制御部は,記憶部に記憶された演算結果を読み出して,出力部から出力する。このようにして,各種処理が実行される。この各種処理を実行するものが,各手段である。
自動報告作成システム1(を携帯するユーザ)が移動すると,GPSなどの位置情報確認部5は,自動報告作成システム1の位置を随時記憶部に記憶する。計時部7は,時刻を求め,記憶することができるほか,時間を計測できる手段である。例えば,自動報告作成システム1は,所定時間以上(例えば1分以上),一定の範囲(例えば10m以内)に留まる場合は,留まった場所を打ち合わせ場所として記憶する。このため,一定時間や一定範囲に関する情報を記憶部に記憶する。そして,システム1は,位置情報確認部5からシステム1の位置情報を受取り,システム1が記憶部から一定時間と一定範囲に関する情報を読み出す。そして,計時部7からの時間の情報と,位置情報確認部5のシステム1の位置情報,及び読み出した一定時間と一定範囲に関する情報を用いて,システム1が一定時間と一定範囲に存在するか否か判断する。そして,システム1は,システム1が一定時間以上一定範囲以内に存在すると判断した場合,そのシステム1が存在する位置を打合せ場所として,記憶部に記憶させればよい。このようにして,位置情報確認部5が,自動報告作成システム1の位置を確認し,一定時間以上,所定の地理的範囲に自動報告作成システム1が留まっていることを確認する。すると,位置情報確認部5が,自動報告作成システム1の位置と関連して打合せ場所を記憶する。
その場合,計時部7は,
(1)所定の地理的範囲に自動報告作成システム1が留まり始めた時間,
(2)所定の地理的範囲に自動報告作成システム1が留まり始めた後であって,音声認識部3に音声が入力された時間,又は
(3)音声認識部3があらかじめ記憶されていた開始用語が入力されたことを認識した時間に基づいて,開始時間を求める。これらは,システムにおいていずれかをあらかじめ設定しておけばよい。
上記(1)について説明する。先に説明した通り,システム1は,計時部7が時刻を記憶する。また,位置情報確認部5がシステム1の位置を記憶する。このため,システム1は,システム1が一定時間以上一定範囲以内に存在すると判断した場合,システム1が一定範囲以内に存在した始めた時間を計時部7における記憶部から読み出して,開始時間とすればよい。
上記(2)について説明する。音声認識部3は,例えば,集音機能を有している。そして,音声認識部3は,システム1に入力される音声を適宜録音し,記憶部に記憶する。この際に,音声認識部3は,音声に含まれる各用語を解析してもよい。システム1は,計時部7から時刻に関する情報を得て,各用語がシステム1に入力された時刻とともに各用語を記憶部に記憶してもよい。上記の通り,一定時間以上,所定の地理的範囲に自動報告作成システム1が留まっていると,システム1が判断した場合に,(自動的に)音声認識部3が録音を開始するか,又は音声認識部3がON状態となってもよい。システム1は,記憶部に記憶された音声(特に特定の周波数領域の音声)の音量が一定以上の場合に,打ち合わせ等が開始されたと判断し,その時間を開始時間として記憶してもよい。この場合,例えば,上記の特定の周波数領域に関する情報や,一定の音量に関する情報を記憶部に記憶しておき,適宜読み出して,記憶部に記憶された音声情報と,記憶部から読み出したの特定の周波数領域に関する情報や,一定の音量に関する情報とを比較し,記憶部に記憶された音声情報のうち,特定の周波数領域のものの音量が一定以上であると判断すればよい。このようにして,システム1は,所定の地理的範囲に自動報告作成システム1が留まり始めた後であって,音声認識部3に音声が入力された時間を開始時間として,記憶部に記憶させることができる。
最後に,上記(3)について説明する。この場合も上記(2)と同様の部分は,説明を省略する。用語辞書9は,例えば,打ち合わせ開始と関連した,1又は複数の開始用語を記憶する。開始用語の例は,「お待たせ」(しました)。「よろしく」「お願いします」「ありがとうございます」「はじめます」「はじめさせていただきます」といったものである。音声認識部3が音声を記憶部に記憶する。この際,例えば,各用語がシステム1に入力された時刻に関する情報を計時部7から受け取って,認識した用語とともに時刻に関する情報も併せて記憶部に記憶する。システム1は,用語辞書9から,開始用語として記憶された用語を読み出す。そして,システム1は,記憶部に記憶された用語(会話用語)と,読み出した開始用語とが一致するか否か判断する。そして,記憶部に記憶された用語(会話用語)が,開始用語のいずれかと一致した場合,記憶部からその会話用語がシステム1に入力された時刻を読み出す。この際システム1の計時部7が時刻を求めてもよい。そして,読み出した時刻を,開始時刻として記憶部に記憶する。このようにして,システム1は,音声認識部3があらかじめ記憶されていた開始用語が入力されたことを認識した時間に基づいて,開始時間を求めることができる。
(3)の別の例は,例えば,ユーザが打ち合わせ場所に到達し,打ち合わせが始まる直前に,システム1の電源を入れて,開始用語(例えば,「開始」)と話しかけることで,システム1が,打ち合わせが始まったと認識し,開始用語がシステム1に入力された時刻を,計時部から受け取って,記憶部に開始時刻として記憶してもよい。この際に,位置情報確認部5は,システム1が存在する場所を打ち合わせ場所として記憶部に記憶してもよい。
上記(3)の例では,打ち合わせ等に用いられる用語が発生された場合に,開始時刻とすることができるので,例えば,打ち合わせに向かって移動中に,渋滞にまきこまれ,車が一定時間以上止まっていたため,打ち合わせが開始されたとシステムが誤判断する事態を防止できる。また,例えば,電車やバスの乗り継ぎのため一定時間以上待合室で座っていた場合に,打ち合わせが開始されたとシステムが誤判断する事態を防止できる。
また,計時部7は,(1)所定の地理的範囲から自動報告作成システム1が離れた時間,(2)所定の地理的範囲から自動報告作成システム1が離れた時間の前であって,音声認識部3に音声が最後に入力された時間,(3)音声認識部があらかじめ記憶されていた終了用語が入力されたことを認識した時間に基づいて,終了時間を求める。これらは,システムにおいていずれかをあらかじめ設定しておけばよい。
上記の(1)について説明する。先に説明した通り,システム1は,計時部7が時刻を記憶する。また,位置情報確認部5がシステム1の位置を記憶する。このため,システム1は,システム1が一定の地理的範囲から離れたと判断した場合,打ち合わせが終わったと判断し,一定の地理的範囲から離れた時間を計時部7における記憶部から読み出して,終了時間とすればよい。
上記(2)について説明する。システム1は,例えば,計時部7から時刻に関する情報を得て,音声がシステム1(したがって,音声認識部3)に入力された時刻とともに,音声認識部が解析した各用語を記憶部に記憶する。すなわち,システム1は,各用語と,その用語が話された時刻とを記憶部に記憶している。位置情報確認部5がシステム1の位置を記憶し,システム1が,上記の位置情報を解析し,システム1が所定の地理的範囲から離れたことを認識する。システム1は,各用語とその用語が話された時刻とを記憶しているので,システム1が所定の地理的範囲から離れた時刻より前の時刻であって,最後の用語が話された時刻を,終了時間とすればよい。このようにして,システム1は,所定の地理的範囲から自動報告作成システム1が離れた時間の前であって,音声認識部3に音声が最後に入力された時間を終了時間として,記憶部に記憶させることができる。
最後に,上記(3)について説明する。この場合も上記(2)と同様の部分は,説明を省略する。用語辞書9は,例えば,打ち合わせ開始と関連した,1又は複数の終了用語を記憶する。終了用語の例は,「ありがとうございました」,「終わります」,「お疲れさまでした」,「ご足労頂きありがとうございました」といったものである。音声認識部3が音声を記憶部に記憶する。システム1は,用語辞書9から,終了用語として記憶された用語を読み出す。そして,システム1は,記憶部に記憶された用語(会話用語)と,読み出した終了用語とが一致するか否か判断する。そして,記憶部に記憶された用語(会話用語)が,終了用語のいずれかと一致した場合,記憶部からその会話用語がシステム1に入力された時刻を読み出す。そして,読み出した時刻を,終了時間として記憶部に記憶する。このようにして,システム1は,音声認識部があらかじめ記憶されていた終了用語が入力されたことを認識した時間に基づいて,終了時間を求め,記憶することができる。
(3)の別の例は,例えば,ユーザが打ち合わせ場所から離れる際に,システム1の電源を入れて,終了用語(例えば,「録音終わり」)と話しかけることで,システム1が,打ち合わせが終わったと認識し,終了用語がシステム1に入力された時刻を,計時部から受け取って,記憶部に終了時刻として記憶してもよい。この際に,システム1は,自動的に電源を切ってもよい。
音声認識部3は,開始時間から終了時間までの音声を記録音声として記憶するとともに,記録音声を解析し,記録音声に含まれる用語のうち,用語辞書9に含まれる用語である発話キーワードを抽出して記憶する。
用語辞書9には,複数の発話キーワードが記憶されている。システム1は,用語辞書9から発話キーワードを読み出すとともに,記憶部に記憶された会話用語を読み出し,会話用語がいずれかの発話キーワードと一致するか判断する。そして,会話用語がいずれかの発話キーワードと一致した場合に,その発話キーワードを記憶部に記憶すればよい。
次に,システムは,報告書用のデータを作成する。
自動報告作成システム1は,記憶部に記憶した,打合せ場所,開始時間,終了時間及び発話キーワードに関する情報を読み出す。また,システムは,記憶部に記憶された会話の録音音声に関するデータを読み出す。そして,システム1は,読み出した打合せ場所,開始時間,終了時間及び発話キーワードに関する情報と録音音声に関するデータを用いて,打合せ場所,開始時間,終了時間及び発話キーワードを含むファイルであって,録音音声と関連付けられたファイルを作成する。このようにして,このシステムは,報告書を自動的に作成する。
図3は,報告書のフォーマットの例を示す概念図である。記憶部に記憶され読み出された打ち合わせ場所に関する情報は,場所に関する位置31に表示されるように表示データが作成される。これは例えば,場所に関するタグに続いて,読み出された打ち合わせ場所に関するデータを置けばよい。このようなデータを準備すると,ユーザが,報告書を表示する画面では,場所に関する位置31に,打ち合わせ場所に関する情報が,表示されることとなる。日時も,記憶部に記憶した開始時間及び終了時間に関する情報を用いて,日時に関する位置33に表示されるようにすればよい。日時の表示は,開始時間と終了時間とを表示するようにしてもよいし,開始時間のみ表示するようにしてもよいし,終了時間と開始時間の差分を求めて,打ち合わせ時間を表示するようにしてもよい。内容の位置37には,記憶部に記憶された1又は複数の発話キーワードが表示される。発話キーワードの例は,特定の医薬に関して,説明する必要がある用語である。すると,インフォームドコンセントのように,説明する必要がある用語が全て,話されたか否か容易にチェックできる。そして,全ての発話キーワードが,内容の位置37に表示されない場合は,後述する音声ファイル読み出しアイコン39を用いて,会話内容をチェックしてもよい。
また,説明する必要がある発話キーワードをあらかじめ記憶部に記憶させていてもよい。そして,システム1は,会話に含まれる発話キーワードが,全ての必要キーワードと一致するか判断してもよい。そのうえで,システム1は,会話に含まれた発話キーワードが,全ての必要キーワードを網羅していない場合には,注意を喚起する情報が報告書に表示されるようにしてもよい。これは,注意喚起用の用語やマークを記憶部に記憶しておき,会話に含まれた発話キーワードが,全ての必要キーワードを網羅していない場合には,記憶部に記憶した注意喚起用の用語やマークを,報告書に表示されるように処理すればよい。
なお,参加者が,同じアプリケーションをインストールしている場合,位置情報確認部5を用いることで,同じ打ち合わせに出征した当事者を把握できる。この場合,記憶部は,各システムをインストールした端末のユーザに関する情報を記憶しており,その記憶されたユーザに関する情報を読み出して,参加者を表示する位置35に表示されるように制御してもよい。
位置情報確認部5は,打ち合わせ場所の候補を,自動報告作成システム1の位置情報に基づいて表示し,打ち合わせ場所として入力されたものを,打合せ場所として記憶するものであってもよい。
例えば,ビルに複数の企業が入居している場合がある。この場合,記憶部には,そのビルの位置に関連し,複数の企業名など企業に関する情報が記録されている。位置情報確認部5が,システム1の位置を確認し,そのビルに入居している複数の企業に関する情報を読み出す。そして,システム1は,例えば,記憶部から,それら複数の企業に関する情報を読み出し,報告書の場所に関する位置31に,それら複数の企業名を表示する。複数の企業名は,プルダウン式に表示されるようにしてもよい。図4は,記憶部から複数の企業名が読み出され,場所(打ち合わせ場所)の候補として,読み出された企業名(AAAAAA,BBBBBB,及びCCCCCC)が表示された様子を示す概念図である。そして,ユーザが,企業名を選択した場合,システム1は,企業名に関する入力を受け取る。そして,システム1は,入力された企業名を,打ち合わせ場所として,記憶部に記憶すればよい。このようにすれば,打ち合わせ場所の候補を表示することができ,手入力しなくても,打ち合わせ場所を容易に特定できることとなる。
スケジューラー又は会議室予約システムと連動し,
スケジューラー又は会議室予約システムが記憶する打合せ情報を受け取り,
位置情報確認部5が確認した位置情報が,打合せ情報に含まれる情報と関連した場合に,打合せ情報に含まれる打ち合わせ場所情報及び出席者情報のいずれか又は両方を読み出すようにしてもよい。
図5は,スケジューラーの表示画面の例を示す概念図である。この例では,カレンダーの日付を矢印アイコン41で指定すると,その日に予定されているスケジュールがスケジュール表示画面43に表示される。このシステムは,各日付と関連し,記憶部にその日のスケジュールが記憶されている。スケジュールには,打ち合わせのタイトル,打ち合わせ予定時間の他,打ち合わせ場所,出席予定者,打ち合わせ概要といった打合せ情報が含まれている。そして,スケジューラーと連携したシステム1は,記憶部から打ち合わせ場所に関する情報を読み出す。そして,システム1は,位置情報確認部5が確認した位置情報が,打ち合わせ場所と一致する場合に,打ち合わせ場所が正しいと判断してもよい。また,システム1は,記憶部から,その打ち合わせに関して記憶されている出席予定者の情報を読み出してもよい。そして,読み出した出席予定者に関する情報は,先に説明した報告書の出席者の欄に表記されるようにしてもよい。
自動報告作成システムの上記とは別の態様は,音声認識部3と,計時部7と,用語辞書9とを有するものである。このシステムは,コンピュータにより自動的に処理がなされるシステムであることが望ましい。また,このシステムは,ユーザからの入力があった場合,その入力をも情報のひとつとして処理することができるものであってもよい。このシステムも,基本的には先に説明したシステムと同様の処理を行うものである。
例えば,ユーザがシステムに向かって,開始用語を話す。すると,その音声は,システム内に入力される。そして,音声認識部3は,あらかじめ記憶されていた開始用語が入力されたことを認識する。例えば,用語辞書9は,1又は複数の開始用語を記憶する。音声認識部3が音声を記憶部に記憶する。システム1は,用語辞書9から,開始用語として記憶された用語を読み出す。そして,システム1は,記憶部に記憶された用語(会話用語)と,読み出した開始用語とが一致するか否か判断する。そして,記憶部に記憶された用語(会話用語)が,開始用語のいずれかと一致した場合,記憶部からその会話用語がシステム1に入力された時刻を読み出す。この際,計時部7は,音声認識部3が,開始用語が入力されたことを認識した時間に基づいて,開始時間を求める。
例えば,ユーザがシステムに向かって,終了用語を話す。すると,その音声は,システム内に入力される。音声認識部3は,あらかじめ記憶されていた終了用語が入力されたことを認識する。例えば,用語辞書9は,1又は複数の終了用語を記憶する。音声認識部3が音声を記憶部に記憶する。システム1は,用語辞書9から,終了用語として記憶された用語を読み出す。そして,システム1は,記憶部に記憶された用語(会話用語)と,読み出した終了用語とが一致するか否か判断する。そして,記憶部に記憶された用語(会話用語)が,終了用語のいずれかと一致した場合,記憶部からその会話用語がシステム1に入力された時刻を読み出す。計時部7が,音声認識部3が,終了用語が入力されたことを認識した時間に基づいて,終了時間を求めてもよい。
音声認識部3は,開始時間から終了時間までの音声を記録音声として記憶する。そして,システム1は,記録音声ファイルを作成する。記録音声を解析し,記録音声に含まれる用語のうち,用語辞書9に含まれる用語である発話キーワードを抽出して記憶する。そして,開始時間,終了時間及び発話キーワードに関する情報を含むファイルであって,録音音声と関連付けられたファイルを作成する。
先に説明した自動報告作成システム1は,上記の態様の自動報告作成システムにおいて,さらに位置情報確認部5を有する構成といえる。
この発明は,情報通信関連の分野で利用され得る。
1 自動報告作成システム
3 音声認識部
5 位置情報確認部
7 計時部
9 用語辞書

Claims (4)

  1. 自動報告作成システムであって,
    音声認識部と,位置情報確認部と,計時部と,用語辞書とを有し,
    前記位置情報確認部が,前記自動報告作成システムの位置を確認し,一定時間以上,所定の地理的範囲に前記自動報告作成システムが留まっている場合に,
    前記位置情報確認部が,前記自動報告作成システムの位置と関連した打合せ場所を求め,
    前記計時部は,
    前記所定の地理的範囲に自動報告作成システムが留まり始めた時間,
    前記所定の地理的範囲に自動報告作成システムが留まり始めた後であって,前記音声認識部に音声が入力された時間,又は
    前記音声認識部があらかじめ記憶されていた開始用語が入力されたことを認識した時間に基づいて,開始時間を求め,
    前記計時部は,前記所定の地理的範囲から自動報告作成システムが離れた時間,又は前記所定の地理的範囲から自動報告作成システムが離れた時間の前であって,前記音声認識部に音声が最後に入力された時間,音声認識部があらかじめ記憶されていた終了用語が入力されたことを認識した時間に基づいて,終了時間を求め,
    前記音声認識部は,前記開始時間から前記終了時間までの音声を記録音声として記憶するとともに,前記記録音声を解析し,前記記録音声に含まれる用語のうち,前記用語辞書に含まれる用語である発話キーワードを抽出して記憶し,
    前記打合せ場所,前記開始時間,前記終了時間及び前記発話キーワードに関する情報を含むファイルであって,前記録音音声と関連付けられたファイルを作成する,
    自動報告作成システム。
  2. 請求項1に記載の自動報告書作成システムであって,
    前記位置情報確認部は,打ち合わせ場所の候補を,前記自動報告作成システムの位置情報に基づいて表示し,打ち合わせ場所として入力されたものを,前記打合せ場所として記憶する,システム。
  3. 請求項1に記載の自動報告書作成システムであって,
    スケジューラー又は会議室予約システムと連動し,
    前記スケジューラー又は会議室予約システムが記憶する打合せ情報を受け取り,
    前記位置情報確認部が確認した位置情報が,前記打合せ情報に含まれる情報と関連した場合に,前記前記打合せ情報に含まれる打ち合わせ場所情報及び出席者情報のいずれか又は両方を読み出す,
    システム。
  4. 自動報告作成システムであって,
    音声認識部と,計時部と,用語辞書とを有し,
    前記音声認識部は,あらかじめ記憶されていた開始用語が入力されたことを認識し,
    計時部は,前記音声認識部が開始用語が入力されたことを認識した時間に基づいて,開始時間を求め,
    前記音声認識部は,あらかじめ記憶されていた終了用語が入力されたことを認識し,
    前記計時部は,前記音声認識部が終了用語が入力されたことを認識した時間に基づいて,終了時間を求め,
    前記音声認識部は,前記開始時間から前記終了時間までの音声を記録音声として記憶するとともに,前記記録音声を解析し,前記記録音声に含まれる用語のうち,前記用語辞書に含まれる用語である発話キーワードを抽出して記憶し,
    前記開始時間,前記終了時間及び前記発話キーワードに関する情報を含むファイルであって,前記録音音声と関連付けられたファイルを作成する,
    自動報告作成システム。
JP2019091139A 2019-05-14 2019-05-14 自動報告書作成システム Active JP6774120B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019091139A JP6774120B1 (ja) 2019-05-14 2019-05-14 自動報告書作成システム
CA3144329A CA3144329C (en) 2019-05-14 2020-02-10 Automatic report creation system
US17/441,283 US11570014B2 (en) 2019-05-14 2020-02-10 Automatic report creation system
PCT/JP2020/005197 WO2020230383A1 (ja) 2019-05-14 2020-02-10 自動報告書作成システム
SG11202109885R SG11202109885RA (en) 2019-05-14 2020-02-10 Automatic report creation system
CN202080006101.3A CN112997207A (zh) 2019-05-14 2020-02-10 报告自动生成系统
US18/087,775 US11991017B2 (en) 2019-05-14 2022-12-22 Automatic report creation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019091139A JP6774120B1 (ja) 2019-05-14 2019-05-14 自動報告書作成システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020160481A Division JP7008993B2 (ja) 2020-09-25 2020-09-25 自動報告書作成システム

Publications (2)

Publication Number Publication Date
JP6774120B1 JP6774120B1 (ja) 2020-10-21
JP2020187513A true JP2020187513A (ja) 2020-11-19

Family

ID=72830785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019091139A Active JP6774120B1 (ja) 2019-05-14 2019-05-14 自動報告書作成システム

Country Status (6)

Country Link
US (2) US11570014B2 (ja)
JP (1) JP6774120B1 (ja)
CN (1) CN112997207A (ja)
CA (1) CA3144329C (ja)
SG (1) SG11202109885RA (ja)
WO (1) WO2020230383A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429780B1 (en) 2021-01-11 2022-08-30 Suki AI, Inc. Systems and methods to briefly deviate from and resume back to amending a section of a note
US20220358418A1 (en) * 2021-05-05 2022-11-10 Omer Salik System and Method for Organization and Verification of Live Events
CN116244091B (zh) * 2022-11-30 2024-04-05 荣耀终端有限公司 一种日程管理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171480A (ja) * 2002-11-22 2004-06-17 Toshiba Corp 現地調査レポート作成支援システムとその方法
JP2008293168A (ja) * 2007-05-23 2008-12-04 Seiko Epson Corp 業務管理システム、および、業務管理方法
JP2011034405A (ja) * 2009-08-03 2011-02-17 Advanced Telecommunication Research Institute International シナリオ構築装置
US20180218734A1 (en) * 2017-01-31 2018-08-02 Microsoft Technology Licensing, Llc Associating meetings with projects using characteristic keywords

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3185505B2 (ja) * 1993-12-24 2001-07-11 株式会社日立製作所 会議録作成支援装置
JP3813850B2 (ja) * 2001-09-26 2006-08-23 株式会社東芝 検索方法および検索装置
US20040093256A1 (en) * 2002-11-08 2004-05-13 Luis Garcia Automated labor overtime projection method
JP4529918B2 (ja) * 2006-02-06 2010-08-25 セイコーエプソン株式会社 タイマ装置
US20090241033A1 (en) * 2008-03-21 2009-09-24 Florida Gulf Coast University Participant response and polling system
US20120075338A1 (en) * 2010-09-29 2012-03-29 Lemi Technology, Llc Proximity inclusion zone pickup settings for distributed conversations
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US8914452B2 (en) * 2012-05-31 2014-12-16 International Business Machines Corporation Automatically generating a personalized digest of meetings
US20140040780A1 (en) * 2012-08-06 2014-02-06 Punch Technologies, Inc. System and method for providing collaboration information around projects and activities using remote time triggers
US20140278389A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Adjusting Trigger Parameters for Voice Recognition Processing Based on Noise Characteristics
DE102013007248A1 (de) * 2013-04-19 2014-10-23 Rainer Lutze Verfahren zur Erfassung, Aggregation, Aktualisierung und Verbreitung von nach Zeit- und Raumbezug geprüften, bewertbaren, inhaltlich korrigier- und verifizierbaren Nachrichten über öffentliche Ereignisse von allgemeinem Interesse
JP2015075792A (ja) 2013-10-04 2015-04-20 東芝エレベータ株式会社 報告書作成システム
EP3158691A4 (en) * 2014-06-06 2018-03-28 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speactoit" Proactive environment-based chat information system
US9947313B2 (en) * 2015-01-26 2018-04-17 William Drewes Method for substantial ongoing cumulative voice recognition error reduction
US10191614B2 (en) * 2015-02-25 2019-01-29 Htc Corporation Panel displaying method, portable electronic device and recording medium using the method
US9701424B2 (en) * 2015-03-31 2017-07-11 Gulfstream Aerospace Corporation Detachable detection and warning system for an aircraft
US9740678B2 (en) * 2015-06-25 2017-08-22 Intel Corporation Method and system of automatic speech recognition with dynamic vocabularies
US20170010783A1 (en) * 2015-07-07 2017-01-12 The John Avery Company Emergency call smart phone application
US10341397B2 (en) * 2015-08-12 2019-07-02 Fuji Xerox Co., Ltd. Non-transitory computer readable medium, information processing apparatus, and information processing system for recording minutes information
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US20180018961A1 (en) * 2016-07-13 2018-01-18 Google Inc. Audio slicer and transcription generator
US10277412B2 (en) * 2016-08-31 2019-04-30 International Business Machines Corporation Meeting invitee as proxy
JP6664784B2 (ja) * 2017-06-01 2020-03-13 株式会社インタラクティブソリューションズ 表示装置
US11126938B2 (en) * 2017-08-15 2021-09-21 Accenture Global Solutions Limited Targeted data element detection for crowd sourced projects with machine learning
US11663182B2 (en) * 2017-11-21 2023-05-30 Maria Emma Artificial intelligence platform with improved conversational ability and personality development
KR102044526B1 (ko) * 2017-12-01 2019-11-13 엘지전자 주식회사 인공지능에 기반하여 음성 인식을 향상시키는 방법 및 이를 구현하는 장치
US20210233556A1 (en) * 2018-06-27 2021-07-29 Sony Corporation Voice processing device, voice processing method, and recording medium
KR20200013152A (ko) * 2018-07-18 2020-02-06 삼성전자주식회사 이전에 대화를 수집한 결과를 기반으로 인공 지능 서비스를 제공하는 전자 장치 및 방법
US11189267B2 (en) * 2018-08-24 2021-11-30 Bright Marbles, Inc. Intelligence-driven virtual assistant for automated idea documentation
JP7243106B2 (ja) * 2018-09-27 2023-03-22 富士通株式会社 修正候補提示方法、修正候補提示プログラムおよび情報処理装置
JP7014142B2 (ja) * 2018-11-30 2022-02-01 日本電信電話株式会社 キーワード抽出装置、キーワード抽出方法、およびプログラム
WO2020142567A1 (en) * 2018-12-31 2020-07-09 Hed Technologies Sarl Systems and methods for voice identification and analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171480A (ja) * 2002-11-22 2004-06-17 Toshiba Corp 現地調査レポート作成支援システムとその方法
JP2008293168A (ja) * 2007-05-23 2008-12-04 Seiko Epson Corp 業務管理システム、および、業務管理方法
JP2011034405A (ja) * 2009-08-03 2011-02-17 Advanced Telecommunication Research Institute International シナリオ構築装置
US20180218734A1 (en) * 2017-01-31 2018-08-02 Microsoft Technology Licensing, Llc Associating meetings with projects using characteristic keywords

Also Published As

Publication number Publication date
US20230131018A1 (en) 2023-04-27
US20220150084A1 (en) 2022-05-12
WO2020230383A1 (ja) 2020-11-19
SG11202109885RA (en) 2021-10-28
US11570014B2 (en) 2023-01-31
US11991017B2 (en) 2024-05-21
CA3144329A1 (en) 2020-11-19
CN112997207A (zh) 2021-06-18
CA3144329C (en) 2023-01-03
JP6774120B1 (ja) 2020-10-21

Similar Documents

Publication Publication Date Title
JP6947852B2 (ja) 複数のコンピューティングデバイスを使用したインターホン式の通信
US11941420B2 (en) Facilitating user device and/or agent device actions during a communication session
KR102155763B1 (ko) 인간 운영자로의 에스컬레이션
WO2020230383A1 (ja) 自動報告書作成システム
US11436417B2 (en) Providing access to user-controlled resources by automated assistants
CN110248019B (zh) 用于启用语音的对话界面的方法、计算机存储介质和设备
US8050923B2 (en) Automated utterance search
US7548895B2 (en) Communication-prompted user assistance
US8880403B2 (en) Methods and systems for obtaining language models for transcribing communications
US9710460B2 (en) Open microphone perpetual conversation analysis
US20160019485A1 (en) Method and system for scheduling meetings
EP3525155A1 (en) Automated business reviews based on patron sentiment
CN105869631B (zh) 语音预测的方法和装置
WO2009119219A1 (ja) 情報提示装置及びコンピュータプログラムを記録した記録媒体、並びに情報提示方法
JP7008993B2 (ja) 自動報告書作成システム
JPWO2020116531A1 (ja) 会話分析システム、方法及びプログラム
JP2022043285A (ja) 自動報告書作成システム
JP6639431B2 (ja) 用件判定装置、要約文表示装置、用件判定方法、要約文表示方法、及びプログラム
WO2017056825A1 (ja) 予定管理装置、電子機器、予定管理装置の制御方法、および制御プログラム
JP4332040B2 (ja) オペレータ支援プログラム、オペレータ支援方法およびオペレータ支援装置
JP2021117580A (ja) 情報処理装置、及びプログラム
WO2008095021A1 (en) Free form voice command model interface for ivr navigation
JP2010008765A (ja) 音声認識方法、音声認識システム、および音声認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200206

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200925

R150 Certificate of patent or registration of utility model

Ref document number: 6774120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150