WO2023248677A1 - Information display control device and information display method - Google Patents

Information display control device and information display method Download PDF

Info

Publication number
WO2023248677A1
WO2023248677A1 PCT/JP2023/019082 JP2023019082W WO2023248677A1 WO 2023248677 A1 WO2023248677 A1 WO 2023248677A1 JP 2023019082 W JP2023019082 W JP 2023019082W WO 2023248677 A1 WO2023248677 A1 WO 2023248677A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
information
reference information
displayed
Prior art date
Application number
PCT/JP2023/019082
Other languages
French (fr)
Japanese (ja)
Inventor
功大 中村
廉 渡辺
博一 小池
純一 糟谷
麻梨子 楠美
早紀 内田
雄大 櫻田
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022100400A external-priority patent/JP2024001624A/en
Priority claimed from JP2022114215A external-priority patent/JP2024011896A/en
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2023248677A1 publication Critical patent/WO2023248677A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided is an information display control device 20 that controls an information display device 10 to display information on a display unit 12, the information display control device 20 comprising: an utterance recognition unit 21 that recognizes an utterance by a speaker; an operation control unit 32 that detects an operation with respect to a display screen displayed on the display unit 12; an extraction unit 26 that extracts keywords requiring reference information from the utterance recognized by the utterance recognition unit 21; an information acquisition unit 27 that acquires reference information about the keywords extracted by the extraction unit 26; and a display control unit 28 that displays the reference information acquired by the information acquisition unit 27 on the display unit 12, wherein when the operation control unit 32 detects that an utterance-related display range being displayed on the display unit 12 has been operated, the display control unit 28 causes the display unit 12 to display reference information about the keywords requiring reference information that the extraction unit 26 extracted immediately prior to the time of detection.

Description

情報表示制御装置および情報表示方法Information display control device and information display method
　本発明は、情報表示制御装置および情報表示方法に関する。 The present invention relates to an information display control device and an information display method.
　会議や会話において、相手が発言した語句の付加的情報を表示する技術が知られている（例えば、特許文献１参照）。 There is a known technology for displaying additional information on words and phrases uttered by the other party in a meeting or conversation (for example, see Patent Document 1).
特開２０２１－００７００３号公報JP 2021-007003 Publication
　表示する付加情報は、略語や難解なキーワードに対しての説明を行う情報である。ところが、付加情報を受け取る側の理解度によっては、付加情報が表示されないキーワードに対しての説明が必要な場合がある。この場合、受け取り側の理解が進みにくくなるおそれがある。または、付加情報が表示されるキーワードに対して説明が不要な場合もある。この場合、受け取り側において付加情報が不要なキーワードであっても付加情報が表示されるので、コミュニケーションの流れを阻害するおそれがある。 The additional information to be displayed is information that provides explanations for abbreviations and difficult keywords. However, depending on the level of understanding of the person receiving the additional information, it may be necessary to explain keywords for which additional information is not displayed. In this case, it may be difficult for the receiver to understand the information. Alternatively, a keyword for which additional information is displayed may not require an explanation. In this case, additional information is displayed even for keywords that do not require additional information on the receiving side, which may impede the flow of communication.
　本開示は、上記に鑑みてなされたものであって、発話内容に基づくキーワードから、適切に参照情報を表示させることを目的とする。 The present disclosure has been made in view of the above, and aims to appropriately display reference information from keywords based on utterance content.
　上述した課題を解決し、目的を達成するために、本開示に係る情報表示制御装置は、表示部に情報を表示するよう情報表示装置を制御する情報表示制御装置であって、発話者の発話を認識する発話認識部と、前記表示部に表示された表示画面に対する操作を検出する操作制御部と、前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、前記情報取得部が取得した前記参照情報を前記表示部に表示する表示制御部と、を備え、前記表示制御部は、前記操作制御部によって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、検出した時点の直前に前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる。 In order to solve the above-mentioned problems and achieve the purpose, an information display control device according to the present disclosure is an information display control device that controls an information display device to display information on a display unit, and which controls the information display device to display information on a display unit, and an operation control unit that detects an operation on the display screen displayed on the display unit; an extraction unit that extracts a keyword requiring reference information from the utterance recognized by the speech recognition unit; The display control unit includes: an information acquisition unit that acquires the reference information for the keyword extracted by the extraction unit; and a display control unit that displays the reference information acquired by the information acquisition unit on the display unit. When the operation control unit detects that the display range related to the utterance displayed on the display unit has been manipulated, the extraction unit extracts the reference information for the keyword that requires the reference information immediately before the detection time. Display it on the display.
　本開示に係る情報表示方法は、表示部に情報を表示する情報表示装置が実行する情報表示方法であって、発話者の発話を認識する発話認識ステップと、前記表示部に表示された表示画面に対する操作を検出する操作制御ステップと、前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、前記抽出ステップで抽出した前記キーワードに対する参照情報を取得する情報取得ステップと、前記情報取得ステップで取得した参照情報を前記表示部に表示する表示制御ステップと、を含み、前記表示制御ステップは、前記操作制御ステップによって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、検出した時点の直前に前記抽出ステップで抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させることを実行する。 An information display method according to the present disclosure is an information display method executed by an information display device that displays information on a display unit, and includes an utterance recognition step of recognizing an utterance of a speaker, and a display screen displayed on the display unit. an operation control step of detecting an operation on the utterance; an extraction step of extracting a keyword requiring reference information from the utterance recognized in the utterance recognition step; and an information acquisition step of acquiring reference information for the keyword extracted in the extraction step. , a display control step of displaying the reference information acquired in the information acquisition step on the display section, and the display control step includes a display range related to the utterance displayed on the display section that is controlled by the operation control step. If it is detected that the keyword has been detected, reference information for the keyword that requires the reference information extracted in the extraction step immediately before the time of detection is displayed on the display unit.
　本開示によれば、発話内容に基づくキーワードから、適切に参照情報を表示させることができるという効果を奏する。 According to the present disclosure, there is an effect that reference information can be appropriately displayed from a keyword based on the content of the utterance.
図１は、第一実施形態に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of an information display device having an information display control device according to the first embodiment. 図２は、情報表示装置の使用例の一例を示す概略図である。FIG. 2 is a schematic diagram showing an example of how the information display device is used. 図３は、情報表示装置の使用例の他の例を示す概略図である。FIG. 3 is a schematic diagram showing another example of how the information display device is used. 図４は、第一実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of the flow of processing in the information display control device according to the first embodiment. 図５は、発話者表示範囲が選択された一例を示す図である。FIG. 5 is a diagram showing an example in which the speaker display range is selected. 図６は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of the flow of processing in the information display control device according to the second embodiment. 図７は、発話者表示範囲を複数に区分けした一例を示す図である。FIG. 7 is a diagram showing an example in which the speaker display range is divided into a plurality of sections. 図８は、参照情報表示範囲を複数に区分けした一例を示す図である。FIG. 8 is a diagram showing an example in which the reference information display range is divided into a plurality of sections. 図９は、操作時点の直前に抽出されたキーワードの一例を説明する略図である。FIG. 9 is a schematic diagram illustrating an example of keywords extracted immediately before the operation time. 図１０は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 10 is a flowchart illustrating an example of the flow of processing in the information display control device according to the third embodiment. 図１１は、第四実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 11 is a flowchart illustrating an example of the flow of processing in the information display control device according to the fourth embodiment. 図１２は、情報表示装置の使用例の一例を示す概略図である。FIG. 12 is a schematic diagram showing an example of how the information display device is used. 図１３は、情報表示装置の使用例の他の例を示す概略図である。FIG. 13 is a schematic diagram showing another example of how the information display device is used. 図１４は、第五実施形態に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。FIG. 14 is a block diagram showing a configuration example of an information display device having an information display control device according to the fifth embodiment. 図１５は、キーワード情報の一例を示す図である。FIG. 15 is a diagram showing an example of keyword information. 図１６は、第五実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 16 is a flowchart illustrating an example of the flow of processing in the information display control device according to the fifth embodiment. 図１７は、第六実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 17 is a flowchart illustrating an example of the flow of processing in the information display control device according to the sixth embodiment. 図１８は、第七実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 18 is a flowchart illustrating an example of the flow of processing in the information display control device according to the seventh embodiment.
　以下に添付図面を参照して、本開示に係る情報表示制御装置および情報表示方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Embodiments of an information display control device and an information display method according to the present disclosure will be described in detail below with reference to the accompanying drawings. Note that the present invention is not limited to the following embodiments.
［第一実施形態］
＜情報表示装置＞
　図１は、第一実施形態に係る情報表示制御装置（以下、「制御装置」という。）２０を有する情報表示装置１０の構成例を示すブロック図である。情報表示装置１０は、例えば、会議または会話のような、少なくとも発話によるコミュニケーションにおいて、参加者の発話に含まれるキーワードの参照情報を表示する。 [First embodiment]
<Information display device>
FIG. 1 is a block diagram showing a configuration example of an information display device 10 having an information display control device (hereinafter referred to as "control device") 20 according to the first embodiment. The information display device 10 displays reference information of keywords included in utterances of participants in at least utterance communication such as a meeting or conversation.
　情報表示装置１０は、複数人数の参加者が参加して、オンラインで行われる会議（以下、「ＷＥＢ会議」という。）または会話において使用される。この場合に使用される情報表示装置１０は、例えば、図示しないＷＥＢ会議システムを介してオンラインのＷＥＢ会議または会話に参加する際に使用されるノート型のパーソナルコンピュータやスマートフォンのような情報端末装置の機能の１つとして実装されていてもよい。 The information display device 10 is used in a conference held online (hereinafter referred to as a "WEB conference") or a conversation in which a plurality of participants participate. The information display device 10 used in this case is, for example, an information terminal device such as a notebook personal computer or a smartphone used when participating in an online web conference or conversation via a web conference system (not shown). It may be implemented as one of the functions.
　以下の説明では、ＷＥＢ会議に使用される場合を例にして説明する。 In the following explanation, the case where it is used for a web conference will be explained as an example.
　情報表示装置１０は、会議において、参加者の発話内容に基づくキーワードの参照情報を表示する。本実施形態では、情報表示装置１０は、会議において、表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、検出した操作時点の直前に抽出したキーワードに対する参照情報を表示する。 The information display device 10 displays keyword reference information based on the content of the participants' utterances during the conference. In the present embodiment, when it is detected that the display range related to utterances displayed on the display unit 12 has been manipulated in a meeting, the information display device 10 provides reference information for the keyword extracted immediately before the detected manipulation time. Display.
　操作時点の直前とは、例えば、操作時点から５秒以内などのように、操作時点から所定遡り期間前までのことである。 Immediately before the operation time refers to a predetermined retrospective period from the operation time, such as within 5 seconds from the operation time.
　図１に示すように、情報表示装置１０は、マイクロフォン１１と、表示部１２と、操作部１７と、キーワード情報記憶部１８と、通信部１９と、制御装置２０とを備える。ＷＥＢ会議に使用する情報表示装置１０は、さらに図示しないカメラを備える。 As shown in FIG. 1, the information display device 10 includes a microphone 11, a display section 12, an operation section 17, a keyword information storage section 18, a communication section 19, and a control device 20. The information display device 10 used for the web conference further includes a camera (not shown).
　マイクロフォン１１は、情報表示装置１０を使用している会議の参加者の音声を収音するマイクロフォンである。マイクロフォン１１は、収音した音声データを制御装置２０の発話認識部２１に出力する。マイクロフォン１１は、参加者である情報表示装置１０を使用するユーザの音声を収音する。 The microphone 11 is a microphone that picks up the voices of participants in the conference who are using the information display device 10. The microphone 11 outputs the collected audio data to the speech recognition unit 21 of the control device 20 . The microphone 11 picks up the voice of a user who is a participant and uses the information display device 10 .
　図２は、情報表示装置の使用例の一例を示す概略図である。図３は、情報表示装置の使用例の他の例を示す概略図である。表示部１２は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１２は、制御装置２０の表示制御部２８から出力された映像信号に基づいて、映像を表示する。 FIG. 2 is a schematic diagram showing an example of how the information display device is used. FIG. 3 is a schematic diagram showing another example of how the information display device is used. The display unit 12 is a display including, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display. The display unit 12 displays video based on the video signal output from the display control unit 28 of the control device 20.
　表示部１２には、会議の参加者の発話に含まれるキーワードに対応する参照情報が表示される。表示部１２において参照情報が表示される範囲を、参照情報表示範囲１１０という。参照情報表示範囲１１０は、表示部１２の一部、例えば、下部、上部、左側部または右側部に表示されてもよい。参照情報表示範囲１１０は、参照情報を表示しないときでも、常時表示されてもよい。参照情報表示範囲１１０は、表示部１２にポップアップ表示されてもよい。参照情報表示範囲１１０は、例えば、３行以下程度の文字が表示される範囲である。 The display unit 12 displays reference information corresponding to keywords included in the utterances of conference participants. The range in which reference information is displayed on the display unit 12 is referred to as a reference information display range 110. The reference information display range 110 may be displayed on a part of the display unit 12, for example, at the bottom, top, left side, or right side. The reference information display range 110 may be displayed all the time even when reference information is not displayed. The reference information display range 110 may be displayed as a pop-up on the display unit 12. The reference information display range 110 is, for example, a range in which about three lines or less of characters are displayed.
　表示部１２は、参加者の映像、および、画面共有された資料などが表示される。 The display unit 12 displays videos of participants, screen-shared materials, and the like.
　操作部１７は、情報表示装置１０に対する各種操作を入力可能な入力装置である。操作部１７は、例えば、キーボード、マウス、表示部１２に重ねて配置されたタッチパネルなどである。操作部１７は、例えば、キー入力操作、クリック操作またはタッチ操作を受け付け可能である。操作部１７は、表示部１２に表示されている発話に関する表示範囲における操作を受け付け可能である。操作部１７は、受け付けた操作を示す操作情報を操作制御部３２へ出力する。 The operation unit 17 is an input device through which various operations on the information display device 10 can be input. The operation unit 17 is, for example, a keyboard, a mouse, a touch panel placed over the display unit 12, or the like. The operation unit 17 can accept, for example, a key input operation, a click operation, or a touch operation. The operation unit 17 can accept operations within the display range related to the utterances displayed on the display unit 12. The operation unit 17 outputs operation information indicating the accepted operation to the operation control unit 32.
　発話に関する表示範囲は、例えば、発話者を表示している表示範囲である発話者表示範囲１２０、または、参照情報を表示する参照情報表示範囲１１０である。 The display range related to speech is, for example, the speaker display range 120, which is the display range that displays the speaker, or the reference information display range 110, which displays reference information.
　図２に示すように、操作部１７は、表示部１２に表示されている発話者表示範囲１３０１２０任意の位置における操作を受け付け可能である。本実施形態では、操作部１７は、発話者表示範囲１２０のうち、発話者の映像が表示された範囲に限定されず、いずれかの参加者の映像が表示された範囲における操作を受け付け可能である。発話者表示範囲１２０は、他のコマンドに対する操作アイコンの位置を除く。 As shown in FIG. 2, the operation unit 17 can accept operations at any position in the speaker display range 130120 displayed on the display unit 12. In the present embodiment, the operation unit 17 is not limited to the range where the speaker's video is displayed in the speaker display range 120, and can accept operations within the range where any participant's video is displayed. be. The speaker display range 120 excludes the positions of operation icons for other commands.
　図３に示すように、操作部１７は、表示部１２に表示されている参照情報表示範囲１１０の任意の位置における操作を受け付け可能である。 As shown in FIG. 3, the operation unit 17 can accept an operation at any position in the reference information display range 110 displayed on the display unit 12.
　キーワード情報記憶部１８は、キーワード情報として、キーワードごとに参照情報を記憶する。キーワード情報記憶部１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子などの記録媒体である。キーワード情報記憶部１８は、通信部１９を介して無線接続される外部記録部であってもよい。 The keyword information storage unit 18 stores reference information for each keyword as keyword information. The keyword information storage unit 18 is, for example, a recording medium such as a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory. The keyword information storage section 18 may be an external recording section wirelessly connected via the communication section 19.
　キーワードは、補足的に説明を行うことが必要とされる単語である。キーワードは、例えば、一般的に知られていない語句、専門用語、略語、難解語および流行語などである。 Keywords are words that require supplementary explanation. Keywords include, for example, words that are not generally known, technical terms, abbreviations, difficult words, and buzzwords.
　参照情報は、例えば、キーワードの意味、具体的な説明である。キーワードが略語の場合、参照情報は、略していない正式名称でもよい。なお、説明は、文字以外に、例えば、写真または図などでもよい。参照情報は、例えば、キーワードの付加的な情報である付加情報でもよい。 The reference information is, for example, the meaning and specific explanation of the keyword. If the keyword is an abbreviation, the reference information may be the full, abbreviated name. Note that the explanation may be, for example, a photograph or a diagram in addition to text. The reference information may be, for example, additional information that is additional information about the keyword.
　参照情報は、人が数秒程度で読むことが可能な、例えば１００文字以下程度の文字数としてもよい。 The reference information may have a number of characters, for example, about 100 characters or less, which can be read by a person in about a few seconds.
　参照情報が、通信部１９によってＷＥＢ上で検索される場合は、例えば、キーワードに対するウィキペディア（登録商標）のような特定のＷＥＢメディアによる情報、キーワードに関する最新のニュースなどが検索される。また、キーワードが商品名やサービス名である場合は、その商品やサービスを提供する提供元のＷＥＢサイトなどが検索される。さらには、ＷＥＢ上のサーチエンジンによって検索された結果に対し、広告を除く最上位に表示される内容を参照情報としてもよい。 When reference information is searched on the web by the communication unit 19, for example, information from a specific web media such as Wikipedia (registered trademark) for a keyword, the latest news regarding the keyword, etc. are searched. Furthermore, if the keyword is a product name or service name, the website of the provider that provides the product or service is searched. Furthermore, the content displayed at the top of the results searched by a search engine on the web, excluding advertisements, may be used as reference information.
　通信部１９は、無線通信などを行うための通信ユニットである。通信部１９は、例えば、Ｗｉ－Ｆｉ（登録商標）や携帯電話回線などを用いた通信方法で通信を行い、イントラネットやインターネットに接続される。通信部１９は、制御装置２０の通信制御部２９によって通信を制御される。通信部１９は、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行う。より詳しくは、通信部１９は、マイクロフォン１１で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置１０へ送信する。通信部１９は、他の参加者が使用する情報表示装置１０から、他の参加者の音声および映像を受信する。 The communication section 19 is a communication unit for performing wireless communication and the like. The communication unit 19 communicates using a communication method using, for example, Wi-Fi (registered trademark) or a mobile phone line, and is connected to an intranet or the Internet. Communication of the communication unit 19 is controlled by a communication control unit 29 of the control device 20 . The communication unit 19 mutually communicates the participant's voice and video with the information display device 10 used by other participants, and searches for reference information. More specifically, the communication unit 19 transmits the participant's voice captured by the microphone 11 and the participant's video captured by the camera to the information display device 10 used by other participants. The communication unit 19 receives audio and video of other participants from the information display device 10 used by the other participants.
　以下の説明において、入力された音声とは、マイクロフォン１１で収音した音声、および、通信部１９を介して取得した、他の参加者が使用する情報表示装置１０から取得した他の参加者の音声である。 In the following explanation, the input audio refers to the audio collected by the microphone 11 and the audio of other participants acquired via the communication unit 19 from the information display device 10 used by the other participants. It's audio.
＜情報表示制御装置＞
　制御装置２０は、情報表示装置１０の各部を制御する。制御装置２０は、表示部１２に情報を表示するよう情報表示装置１０を制御する。制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置（制御装置）であり、ＲＡＭ又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記憶装置を有する。制御装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置２０には上述したＲＡＭなどの内部メモリが含まれ、内部メモリは制御装置２０におけるデータの一時記憶などに用いられる。制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、発話認識部２１と、操作制御部３２と、抽出部２６と、情報取得部２７と、表示制御部２８と、通信制御部２９とを有する。 <Information display control device>
The control device 20 controls each part of the information display device 10. The control device 20 controls the information display device 10 to display information on the display unit 12. The control device 20 is, for example, an arithmetic processing device (control device) configured with a CPU (Central Processing Unit), an MPU (Micro Processing Unit), etc., and has a storage device such as a RAM or a ROM (Read Only Memory). The control device 20 loads a stored program into memory and executes instructions included in the program. The control device 20 includes an internal memory such as the above-mentioned RAM, and the internal memory is used for temporary storage of data in the control device 20. The control device 20 includes a speech recognition unit 21, an operation control unit 32, an extraction unit 26, an information acquisition unit 27, a display control unit 28, and a communication unit as functional blocks and other components realized by executing a program. It has a control section 29.
　発話認識部２１は、少なくとも発話によるコミュニケーションに参加している参加者の発話を認識する。発話認識部２１は、入力された音声を分析し、音声に含まれる発話内容を認識する。発話認識部２１は、入力された音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識する。 The utterance recognition unit 21 recognizes at least the utterances of participants participating in communication through speech. The speech recognition unit 21 analyzes the input speech and recognizes the content of the speech contained in the speech. The utterance recognition unit 21 performs acoustic model analysis for each phoneme or word on input speech, and recognizes the content of the utterance by comparing the acoustic model with a phoneme model and a language model.
　操作制御部３２は、操作部１７に対する操作の操作情報を取得する。より詳しくは、操作制御部３２は、表示部１２に表示されている発話に関する表示範囲における操作部１７に対する操作の操作情報を取得する。操作制御部３２は、例えば、発話者表示範囲１２０または参照情報表示範囲１１０に対するキー入力操作、クリック操作またはタッチ操作を受け付ける。 The operation control unit 32 acquires operation information for operations on the operation unit 17. More specifically, the operation control unit 32 acquires operation information of operations on the operation unit 17 in the display range related to the utterance displayed on the display unit 12. The operation control unit 32 receives, for example, a key input operation, a click operation, or a touch operation on the speaker display range 120 or the reference information display range 110.
　抽出部２６は、発話認識部２１が認識した発話から、参照情報を要するキーワードを抽出する。 The extraction unit 26 extracts keywords that require reference information from the utterance recognized by the utterance recognition unit 21.
　情報取得部２７は、抽出部２６が抽出したキーワード、つまり、抽出部２６が参照情報を要すると判断したキーワードに対する参照情報を取得する。本実施形態では、情報取得部２７は、ＷＥＢ上の情報に基づき、キーワードに対する参照情報を取得する。 The information acquisition unit 27 acquires reference information for the keyword extracted by the extraction unit 26, that is, the keyword for which the extraction unit 26 determines that reference information is required. In this embodiment, the information acquisition unit 27 acquires reference information for keywords based on information on the web.
　表示制御部２８は、表示部１２における映像の表示を制御する。表示制御部２８は、表示部１２に対して映像の映像信号を出力する。 The display control unit 28 controls the display of images on the display unit 12. The display control unit 28 outputs a video signal of a video to the display unit 12.
　表示制御部２８は、情報取得部２７が取得した参照情報の表示部１２への表示を制御する。表示制御部２８は、抽出部２６によって抽出されたキーワードに対応する参照情報を表示部１２の参照情報表示範囲１１０に表示するための映像信号を出力する。表示制御部２８は、参照情報を、例えば５秒から１０秒間程度の所定期間表示する。表示制御部２８は、参照情報を表示中に、次の参照情報を表示する場合、所定期間の経過前でも次の参照情報に表示を変えてもよい。 The display control unit 28 controls the display of the reference information acquired by the information acquisition unit 27 on the display unit 12. The display control unit 28 outputs a video signal for displaying the reference information corresponding to the keyword extracted by the extraction unit 26 in the reference information display range 110 of the display unit 12. The display control unit 28 displays the reference information for a predetermined period of time, for example, about 5 seconds to 10 seconds. When displaying the next reference information while displaying the reference information, the display control unit 28 may change the display to the next reference information even before the predetermined period has elapsed.
　表示制御部２８は、ＷＥＢ会議の映像の表示を制御する。表示制御部２８は、カメラが撮影している映像を含むＷＥＢ会議の映像の映像信号を出力する。 The display control unit 28 controls the display of images of the web conference. The display control unit 28 outputs a video signal of the web conference video including the video captured by the camera.
　表示制御部２８は、操作制御部３２が表示画面に対する操作を検出した時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。表示制御部２８は、操作制御部３２によって表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、検出した時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。 The display control unit 28 causes the display unit 12 to display reference information for the keyword that requires the reference information extracted by the extraction unit 26 immediately before the operation control unit 32 detects an operation on the display screen. When the operation control unit 32 detects that the display range related to the utterance displayed on the display unit 12 has been manipulated, the display control unit 28 requires the reference information extracted by the extraction unit 26 immediately before the detection. Reference information for the keyword is displayed on the display unit 12.
　表示制御部２８は、図２に示すように、操作制御部３２によって、発話者表示範囲１３０に対する操作を受け付けた場合、操作を検出した時点の直前に抽出したキーワードに対する参照情報をポップアップ表示で表示させる。表示制御部２８は、表示画面において操作を検出した位置に応じて、ポップアップ表示の表示位置を変えてもよい。表示制御部２８は、例えば、操作を検出した位置を、ポップアップ表示の中心、下端、上端、左端または右端とするようにしてもよい。 As shown in FIG. 2, when the operation control unit 32 receives an operation on the speaker display range 130, the display control unit 28 displays reference information for the keyword extracted immediately before the operation was detected in a pop-up display. let The display control unit 28 may change the display position of the pop-up display according to the position where the operation is detected on the display screen. For example, the display control unit 28 may set the position where the operation is detected to be the center, lower end, upper end, left end, or right end of the pop-up display.
　表示制御部２８は、図３に示すように、操作制御部３２によって、参照情報表示範囲１１０に対する操作を受け付けた場合、操作を検出した時点の直前に抽出したキーワードに対する参照情報を参照情報表示範囲１１０に表示させる。 As shown in FIG. 3, when the operation control unit 32 receives an operation for the reference information display range 110, the display control unit 28 displays the reference information for the keyword extracted immediately before the detection of the operation in the reference information display range. 110.
　通信制御部２９は、通信部１９による通信を制御する。通信制御部２９は、通信部１９を介して、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行うよう制御する。より詳しくは、通信制御部２９は、通信部１９を介して、マイクロフォン１１で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置１０へ送信するよう制御する。通信制御部２９は、通信部１９を介して、他の参加者が使用する情報表示装置１０から、他の参加者の音声および映像を受信するよう制御する。 The communication control unit 29 controls communication by the communication unit 19. The communication control unit 29 controls the communication unit 19 to mutually communicate the participant's audio and video with the information display device 10 used by other participants, and to search for reference information. do. More specifically, the communication control unit 29 transmits, via the communication unit 19, the participant's voice captured by the microphone 11 and the participant's video captured by the camera to an information display device used by other participants. 10. The communication control unit 29 controls the communication unit 19 to receive audio and video of other participants from the information display device 10 used by the other participants.
＜情報表示制御装置における情報処理＞
　次に、図４を用いて、制御装置２０における処理の流れについて説明する。図４は、第一実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。図４に示す処理は、ＷＥＢ会議を行うアプリケーションの起動、またはＷＥＢ会議の開始によって開始される。この場合、ＷＥＢ会議を行うアプリケーションに、参照情報を表示させる機能が含まれていてもよく、ユーザの操作によって、参照情報を表示させる機能のオン／オフを選択可能としてもよい。情報表示装置１０が起動されることで、図４に示すフローチャートの処理が開始される。 <Information processing in the information display control device>
Next, the flow of processing in the control device 20 will be described using FIG. 4. FIG. 4 is a flowchart showing an example of the flow of processing in the information display control device according to the first embodiment. The process shown in FIG. 4 is started by launching an application that conducts a web conference or by starting a web conference. In this case, the application for conducting the web conference may include a function for displaying reference information, and the function for displaying reference information may be turned on or off by user operation. When the information display device 10 is activated, the processing of the flowchart shown in FIG. 4 is started.
　制御装置２０は、発話認識を開始する（ステップＳ１０１）。より詳しくは、制御装置２０は、発話認識部２１によって、入力された音声を分析し、音声に含まれる発話内容を認識する。制御装置２０は、ステップＳ１０２へ進む。 The control device 20 starts speech recognition (step S101). More specifically, the control device 20 uses the speech recognition unit 21 to analyze the input speech and recognize the speech content included in the speech. The control device 20 proceeds to step S102.
　制御装置２０は、発話に関する表示範囲が操作されたか否かを判定する（ステップＳ１０２）。制御装置２０は、操作制御部３２によって、表示部１２に表示されている発話に関する表示範囲における操作部１７に対する操作を受け付けたか否かを判定する。制御装置２０は、操作制御部３２によって、例えば、発話者表示範囲１３０または参照情報表示範囲１１０におけるキー入力操作、クリック操作またはタッチ操作を受け付けたか否かを判定する。制御装置２０は、発話に関する表示範囲が操作されたと判定する場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３へ進む。制御装置２０は、発話に関する表示範囲が操作されたと判定しない場合（ステップＳ１０２でＮｏ）、ステップＳ１０５へ進む。 The control device 20 determines whether the display range related to speech has been manipulated (step S102). The control device 20 determines whether or not the operation control unit 32 receives an operation on the operation unit 17 in the display range related to the utterance displayed on the display unit 12 . The control device 20 determines whether a key input operation, a click operation, or a touch operation in the speaker display range 130 or the reference information display range 110 is received by the operation control unit 32, for example. When the control device 20 determines that the display range related to speech has been manipulated (Yes in step S102), the process proceeds to step S103. If the control device 20 does not determine that the display range related to speech has been manipulated (No in step S102), the process proceeds to step S105.
　発話に関する表示範囲が操作されたと判定する場合（ステップＳ１０２でＹｅｓ）、制御装置２０は、直前に参照情報を要するキーワードが抽出されたか否かを判定する（ステップＳ１０３）。より詳しくは、制御装置２０は、抽出部２６によって、発話に関する表示範囲に対する操作の操作時点において発話認識部２１が認識した発話から、参照情報を要するキーワードが抽出されたか否かを判定する。制御装置２０は、直前に参照情報を要するキーワードが抽出されたと判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。制御装置２０は、直前に参照情報を要するキーワードが抽出されたと判定しない場合（ステップＳ１０３でＮｏ）、ステップＳ１０５へ進む。 If it is determined that the display range related to the utterance has been manipulated (Yes in step S102), the control device 20 determines whether a keyword requiring reference information was extracted immediately before (step S103). More specifically, the control device 20 determines whether the extraction unit 26 has extracted a keyword requiring reference information from the utterance recognized by the utterance recognition unit 21 at the time of the operation on the display range related to the utterance. When the control device 20 determines that a keyword requiring reference information has been extracted immediately before (Yes in step S103), the process proceeds to step S104. If the control device 20 does not determine that a keyword requiring reference information has been extracted immediately before (No in step S103), the process proceeds to step S105.
　直前にキーワードが抽出されたと判定する場合（ステップＳ１０３でＹｅｓ）、制御装置２０は、キーワードの参照情報を取得し、所定期間表示する（ステップＳ１０４）。より詳しくは、制御装置２０は、情報取得部２７によって、直前に抽出されたキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を所定期間出力する。制御装置２０は、ステップＳ１０５へ進む。 If it is determined that the keyword has been extracted immediately before (Yes in step S103), the control device 20 acquires the reference information of the keyword and displays it for a predetermined period of time (step S104). More specifically, the control device 20 uses the information acquisition unit 27 to acquire reference information for the keyword extracted immediately before. The control device 20 causes the display control unit 28 to output a video signal of reference information corresponding to the keyword extracted by the extraction unit 26 for a predetermined period of time. The control device 20 proceeds to step S105.
　制御装置２０は、処理を終了するか否かを判定する（ステップＳ１０５）。例えば、情報表示装置１０の電源がＯＦＦにされたこと、図示しない操作部の操作がされたこと、または、図４に示すフローチャートを開始するトリガとなったアプリケーションなどを終了させる操作が行われたことなどで、処理を終了することが判定される。制御装置２０は、処理を終了すると判定された場合（ステップＳ１０５でＹｅｓ）、本処理を終了する。制御装置２０は、処理を終了すると判定されない場合（ステップＳ１０５でＮｏ）、ステップＳ１０２の処理を再度実行する。 The control device 20 determines whether to end the process (step S105). For example, the power of the information display device 10 has been turned off, an operation unit (not shown) has been operated, or an operation has been performed to terminate the application that triggered the start of the flowchart shown in FIG. 4. Due to this, it is determined that the process is to be terminated. When the control device 20 determines to end the process (Yes in step S105), it ends the process. If the control device 20 does not determine to end the process (No in step S105), it executes the process in step S102 again.
　例えば、ＷＥＢ会議の参加者である情報表示装置１０のユーザが、ＷＥＢ会議中に、他の参加者の発言に対して、不明な語句（キーワード）などに対する参照情報を確認する場合について説明する。情報表示装置１０のユーザは、他の参加者の発言に対して、不明なキーワードの参照情報を確認したいとき、表示部１２に表示された発話者表示範囲１３０または参照情報表示範囲１１０に対する操作を行う。制御装置２０は、ステップＳ１０２において、表示部１２に表示された発話者表示範囲１３０または参照情報表示範囲１１０に対する操作を検出する。制御装置２０は、ステップＳ１０３において、操作時点において認識された発話から、参照情報を要するキーワードが抽出されたと判定する場合、ステップＳ１０４において、操作時点から所定遡り期間ｔ１、例えば５秒以内に発話された直前のキーワードの参照情報を表示部１２に表示させる。情報表示装置１０のユーザは、表示部１２に表示された参照情報を確認する。 For example, a case will be described in which a user of the information display device 10 who is a participant in a web conference checks reference information for an unknown word (keyword) or the like in response to comments made by other participants during the web conference. When the user of the information display device 10 wants to check the reference information of an unknown keyword with respect to the utterances of other participants, the user operates the speaker display range 130 or the reference information display range 110 displayed on the display unit 12. conduct. In step S102, the control device 20 detects an operation on the speaker display range 130 or the reference information display range 110 displayed on the display unit 12. If the control device 20 determines in step S103 that a keyword requiring reference information has been extracted from the utterance recognized at the time of the operation, in step S104, the control device 20 determines whether the keyword was uttered within a predetermined retrospective period t1, for example, 5 seconds from the time of the operation. The reference information of the immediately preceding keyword is displayed on the display unit 12. The user of the information display device 10 confirms the reference information displayed on the display unit 12.
＜効果＞
　上述したように、本実施形態では、発話に関する表示範囲が操作されたことが検出された場合、検出した時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。本実施形態によれば、ユーザの発話者表示範囲１３０または参照情報表示範囲１１０に対する操作をトリガにして、適切にキーワードの参照情報を表示させることができる。本実施形態は、ユーザの理解を適切に支援することができる。本実施形態は、ユーザに対して、不要なキーワードの参照情報が表示されることを抑制できる。本実施形態は、コミュニケーションの流れを円滑にすることを支援できる。このようにして、本実施形態は、発話内容に基づくキーワードから、適切に参照情報を表示させることができる。 <Effect>
As described above, in this embodiment, when it is detected that the display range related to the utterance has been manipulated, the reference information for the keyword that requires the reference information extracted by the extraction unit 26 immediately before the detection is displayed on the display unit 12. Display. According to this embodiment, the user's operation on the speaker display range 130 or the reference information display range 110 can be used as a trigger to appropriately display the reference information of the keyword. This embodiment can appropriately support the user's understanding. This embodiment can suppress unnecessary keyword reference information from being displayed to the user. This embodiment can assist in smoothing the flow of communication. In this way, the present embodiment can appropriately display reference information from keywords based on the content of the utterance.
［第二実施形態］
　図５、図６を参照しながら、本実施形態に係る情報表示装置１０について説明する。図５は、発話者表示範囲が選択された一例を示す図である。図６は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第一実施形態の情報表示装置１０と同様である。以下の説明においては、情報表示装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、情報表示装置１０は、会議において、表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、操作時点の直前に抽出したキーワードに対する参照情報を表示する。本実施形態では、操作部１７、発話認識部２１、操作制御部３２および表示制御部２８における処理が第一実施形態と異なる。 [Second embodiment]
The information display device 10 according to this embodiment will be described with reference to FIGS. 5 and 6. FIG. 5 is a diagram showing an example in which the speaker display range is selected. FIG. 6 is a flowchart illustrating an example of the flow of processing in the information display control device according to the second embodiment. The basic configuration of the information display device 10 is the same as that of the information display device 10 of the first embodiment. In the following description, components similar to those of the information display device 10 are denoted by the same or corresponding symbols, and detailed description thereof will be omitted. In the present embodiment, when it is detected that the display range related to utterances displayed on the display unit 12 has been manipulated in a meeting, the information display device 10 displays information immediately before the time of the manipulation, corresponding to the manipulated range. Display reference information for the extracted keywords. In this embodiment, processing in the operation unit 17, speech recognition unit 21, operation control unit 32, and display control unit 28 is different from the first embodiment.
　図５に示すように、操作部１７は、表示部１２に表示されている、発話者の映像が表示された発話者表示範囲１３０に対する操作を受け付け可能である。図５に示す例では、操作部１７は、参加者Ａないし参加者Ｆのそれぞれの映像が表示される、６つの発話者表示範囲１３０に対する操作を受け付け可能である。 As shown in FIG. 5, the operation unit 17 can accept operations on the speaker display range 130 displayed on the display unit 12, in which the image of the speaker is displayed. In the example shown in FIG. 5, the operation unit 17 can accept operations on six speaker display ranges 130 in which images of participants A to F are displayed.
　発話者表示範囲１３０ごとに、発話者である参加者が対応付けられてあらかじめ図示しない記憶部に記憶されている。 A participant who is a speaker is associated with each speaker display range 130 and stored in advance in a storage unit (not shown).
　発話認識部２１は、発話者を特定して発話を認識する。発話認識部２１は、例えば、通信部１９を介して、他の参加者が使用する情報表示装置１０から他の参加者の音声とともに取得した参加者情報から、発話者を特定してもよい。 The utterance recognition unit 21 identifies the speaker and recognizes the utterance. The utterance recognition unit 21 may identify the speaker from participant information obtained from the information display device 10 used by the other participants together with the voices of other participants, for example, via the communication unit 19.
　参加者情報は、例えば、参加者を識別する情報、または、情報表示装置１０を識別する情報である。 The participant information is, for example, information that identifies a participant or information that identifies the information display device 10.
　操作制御部３２は、表示部１２に表示されている発話者表示範囲１３０における操作部１７に対する操作の操作情報を取得する。操作制御部３２は、操作された発話者を検出して受け付け可能である。 The operation control unit 32 acquires operation information for operations on the operation unit 17 in the speaker display range 130 displayed on the display unit 12. The operation control unit 32 can detect and accept the operated speaker.
　表示制御部２８は、操作制御部３２によって表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。より詳しくは、表示制御部２８は、操作制御部３２によって表示部１２に表示されている発話者表示範囲１３０が操作されたことが検出された場合、操作された発話者表示範囲１３０に対応する発話者の発話であって、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。 When the operation control unit 32 detects that the display range related to utterances displayed on the display unit 12 has been manipulated, the display control unit 28 selects an extraction unit immediately before the operation point, corresponding to the manipulated range. The reference information for the keyword that requires the reference information extracted by 26 is displayed on the display unit 12. More specifically, when the operation control unit 32 detects that the speaker display range 130 displayed on the display unit 12 has been operated, the display control unit 28 controls the display control unit 28 to display a display area corresponding to the operated speaker display range 130. Reference information for a keyword that is uttered by the speaker and that requires reference information extracted by the extraction unit 26 immediately before the operation time is displayed on the display unit 12.
　表示制御部２８は、例えば、操作された発話者表示範囲１３０に応じて、ポップアップ表示の表示位置を変えてもよい。表示制御部２８は、例えば、操作された発話者表示範囲１３０における操作された位置を、ポップアップ表示の中心、下端、上端、左端または右端とするようにしてもよい。 For example, the display control unit 28 may change the display position of the pop-up display according to the operated speaker display range 130. For example, the display control unit 28 may set the operated position in the speaker display range 130 to be the center, lower end, upper end, left end, or right end of the pop-up display.
　次に、図６を用いて、制御装置２０における処理の流れについて説明する。図６に示すステップＳ１１１、ステップＳ１１４、ステップＳ１１５の処理は、図４に示すフローチャートのステップＳ１０１、ステップＳ１０４、ステップＳ１０５と同様の処理を行う。 Next, the flow of processing in the control device 20 will be described using FIG. 6. The processes of step S111, step S114, and step S115 shown in FIG. 6 are similar to steps S101, step S104, and step S105 of the flowchart shown in FIG.
　制御装置２０は、発話者表示範囲１３０が操作されたか否かを判定する（ステップＳ１１２）。制御装置２０は、操作制御部３２によって、表示部１２に表示されている発話者表示範囲１３０における操作部１７に対する操作を受け付けたか否かを判定する。制御装置２０は、操作制御部３２によって、複数の発話者に対応して設定されている発話者表示範囲１３０のいずれかに対するキー入力操作、クリック操作またはタッチ操作を受け付けたか否かを判定する。制御装置２０は、発話者表示範囲１３０が操作されたと判定する場合（ステップＳ１１２でＹｅｓ）、ステップＳ１１３へ進む。制御装置２０は、発話者表示範囲１３０が操作されたと判定しない場合（ステップＳ１１２でＮｏ）、ステップＳ１１５へ進む。 The control device 20 determines whether the speaker display range 130 has been operated (step S112). The control device 20 determines whether the operation control unit 32 has received an operation on the operation unit 17 in the speaker display range 130 displayed on the display unit 12 . The control device 20 determines whether the operation control unit 32 has received a key input operation, click operation, or touch operation on any of the speaker display ranges 130 set corresponding to a plurality of speakers. When the control device 20 determines that the speaker display range 130 has been operated (Yes in step S112), the control device 20 proceeds to step S113. If the control device 20 does not determine that the speaker display range 130 has been operated (No in step S112), the process proceeds to step S115.
　発話者表示範囲１３０が操作されたと判定する場合（ステップＳ１１２でＹｅｓ）、制御装置２０は、操作された発話者が、直前に参照情報を要するキーワードを発話したか否かを判定する（ステップＳ１１３）。より詳しくは、制御装置２０は、抽出部２６によって、発話者表示範囲１３０に対する操作の操作時点において、発話認識部２１が操作された発話者の発話を認識し、かつ、認識した発話から、参照情報を要するキーワードが抽出されたか否かを判定する。制御装置２０は、操作された発話者が、直前に参照情報を要するキーワードを発話したと判定する場合（ステップＳ１１３でＹｅｓ）、ステップＳ１１４へ進む。制御装置２０は、操作された発話者が、直前に参照情報を要するキーワードを発話したと判定しない場合（ステップＳ１１３でＮｏ）、ステップＳ１１５へ進む。 When determining that the speaker display range 130 has been operated (Yes in step S112), the control device 20 determines whether the operated speaker has uttered a keyword that requires reference information immediately before (step S113). ). More specifically, the control device 20 uses the extraction unit 26 to recognize the utterance of the operated speaker by the utterance recognition unit 21 at the time of the operation on the speaker display range 130, and extracts a reference from the recognized utterance. It is determined whether a keyword requiring information has been extracted. If the control device 20 determines that the operated speaker has uttered a keyword that requires reference information immediately before (Yes in step S113), the process proceeds to step S114. If the control device 20 does not determine that the operated speaker has uttered a keyword that requires reference information immediately before (No in step S113), the process proceeds to step S115.
　例えば、操作された範囲が、例えば参加者Ｄの映像を表示する発話者表示範囲１３０であった場合、操作時点の直前に参加者Ｄが発話しており、言い換えると参加者Ｄが発話であり、キーワードが抽出されている場合、そのキーワードに関する参照情報が、例えば発話者表示範囲１３０を起点としたポップアップ表示が行われる。 For example, if the operated range is the speaker display range 130 that displays an image of participant D, then participant D was speaking immediately before the time of the operation, in other words, participant D was speaking. , when a keyword has been extracted, reference information regarding the keyword is displayed in a pop-up starting from, for example, the speaker display range 130.
　ＷＥＢ会議の参加者である情報表示装置１０のユーザが、ＷＥＢ会議中に、他の参加者の発言に対して、不明な語句（キーワード）などに対する参照情報を確認する場合について説明する。情報表示装置１０のユーザは、そのキーワードを発言した発話者の発話者表示範囲１３０を操作する。制御装置２０は、ステップＳ１１２において、表示部１２に表示された発話者表示範囲１３０に対する操作を検出する。制御装置２０は、ステップＳ１１３において、操作時点において操作された発話者の発話が認識され、その発話から参照情報を要するキーワードが抽出されたと判定する場合、ステップＳ１１４において、操作時点から所定遡り期間ｔ１以内、例えば５秒以内に発話された直前のキーワードの参照情報を表示部１２に表示させる。情報表示装置１０のユーザは、表示部１２に表示された参照情報を確認する。 A case will be described in which a user of the information display device 10 who is a participant in a web conference checks reference information for an unknown phrase (keyword) or the like in response to comments made by other participants during the web conference. The user of the information display device 10 operates the speaker display range 130 of the speaker who uttered the keyword. The control device 20 detects an operation on the speaker display range 130 displayed on the display unit 12 in step S112. If the control device 20 determines in step S113 that the utterance of the speaker operated at the time of the operation has been recognized and that a keyword requiring reference information has been extracted from the utterance, in step S114, a predetermined retrospective period t1 from the time of the operation is performed. The reference information of the last keyword uttered within 5 seconds, for example, is displayed on the display unit 12. The user of the information display device 10 confirms the reference information displayed on the display unit 12.
　この場合、操作時点から所定遡り期間ｔ１以内に、操作した発話者表示範囲１３０に対応する参加者Ｄ以外、例えば参加者Ｂの発話があっても、参加者Ｂが発話したキーワードに対する参照情報は表示されない。 In this case, even if a person other than Participant D corresponding to the operated speaker display range 130, for example, Participant B, utters a utterance within the predetermined retrospective period t1 from the time of operation, the reference information for the keyword uttered by Participant B is Do not show.
＜効果＞
　上述したように、本実施形態では、発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。本実施形態によれば、例えば、操作された発話者表示範囲１３０に対応する発話者の発話であって、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させることができる。 <Effect>
As described above, in this embodiment, when it is detected that the display range related to utterances has been manipulated, keywords requiring reference information extracted by the extracting unit 26 immediately before the operation point are extracted in response to the manipulated range. The reference information for is displayed on the display unit 12. According to the present embodiment, for example, reference information for a keyword that is uttered by a speaker corresponding to the operated speaker display range 130 and that requires reference information extracted by the extraction unit 26 immediately before the operation time is displayed on the display unit. 12 can be displayed.
［第三実施形態］
　図７ないし図１０を参照しながら、本実施形態に係る情報表示装置１０について説明する。図７は、発話者表示範囲を複数に区分けした一例を示す図である。図７は、参照情報表示範囲を複数に区分けした一例を示す図である。図８は、参照情報表示範囲を複数に区分けした一例を示す図である。図９は、操作時点の直前に抽出されたキーワードの一例を説明する略図である。図１０は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第二実施形態の情報表示装置１０と同様である。本実施形態では、情報表示装置１０は、会議において、表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、操作時点の直前に抽出したキーワードに対する参照情報を表示する。本実施形態では、操作部１７、操作制御部３２および表示制御部２８における処理が第二実施形態と異なる。 [Third embodiment]
The information display device 10 according to this embodiment will be described with reference to FIGS. 7 to 10. FIG. 7 is a diagram showing an example in which the speaker display range is divided into a plurality of sections. FIG. 7 is a diagram showing an example in which the reference information display range is divided into a plurality of sections. FIG. 8 is a diagram showing an example in which the reference information display range is divided into a plurality of sections. FIG. 9 is a schematic diagram illustrating an example of keywords extracted immediately before the operation time. FIG. 10 is a flowchart illustrating an example of the flow of processing in the information display control device according to the third embodiment. The information display device 10 has the same basic configuration as the information display device 10 of the second embodiment. In the present embodiment, when it is detected that the display range related to utterances displayed on the display unit 12 has been manipulated in a meeting, the information display device 10 displays information immediately before the time of the manipulation, corresponding to the manipulated range. Display reference information for the extracted keywords. In this embodiment, processing in the operation section 17, operation control section 32, and display control section 28 is different from the second embodiment.
　操作部１７は、表示部１２に表示されている発話に関する表示範囲を分割した区画に対する操作を受け付け可能である。 The operation unit 17 can accept operations on sections obtained by dividing the display range related to utterances displayed on the display unit 12.
　図７に示すように、操作部１７は、表示部１２に表示されている、発話者表示範囲１３０を分割した区画に対する操作を受け付け可能である。図７に示す例では、発話者表示範囲１３０は、中央に配置された中央範囲１３０ａと、中央範囲１３０ａより外側に配置された外側範囲１３０ｂとに区画されている。操作部１７は、発話者表示範囲１３０の中央範囲１３０ａ及び外側範囲１３０ｂに対する操作を受け付け可能である。 As shown in FIG. 7, the operation unit 17 can accept operations on the divided sections of the speaker display range 130 displayed on the display unit 12. In the example shown in FIG. 7, the speaker display range 130 is divided into a central range 130a located at the center and an outer range 130b located outside the central range 130a. The operation unit 17 can accept operations on the central range 130a and the outer range 130b of the speaker display range 130.
　図８に示すように、操作部１７は、表示部１２に表示されている、参照情報表示範囲１１０を分割した区画に対する操作を受け付け可能である。図８に示す例では、参照情報表示範囲１１０は、左側に配置された左側範囲１１０ａと、左側範囲１１０ａより右側に配置された右側範囲１１０ｂとに区画されている。操作部１７は、参照情報表示範囲１１０の左側範囲１１０ａ及び右側範囲１１０ｂに対する操作を受け付け可能である。 As shown in FIG. 8, the operation unit 17 can accept operations on the divisions of the reference information display range 110 displayed on the display unit 12. In the example shown in FIG. 8, the reference information display range 110 is divided into a left range 110a located on the left side and a right range 110b located on the right side of the left range 110a. The operation unit 17 can accept operations on the left range 110a and the right range 110b of the reference information display range 110.
　操作制御部３２は、表示部１２に表示されている発話に関する表示範囲を分割した区画に対する操作の操作情報を取得する。 The operation control unit 32 acquires operation information for operations on sections obtained by dividing the display range related to utterances displayed on the display unit 12.
　表示制御部２８は、操作制御部３２によって表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲における操作位置に対応して、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、表示部１２に表示させる。 When the operation control unit 32 detects that the display range related to utterances displayed on the display unit 12 has been manipulated, the display control unit 28 controls the display control unit 28 to display the display area immediately before the operation time, corresponding to the operation position in the operated range. Then, the reference information for the keyword that requires the reference information extracted by the extraction unit 26 is weighted and displayed on the display unit 12.
　表示制御部２８は、例えば、発話者表示範囲１３０を操作する場合、操作位置が発話者表示範囲１３０の中央に近いほど、操作時点から長い期間遡った発話に基づく参照情報を表示部１２に表示させる。表示制御部２８は、図７に示すように、操作位置が発話者表示範囲１３０の中央範囲１３０ａである場合、操作位置が外側範囲１３０ｂである場合に比べて、操作時点から長い期間遡った発話に基づく参照情報を表示部１２に表示させる。 For example, when operating the speaker display range 130, the display control unit 28 displays, on the display unit 12, reference information based on utterances that have gone back a longer period of time from the time of operation, the closer the operating position is to the center of the speaker display range 130. let As shown in FIG. 7, when the operation position is in the center range 130a of the speaker display range 130, the display control unit 28 displays utterances that have been made for a longer period of time from the time of operation than when the operation position is in the outer range 130b. The reference information based on the reference information is displayed on the display unit 12.
　例えば、横長形状の参照情報表示範囲１１０を操作する場合、操作位置が右側であれば直近の発言に基づく参照情報を表示部１２に表示させ、操作位置が左側であれば、直近から２から３個前までの複数の抽出されたキーワードの参照情報を表示部１２に表示させる。表示制御部２８は、図８に示すように、操作位置が参照情報表示範囲１１０の右側範囲１１０ｂであれば直近の発言に基づく参照情報を表示部１２に表示させ、左側範囲１１０ａであれば直近から２から３個前までの複数の抽出されたキーワードの参照情報を表示部１２に表示させる。 For example, when operating the horizontally long reference information display range 110, if the operating position is on the right side, the reference information based on the most recent comment is displayed on the display unit 12, and if the operating position is on the left side, the reference information based on the most recent comment is displayed on the display unit 12, and if the operating position is on the left side, the reference information based on the most recent comment is displayed on the display unit 12. The reference information of the plurality of extracted keywords is displayed on the display unit 12. As shown in FIG. 8, the display control unit 28 causes the display unit 12 to display the reference information based on the most recent comment if the operating position is the right range 110b of the reference information display range 110, and displays the reference information based on the most recent comment if the operating position is in the left range 110a. Reference information of a plurality of extracted keywords from 2 to 3 previous keywords is displayed on the display unit 12.
　表示制御部２８は、例えば、発話に関する表示範囲の中央範囲が操作されたことが検出された場合、操作時点から所定遡り期間ｔ２（ｔ２＞ｔ１）以内に発話された直前のキーワードの参照情報を表示部１２に表示させる。操作時点から所定遡り期間ｔ２（ｔ２＞ｔ１）以内に発話された直前のキーワードが複数抽出された場合、複数を表示してもよいし、以下のようにしてもよい。 For example, when it is detected that the central range of the display range related to utterances has been operated, the display control unit 28 displays reference information of the keyword immediately before uttered within a predetermined retrospective period t2 (t2>t1) from the time of the operation. It is displayed on the display unit 12. If a plurality of keywords uttered immediately before a predetermined retrospective period t2 (t2>t1) from the time of operation are extracted, a plurality of keywords may be displayed, or the following may be performed.
　表示制御部２８は、例えば、発話に関する表示範囲の中央範囲が操作されたことが検出された場合、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードの選択表示を行ってもよい。表示制御部２８は、例えば、発話者表示範囲１３０の中央範囲１３０ａが操作されたことが検出された場合、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードの選択表示を行う。表示制御部２８は、例えば、参照情報表示範囲１１０の左側範囲１１０ａが操作されたことが検出された場合、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードの選択表示を行う。 For example, when it is detected that the central range of the display range related to utterances has been operated, the display control unit 28 may selectively display the most recently uttered keyword within a predetermined retrospective period t2 from the time of the operation. For example, when it is detected that the central range 130a of the speaker display range 130 has been operated, the display control unit 28 selects and displays the most recently uttered keyword within a predetermined retrospective period t2 from the time of the operation. For example, when it is detected that the left side range 110a of the reference information display range 110 has been operated, the display control unit 28 selectively displays the most recent keyword uttered within a predetermined retrospective period t2 from the time of the operation.
　キーワードの選択表示とは、例えば、所定期間に抽出された複数のキーワードを選択する選択画面を表示することである。 The keyword selection display means, for example, displaying a selection screen for selecting a plurality of keywords extracted in a predetermined period.
　表示制御部２８は、例えば、発話に関する表示範囲の外側範囲が操作されたことが検出された場合、操作時点から所定遡り期間ｔ１以内に発話された直前のキーワードに対する参照情報を取得して表示する。表示制御部２８は、例えば、発話者表示範囲１３０の外側範囲１３０ｂが操作されたことが検出された場合、操作時点から所定遡り期間ｔ１以内に発話された直前のキーワードに対する参照情報を取得して表示する。表示制御部２８は、例えば、参照情報表示範囲１１０の右側範囲１１０ｂが操作されたことが検出された場合、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードに対する参照情報を取得して表示する。表示制御部２８は、例えば、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードが複数ある場合、複数のキーワードの参照情報が表示されてもよく、または、複数のキーワードが選択表示されて、選択されたキーワードの参照情報が表示されてもよい。 For example, when it is detected that a range outside the display range related to utterances has been operated, the display control unit 28 acquires and displays reference information for the most recently uttered keyword within a predetermined retrospective period t1 from the time of the operation. . For example, when it is detected that the outer range 130b of the speaker display range 130 has been operated, the display control unit 28 acquires reference information for the most recent keyword uttered within a predetermined retrospective period t1 from the time of the operation. indicate. For example, when it is detected that the right side range 110b of the reference information display range 110 has been operated, the display control unit 28 acquires reference information for the immediately preceding keyword uttered within a predetermined retrospective period t2 from the time of the operation. indicate. For example, if there are a plurality of keywords uttered immediately before a predetermined retrospective period t2 from the time of operation, the display control unit 28 may display reference information of the plurality of keywords, or select and display the plurality of keywords. Reference information for the selected keyword may be displayed.
　図９は、操作時点の直前に抽出されたキーワードの一例を説明する略図である。図９に示す例では、操作時点から所定遡り期間ｔ１以内には、キーワード「ｗｏｒｄ　ｎ」が抽出されている。操作時点から所定遡り期間ｔ２以内には、キーワード「ｗｏｒｄ　ｎ」とキーワード「ｗｏｒｄ　ｎ－１」とが抽出されている。 FIG. 9 is a schematic diagram illustrating an example of keywords extracted immediately before the operation time. In the example shown in FIG. 9, the keyword "word n" is extracted within a predetermined retrospective period t1 from the time of the operation. The keyword "word n" and the keyword "word n-1" are extracted within a predetermined retrospective period t2 from the time of the operation.
　次に、図１０を用いて、制御装置２０における処理の流れについて説明する。図１０に示すステップＳ１２１からステップＳ１２３、ステップＳ１２８の処理は、図６に示すフローチャートのステップＳ１１１からステップＳ１１３、ステップＳ１１５と同様の処理を行う。 Next, the flow of processing in the control device 20 will be described using FIG. 10. The processing from step S121 to step S123 and step S128 shown in FIG. 10 is the same as the processing from step S111 to step S113 and step S115 of the flowchart shown in FIG.
　操作された発話者が、直前に参照情報を要するキーワードを発話したと判定する場合（ステップＳ１２３でＹｅｓ）、制御装置２０は、操作位置が発話者表示範囲１３０の中央範囲１３０ａであるか否かを判定する（ステップＳ１２４）。制御装置２０は、操作制御部３２によって、操作情報に基づいて、操作位置が発話者表示範囲１３０の中央範囲１３０ａであるか否かを判定する。制御装置２０は、操作位置が発話者表示範囲１３０の中央範囲１３０ａであると判定する場合（ステップＳ１２４でＹｅｓ）、ステップＳ１２５へ進む。制御装置２０は、操作位置が発話者表示範囲１３０の中央範囲１３０ａであると判定しない場合（ステップＳ１２４でＮｏ）、ステップＳ１２７へ進む。 When determining that the operated speaker has uttered a keyword requiring reference information immediately before (Yes in step S123), the control device 20 determines whether the operating position is in the center range 130a of the speaker display range 130. is determined (step S124). The control device 20 uses the operation control unit 32 to determine whether the operation position is in the center range 130a of the speaker display range 130 based on the operation information. When the control device 20 determines that the operating position is in the center range 130a of the speaker display range 130 (Yes in step S124), the process proceeds to step S125. If the control device 20 does not determine that the operating position is in the center range 130a of the speaker display range 130 (No in step S124), the process proceeds to step S127.
　操作位置が発話者表示範囲１３０の中央範囲１３０ａであると判定する場合（ステップＳ１２４でＹｅｓ）、制御装置２０は、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードの選択表示を行う（ステップＳ１２５）。より詳しくは、制御装置２０は、表示制御部２８によって、操作時点から所定遡り期間ｔ２（ｔ２＞ｔ１）以内に発話された直前のキーワードの参照情報を表示部１２に表示させる。制御装置２０は、表示制御部２８によって、例えば、操作時点から所定遡り期間ｔ２以内に発話された直前のキーワードが複数ある場合、複数のキーワードの参照情報が表示されてもよく、または、複数のキーワードが選択表示されて、選択されたキーワードの参照情報が表示されてもよい。制御装置２０は、ステップＳ１２６へ進む。 If it is determined that the operation position is in the center range 130a of the speaker display range 130 (Yes in step S124), the control device 20 selects and displays the most recent keyword uttered within a predetermined retrospective period t2 from the time of the operation. (Step S125). More specifically, the control device 20 causes the display control unit 28 to display, on the display unit 12, the reference information of the last keyword uttered within a predetermined retrospective period t2 (t2>t1) from the time of the operation. The control device 20 may cause the display control unit 28 to display reference information of the plurality of keywords, for example, when there are a plurality of keywords immediately before uttered within a predetermined retrospective period t2 from the time of operation, or display the reference information of the plurality of keywords. Keywords may be selected and displayed, and reference information for the selected keywords may be displayed. The control device 20 proceeds to step S126.
　制御装置２０は、キーワードの参照情報を取得し、所定期間表示する（ステップＳ１２６）。より詳しくは、制御装置２０は、情報取得部２７によって、選択されたキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を所定期間出力する。制御装置２０は、ステップＳ１２８へ進む。 The control device 20 acquires the keyword reference information and displays it for a predetermined period of time (step S126). More specifically, the control device 20 uses the information acquisition unit 27 to acquire reference information for the selected keyword. The control device 20 causes the display control unit 28 to output a video signal of reference information corresponding to the keyword extracted by the extraction unit 26 for a predetermined period of time. The control device 20 proceeds to step S128.
　操作位置が発話者表示範囲１３０の中央範囲１３０ａであると判定しない場合（ステップＳ１２４でＮｏ）、制御装置２０は、表示制御部２８によって、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる（ステップＳ１２７）。より詳しくは、制御装置２０は、情報取得部２７によって、直前に抽出されたキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を所定期間出力する。制御装置２０は、ステップＳ１２８へ進む。 If it is not determined that the operation position is in the center range 130a of the speaker display range 130 (No in step S124), the control device 20 causes the display control unit 28 to extract the reference information extracted by the extraction unit 26 immediately before the operation time. Reference information for the required keyword is displayed on the display unit 12 (step S127). More specifically, the control device 20 uses the information acquisition unit 27 to acquire reference information for the keyword extracted immediately before. The control device 20 causes the display control unit 28 to output a video signal of reference information corresponding to the keyword extracted by the extraction unit 26 for a predetermined period of time. The control device 20 proceeds to step S128.
　図１０に示すフローチャートでは、発話者表示範囲１３０における操作を例にして説明した。参照情報表示範囲１１０における操作については、ステップＳ１２４の「操作位置は、発話者表示範囲の中央範囲？」を「操作位置は、参照情報表示範囲の左側の範囲？」に置き換える。 In the flowchart shown in FIG. 10, the operation in the speaker display range 130 has been explained as an example. Regarding the operation in the reference information display range 110, "Is the operation position the center range of the speaker display range?" in step S124 is replaced with "Is the operation position the left range of the reference information display range?"
　例えば、ユーザによる操作が、図７のポインタ画像Ｐａが示すように発話者表示範囲１３０の中央範囲１３０ａに対する操作である場合、または、図８のポインタ画像Ｐａが示すように参照情報表示範囲１１０の左側範囲１１０ａに対する操作である場合、操作時点から期間ｔ１、例えば５秒以内に発話された直前のキーワードの参照情報が表示される。図９に示す例では、キーワード「word　n」の参照情報が表示される。 For example, when the user's operation is an operation on the center range 130a of the speaker display range 130, as shown by the pointer image Pa in FIG. If the operation is for the left range 110a, reference information of the immediately preceding keyword uttered within a period t1, for example, 5 seconds from the time of the operation, is displayed. In the example shown in FIG. 9, reference information for the keyword "word n" is displayed.
　例えば、ユーザによる操作が、図７のポインタ画像Ｐｂが示すように発話者表示範囲１３０の外側範囲１３０ｂに対する操作である場合、または、図８のポインタ画像Ｐｂが示すように参照情報表示範囲１１０の右側範囲１１０ｂに対する操作である場合、操作時点から期間ｔ２、例えば１５秒以内に発話された直前のキーワードの参照情報が表示される。これらの場合、操作時点から期間ｔ２以内に、抽出部２６が複数のキーワードを抽出している場合、複数のキーワードの参照情報が表示されてもよく、または、複数のキーワードが選択表示されて、選択されたキーワードの参照情報が表示されてもよい。図９に示す例では、キーワード「ｗｏｒｄ　ｎ」およびキーワード「ｗｏｒｄ　ｎ－１」の両方の参照情報が表示されてもよい。または、キーワード「ｗｏｒｄ　ｎ」およびキーワード「ｗｏｒｄ　ｎ－１」が選択表示されてもよい。ユーザがキーワード「ｗｏｒｄ　ｎ－１」を選択した場合、キーワード「ｗｏｒｄ　ｎ－１」の参照情報が表示される。キーワード「ｗｏｒｄ　ｎ」およびキーワード「ｗｏｒｄ　ｎ－１」が同一語句である場合は、選択表示は行われなくともよい。 For example, if the user's operation is an operation on the outer range 130b of the speaker display range 130, as shown by the pointer image Pb in FIG. If the operation is for the right range 110b, reference information of the most recent keyword uttered within a period t2, for example, 15 seconds from the time of the operation, is displayed. In these cases, if the extraction unit 26 has extracted a plurality of keywords within the period t2 from the time of operation, reference information of the plurality of keywords may be displayed, or the plurality of keywords may be selectively displayed. Reference information for the selected keyword may be displayed. In the example shown in FIG. 9, reference information for both the keyword "word n" and the keyword "word n-1" may be displayed. Alternatively, the keyword "word n" and the keyword "word n-1" may be selectively displayed. When the user selects the keyword "word n-1", reference information for the keyword "word n-1" is displayed. If the keyword "word n" and the keyword "word n-1" are the same word or phrase, selection display may not be performed.
＜効果＞
　上述したように、本実施形態では、発話に関する表示範囲が操作されたことが検出された場合、操作された範囲における操作位置に対応して、操作時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、表示部１２に表示させる。本実施形態によれば、操作位置に応じて操作時点から遡って複数のキーワードを表示または選択表示することができる。本実施形態によれば、ユーザが必要とするキーワードの参照情報を適切に表示させることができる。 <Effect>
As described above, in the present embodiment, when it is detected that the display range related to speech has been manipulated, the reference information extracted by the extracting unit 26 immediately before the operation time point is The reference information for keywords that require the following are weighted and displayed on the display unit 12. According to the present embodiment, a plurality of keywords can be displayed or selectively displayed retroactively from the time of operation depending on the operation position. According to this embodiment, reference information of keywords required by the user can be appropriately displayed.
［第四実施形態］
　図１１を参照しながら、本実施形態に係る情報表示装置１０について説明する。図１１は、第四実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第二実施形態の情報表示装置１０と同様である。本実施形態では、情報表示装置１０は、会議において、表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、操作時点の直前に抽出したキーワードに対する参照情報を表示する。本実施形態では、操作部１７、操作制御部３２および表示制御部２８における処理が第二実施形態と異なる。 [Fourth embodiment]
The information display device 10 according to this embodiment will be described with reference to FIG. 11. FIG. 11 is a flowchart illustrating an example of the flow of processing in the information display control device according to the fourth embodiment. The information display device 10 has the same basic configuration as the information display device 10 of the second embodiment. In the present embodiment, when it is detected that the display range related to utterances displayed on the display unit 12 has been manipulated in a meeting, the information display device 10 displays information immediately before the time of the manipulation, corresponding to the manipulated range. Display reference information for the extracted keywords. In this embodiment, processing in the operation section 17, operation control section 32, and display control section 28 is different from the second embodiment.
　表示制御部２８は、操作制御部３２によって表示部１２に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された期間に対応して、検出した時点に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、表示部１２に表示させる。 When the operation control unit 32 detects that the display range related to utterances displayed on the display unit 12 has been operated, the display control unit 28 controls the extraction unit 26 at the time of detection, corresponding to the period of operation. The reference information for keywords that require reference information extracted by is weighted and displayed on the display unit 12.
　表示制御部２８は、例えば、発話に関する表示範囲が操作されたことが検出された場合、操作された期間が長いほど、操作時点から長い期間遡った発話に基づく参照情報を表示部１２に表示させる。表示制御部２８は、例えば、発話に関する表示範囲が操作されたことが検出された場合、操作された期間が短いほど、操作時点から短い期間遡った発話に基づく参照情報を表示部１２に表示させる。 For example, when it is detected that the display range related to utterances has been manipulated, the display control unit 28 causes the display unit 12 to display reference information based on utterances that go back a longer period of time from the time of the operation, the longer the operation period is. . For example, when it is detected that the display range related to utterances has been manipulated, the display control unit 28 causes the display unit 12 to display reference information based on utterances that go back a shorter period of time from the time of the operation, the shorter the period of operation. .
　操作された期間に対応することについて説明する。表示制御部２８は、例えば、発話者表示範囲１３０、参照情報表示範囲１１０に対する、タッチ期間、マウス等のポインタによる実行操作期間が、１．０秒未満の場合、直近の発言に基づく参照情報、例えば、図９に示すように、操作時点から期間ｔ１内に発話された直前のキーワードの参照情報を表示する。表示制御部２８は、例えば、発話者表示範囲１３０、参照情報表示範囲１１０に対するタッチ期間、マウス等のポインタによる実行操作期間が、例えば１．０秒以上の操作である場合、直近から２から３ワード前、例えば、図９に示すように、操作時点から期間ｔ２内に発話されたキーワードまでの参照情報を表示させる。抽出されたキーワードが複数ある場合、選択表示させてもよい。この場合の操作時点とは、操作開始時点とすることが好ましい。 We will explain what corresponds to the manipulated period. For example, if the touch period or execution operation period with a pointer such as a mouse with respect to the speaker display range 130 and the reference information display range 110 is less than 1.0 seconds, the display control unit 28 displays reference information based on the most recent utterance, For example, as shown in FIG. 9, the reference information of the last keyword uttered within the period t1 from the time of operation is displayed. For example, if the touch period for the speaker display range 130, the reference information display range 110, or the execution operation period by a pointer such as a mouse is an operation of 1.0 seconds or more, the display control unit 28 controls the display control unit 28 to Before the word, for example, as shown in FIG. 9, reference information from the time of operation to the keyword uttered within the period t2 is displayed. If there are multiple extracted keywords, they may be selectively displayed. The operation point in this case is preferably the operation start point.
　次に、図１１を用いて、制御装置２０における処理の流れについて説明する。図１１に示すステップＳ１３１からステップＳ１３３、ステップＳ１３５ないしステップＳ１３８の処理は、図１０に示すフローチャートのステップＳ１２１からステップＳ１２３、ステップＳ１２５ないしステップＳ１２８と同様の処理を行う。 Next, the flow of processing in the control device 20 will be described using FIG. 11. The processes from step S131 to step S133 and from step S135 to step S138 shown in FIG. 11 are the same as those from step S121 to step S123 and from step S125 to step S128 of the flowchart shown in FIG. 10.
　キーワードが抽出されたと判定する場合（ステップＳ１３３でＹｅｓ）、制御装置２０は、操作は期間ｔａ以上行われた否かを判定する（ステップＳ１３４）。より詳しくは、制御装置２０は、操作制御部３２によって、操作情報に基づいて、操作は期間ｔａ以上行われた否かを判定する。制御装置２０は、操作は期間ｔａ以上行われたと判定する場合（ステップＳ１３４でＹｅｓ）、ステップＳ１３５へ進む。制御装置２０は、操作制御部３２によって、操作情報に基づいて、操作は期間ｔａ以上行われた否かを判定する。制御装置２０は、操作は期間ｔａ以上行われたと判定される場合（ステップＳ１３４でＮｏ）、ステップＳ１３７へ進む。 If it is determined that the keyword has been extracted (Yes in step S133), the control device 20 determines whether the operation has been performed for a period of time ta or longer (step S134). More specifically, the control device 20 uses the operation control unit 32 to determine whether the operation has been performed for a period of time ta or longer based on the operation information. When the control device 20 determines that the operation has been performed for the period ta or longer (Yes in step S134), the process proceeds to step S135. The control device 20 uses the operation control unit 32 to determine whether the operation has been performed for a period of time ta or longer based on the operation information. If it is determined that the operation has been performed for the period ta or longer (No in step S134), the control device 20 proceeds to step S137.
＜効果＞
　上述したように、発話に関する表示範囲が操作されたことが検出された場合、操作された期間に対応して、検出した時点に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、表示部１２に表示させる。本実施形態によれば、操作された期間に応じて操作時点から遡って複数のキーワードを表示または選択表示することができる。本実施形態によれば、ユーザが必要とするキーワードの参照情報を適切に表示させることができる。 <Effect>
As described above, when it is detected that the display range related to the utterance has been manipulated, the reference information for the keyword that requires the reference information extracted by the extraction unit 26 at the time of detection is weighted in accordance with the period of manipulation. and display it on the display unit 12. According to the present embodiment, a plurality of keywords can be displayed or selectively displayed retroactively from the time of operation, depending on the period of operation. According to this embodiment, reference information of keywords required by the user can be appropriately displayed.
［第五実施形態］
＜情報表示装置＞
　図１２ないし図１４を参照しながら、本実施形態に係る情報表示装置１０について説明する。図１２は、情報表示装置の使用例の一例を示す概略図である。図１３は、情報表示装置の使用例の他の例を示す概略図である。図１４は、第五実施形態に係る情報表示制御装置を有する情報表示装置１０の構成例を示すブロック図である。情報表示装置１０は、基本的な構成は第一実施形態の情報表示装置１０と同様である。本実施形態では、カメラを備える点と、制御装置２０における処理が第一実施形態と異なる。本実施形態では、表示部１２に表示された表示画面に対する操作を検出する操作制御部３２として機能する、視線検出部２４を有する。 [Fifth embodiment]
<Information display device>
The information display device 10 according to this embodiment will be described with reference to FIGS. 12 to 14. FIG. 12 is a schematic diagram showing an example of how the information display device is used. FIG. 13 is a schematic diagram showing another example of how the information display device is used. FIG. 14 is a block diagram showing a configuration example of an information display device 10 having an information display control device according to the fifth embodiment. The basic configuration of the information display device 10 is the same as that of the information display device 10 of the first embodiment. This embodiment differs from the first embodiment in that it includes a camera and the processing in the control device 20. The present embodiment includes a line-of-sight detection unit 24 that functions as an operation control unit 32 that detects an operation on a display screen displayed on the display unit 12.
　図１２に示すように、情報表示装置１０は、複数人数の参加者が１か所に集まって行われる会議（以下、「リアル会議」という。）または会話において使用される。この場合に使用される情報表示装置１０は、例えば、参加者が使用するスマートフォンのような情報端末装置の機能の１つとして実装されていてもよい。図１２に示すリアル会議は、発表者Ｍ１１と、他の参加者Ｍ１２、他の参加者Ｍ１３、他の参加者Ｍ１４および他の参加者Ｍ１５が参加している。他の参加者Ｍ１５は、情報表示装置１０を使用している。 As shown in FIG. 12, the information display device 10 is used in a conference (hereinafter referred to as a "real conference") or conversation in which a plurality of participants gather in one place. The information display device 10 used in this case may be implemented as one of the functions of an information terminal device such as a smartphone used by the participant, for example. The real conference shown in FIG. 12 includes a presenter M11, another participant M12, another participant M13, another participant M14, and another participant M15. Another participant M15 is using the information display device 10.
　図１３に示すように、情報表示装置１０は、複数人数の参加者が参加して、ＷＥＢ会議または会話などのオンラインコミュニケーションにおいて使用される。 As shown in FIG. 13, the information display device 10 is used in online communication such as a web conference or conversation with a plurality of participants participating.
　以下の説明では、リアル会議またはＷＥＢ会議のどちらかの会議において使用される場合について説明する。リアル会議とＷＥＢ会議との区別を特に要しない場合、会議という。 In the following description, a case will be described in which the system is used in either a real conference or a web conference. When there is no particular need to distinguish between a real conference and a web conference, they are referred to as a conference.
　情報表示装置１０は、会議において、ユーザの視線の向きが、表示部１２に向いたことを検出した場合、検出した時点の直前に抽出した参照情報（以下、「直近キーワード」という。）を要するキーワードに対する参照情報を表示部１２に表示させる。情報表示装置１０は、マイクロフォン１１と、表示部１２と、カメラ１４と、キーワード情報記憶部１８と、通信部１９と、制御装置２０とを備える。 When the information display device 10 detects that the direction of the user's line of sight is directed toward the display unit 12 during a meeting, the information display device 10 requires reference information (hereinafter referred to as “recent keyword”) extracted immediately before the time of detection. Reference information for the keyword is displayed on the display unit 12. The information display device 10 includes a microphone 11, a display section 12, a camera 14, a keyword information storage section 18, a communication section 19, and a control device 20.
　図１２に示すように、リアル会議に使用される情報表示装置１０である場合、マイクロフォン１１は、発言者の音声を収音する。図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、マイクロフォン１１は、情報表示装置１０を使用する参加者自身であるユーザの音声を収音する。 As shown in FIG. 12, in the case of the information display device 10 used in a real conference, the microphone 11 picks up the voice of the speaker. As shown in FIG. 13, when the information display device 10 is used for a web conference, the microphone 11 picks up the voice of the user who is the participant using the information display device 10.
　図１２に示すように、リアル会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２の全面に表示されてもよい。図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２の一部、例えば、下部、上部、左側部または右側部に表示されてもよい。ＷＥＢ会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２にポップアップ表示されてもよい。 As shown in FIG. 12, in the case of the information display device 10 used for real conferences, the reference information display range 110 may be displayed on the entire surface of the display unit 12. As shown in FIG. 13, in the case of the information display device 10 used for a web conference, the reference information display range 110 is displayed on a part of the display section 12, for example, at the bottom, top, left side, or right side. Good too. In the case of the information display device 10 used for a web conference, the reference information display range 110 may be displayed as a pop-up on the display unit 12.
　図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、表示部１２は、参加者の映像、および、画面共有された資料などが表示される。 As shown in FIG. 13, in the case of the information display device 10 used for a web conference, the display unit 12 displays images of participants, screen-shared materials, and the like.
　カメラ１４は、情報表示装置１０のユーザの顔部を撮影可能な位置に配置されている。より詳しくは、カメラ１４は、情報表示装置１０のユーザの視線を検出するために、ユーザの顔部や眼部を含む映像を撮影する。カメラ１４は、表示部１２の周辺に配置されている。カメラ１４は、撮影した映像を視線検出部２４に出力する。 The camera 14 is placed at a position where it can photograph the face of the user of the information display device 10. More specifically, the camera 14 captures an image including the user's face and eyes in order to detect the line of sight of the user of the information display device 10 . The camera 14 is arranged around the display section 12. The camera 14 outputs the captured image to the line of sight detection section 24.
　図１５は、キーワード情報記憶部１８に記憶されたキーワード情報の一例を示す図である。図１５に示すキーワード情報は、キーワードごとに、参照情報を記憶する。例えば、キーワード「○○○」については、参照情報「○・・・○」と記憶されている。例えば、キーワード「△△△」については、参照情報「△・・・△」と記憶されている。 FIG. 15 is a diagram showing an example of keyword information stored in the keyword information storage section 18. The keyword information shown in FIG. 15 stores reference information for each keyword. For example, for the keyword "○○○", the reference information "○...○" is stored. For example, for the keyword "△△△", the reference information "△...△" is stored.
　図１２に示すように、リアル会議に使用される情報表示装置１０である場合、通信部１９は、外部記録部であるキーワード情報記憶部１８からキーワード情報を取得や、参照情報の検索を行う。図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、通信部１９は、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行う。 As shown in FIG. 12, in the case of the information display device 10 used for a real conference, the communication section 19 acquires keyword information from the keyword information storage section 18, which is an external recording section, and searches for reference information. As shown in FIG. 13, when the information display device 10 is used for a web conference, the communication unit 19 communicates the audio and video of participants with the information display device 10 used by other participants. and searches for reference information.
　以下の説明において、入力された音声とは、リアル会議に使用される情報表示装置１０である場合、マイクロフォン１１で収音した音声である。入力された音声とは、ＷＥＢ会議に使用される情報表示装置１０である場合、マイクロフォン１１で収音した音声、および、通信部１９を介して取得した、他の参加者が使用する情報表示装置１０から取得した他の参加者の音声である。 In the following explanation, the input audio is the audio collected by the microphone 11 in the case of the information display device 10 used for a real conference. Inputted audio includes, in the case of the information display device 10 used for the web conference, the audio collected by the microphone 11 and the information display device used by other participants acquired via the communication unit 19. This is the voice of another participant obtained from 10.
＜情報表示制御装置＞
　制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、発話認識部２１と、視線検出部（操作制御部）２４と、抽出部２６と、情報取得部２７と、表示制御部２８と、通信制御部２９とを有する。 <Information display control device>
The control device 20 includes a speech recognition unit 21, a line of sight detection unit (operation control unit) 24, an extraction unit 26, an information acquisition unit 27, and a display control unit, as components such as functional blocks realized by executing a program. 28 and a communication control section 29.
　視線検出部２４は、カメラ１４が撮影した撮影データに基づいて、情報表示装置１０のユーザの視線の向きを検出する。視線を検出する方法は限定されないが、本実施形態では、角膜反射によって視線を検出する。 The line of sight detection unit 24 detects the direction of the line of sight of the user of the information display device 10 based on the photographic data taken by the camera 14. Although the method of detecting the line of sight is not limited, in this embodiment, the line of sight is detected by corneal reflection.
　視線検出部２４は、例えば、ユーザの視線の向きが、表示部１２に向いたことを検出する。例えば、リアル会議の会議中に、ユーザがキーワードを参照したいとき、表示部１２に視線を向けることが予測されるためである。そこで、視線検出部２４は、例えば、リアル会議の会議中に、ユーザの視線の向きが表示部１２に向いたことを検出する。 The line of sight detection unit 24 detects, for example, that the direction of the user's line of sight is directed toward the display unit 12. This is because, for example, when a user wants to refer to a keyword during a real conference, it is predicted that the user will direct his/her line of sight to the display unit 12. Therefore, the line of sight detection unit 24 detects that the direction of the user's line of sight is directed toward the display unit 12, for example, during a real conference.
　視線検出部２４は、例えば、ユーザの視線の向きが、表示部１２の所定範囲に向いたことを検出する。例えば、ＷＥＢ会議の会議中に、ユーザがキーワードを参照したいとき、表示部１２の画面の所定範囲に視線を向けることが予測されるためである。 The line of sight detection unit 24 detects, for example, that the direction of the user's line of sight is directed toward a predetermined range of the display unit 12. This is because, for example, when a user wants to refer to a keyword during a web conference, it is predicted that the user will direct his/her line of sight to a predetermined range of the screen of the display unit 12.
　表示部１２の所定範囲とは、例えば、表示部１２の参照情報表示範囲１１０、または、あらかじめ設定された画面の所定範囲である。 The predetermined range of the display unit 12 is, for example, the reference information display range 110 of the display unit 12 or a predetermined range of the screen that is set in advance.
　視線検出部２４は、例えば、ユーザの視線の向きが、発話者に向いた状態から表示部１２に向いたことを検出する。例えば、リアル会議またはＷＥＢ会議の会議中に、ユーザがキーワードを参照したいとき、発話者から表示部１２へ視線を動かすことが予測されるためである。 The line of sight detection unit 24 detects, for example, that the direction of the user's line of sight has changed from facing the speaker to facing the display unit 12. This is because, for example, when a user wants to refer to a keyword during a real conference or a web conference, it is predicted that the user will move his/her line of sight from the speaker to the display unit 12.
　視線の向きが発話者に向いた状態について説明する。リアル会議に使用される情報表示装置１０である場合、例えば、マイクロフォン１１によって収音された音声から発話音の方向を検出する。または、ＷＥＢ会議に使用される情報表示装置１０である場合、例えば、カメラ１４によって撮影された映像から画面における発話者または発話者による資料が表示されている方向を検出する。そして、ユーザの視線の向きが、発話者の向きと一致する状態が、視線の向きが発話者を向いた状態である。 Describe a state in which the line of sight is directed toward the speaker. In the case of the information display device 10 used in a real conference, for example, the direction of the speech sound is detected from the sound picked up by the microphone 11. Alternatively, in the case of the information display device 10 used for a web conference, for example, the direction in which the speaker or the material by the speaker is displayed on the screen is detected from the video shot by the camera 14. A state in which the direction of the user's line of sight matches the direction of the speaker is a state in which the direction of the user's line of sight is directed toward the speaker.
　本実施形態では、抽出部２６は、発話認識部２１が発話認識を開始するとともに、キーワードの抽出を開始する。 In this embodiment, the extraction unit 26 starts extracting keywords at the same time as the utterance recognition unit 21 starts speech recognition.
　情報取得部２７は、抽出部２６が抽出したキーワードに対する参照情報を取得する。本実施形態では、情報取得部２７は、キーワード情報記憶部１８に記憶したキーワード情報から、キーワードに対する参照情報を取得する。 The information acquisition unit 27 acquires reference information for the keyword extracted by the extraction unit 26. In this embodiment, the information acquisition unit 27 acquires reference information for a keyword from the keyword information stored in the keyword information storage unit 18.
　本実施形態では、情報取得部２７は、視線検出部２４が検出したユーザの視線の向きが、表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報を取得する。 In the present embodiment, the information acquisition unit 27 acquires reference information for the most recent keyword when the gaze detection unit 24 detects that the direction of the user's gaze is directed toward the display unit 12.
　表示制御部２８は、視線検出部２４が検出したユーザの視線の向きが、表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示させる。例えば、リアル会議の会議中に、ユーザの視線の向きが情報表示装置１０であるスマートフォンの表示部１２に向いたとき、直近キーワードの参照情報が表示部１２に表示される。 If the direction of the user's line of sight detected by the line of sight detection unit 24 is directed toward the display unit 12, the display control unit 28 causes the display unit 12 to display reference information for the most recent keyword. For example, during a real conference, when the user's line of sight is directed toward the display unit 12 of the smartphone, which is the information display device 10, the reference information of the most recent keyword is displayed on the display unit 12.
　本実施形態では、表示制御部２８は、情報取得部２７が取得した参照情報を表示部１２の所定範囲に表示させ、視線検出部２４が検出したユーザの視線の向きが、表示部１２の所定範囲に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２の所定範囲に表示させてもよい。例えば、表示制御部２８は、ＷＥＢ会議に使用される情報表示装置１０であるノート型のパーソナルコンピュータにおいて、表示部１２の画面下部に参照情報表示範囲１１０がある場合、ユーザが画面下部を見ることで、直近キーワードの参照情報が表示される。 In the present embodiment, the display control unit 28 causes the reference information acquired by the information acquisition unit 27 to be displayed in a predetermined range of the display unit 12, and the direction of the user's line of sight detected by the line of sight detection unit 24 is set in the predetermined range of the display unit 12. When it is detected that the keyword is suitable for the range, reference information for the most recent keyword may be displayed in a predetermined range of the display unit 12. For example, in a notebook personal computer that is the information display device 10 used for a web conference, when the reference information display range 110 is located at the bottom of the screen of the display unit 12, the display control unit 28 controls the display control unit 28 to prevent the user from looking at the bottom of the screen. , the reference information for the most recent keywords will be displayed.
　本実施形態では、表示制御部２８は、視線検出部２４が検出したユーザの視線の向きが、発話者に向いた状態から表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示させてもよい。例えば、表示制御部２８は、ＷＥＢ会議に使用される情報表示装置１０において、表示部１２の参加者または資料の映像が表示される範囲から視線の向きを動かした場合、直近キーワードの参照情報が表示される。 In this embodiment, when the line of sight detection unit 24 detects that the user's line of sight has changed from facing the speaker to the display unit 12, the display control unit 28 displays reference information for the most recent keyword. It may be displayed on the display unit 12. For example, in the information display device 10 used for a web conference, if the direction of the line of sight is moved from the range where images of participants or materials are displayed on the display section 12, the display control section 28 may cause the reference information of the most recent keyword to change. Is displayed.
　本実施形態では、表示制御部２８は、視線検出部２４が検出したユーザの視線の向きが、表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報の表示の視認性を向上させてもよい。 In the present embodiment, when the direction of the user's line of sight detected by the line of sight detection unit 24 is detected to be directed toward the display unit 12, the display control unit 28 improves the visibility of the display of reference information for the most recent keyword. You can.
　参照情報の表示の視認性を向上させるとは、例えば、文字数を増やす、文字を大きくする、文字色を変える、文字の太さを変えるなどのように、目立つ表示態様で表示することである。表示制御部２８は、例えば、直近キーワードの参照情報の文字数を小さく表示し、ユーザの視線が向いた場合、文字数を大きく表示させる。表示制御部２８は、例えば、直近キーワードの参照情報の文字色を薄くまたは透過性を持って表示し、ユーザの視線が向いた場合、文字色を濃くまたは透過しない文字として表示させる。 Improving the visibility of the display of reference information means displaying it in a way that makes it stand out, for example, by increasing the number of characters, making the characters larger, changing the color of the characters, changing the thickness of the characters, etc. For example, the display control unit 28 displays the number of characters of the reference information of the latest keyword in a smaller number, and when the user's line of sight turns to the reference information, displays the number of characters in a larger number. For example, the display control unit 28 displays the text color of the reference information of the latest keyword in a light color or with transparency, and when the user's line of sight turns, the text color is displayed in a dark color or as non-transparent text.
　ＷＥＢ会議に使用される情報表示装置１０である場合、表示制御部２８は、ＷＥＢ会議の映像の表示を制御する。 If the information display device 10 is used for a web conference, the display control unit 28 controls the display of images of the web conference.
　図１２に示すように、リアル会議に使用される情報表示装置１０である場合、通信制御部２９は、通信部１９を介して、外部記録部であるキーワード情報記憶部１８からキーワード情報の受信や、参照情報の検索を行うよう制御する。図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、通信制御部２９は、通信部１９を介して、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行うよう制御する。 As shown in FIG. 12, in the case of the information display device 10 used for a real conference, the communication control unit 29 receives keyword information from the keyword information storage unit 18, which is an external recording unit, via the communication unit 19. , controls to search for reference information. As shown in FIG. 13, when the information display device 10 is used for a web conference, the communication control unit 29 communicates with the information display device 10 used by other participants via the communication unit 19. It communicates the audio and video of the participants with each other and controls the search for reference information.
＜情報表示制御装置における情報処理＞
　次に、図１６を用いて、制御装置２０における処理の流れについて説明する。図１６に示す処理は、図１２に示すように、リアル会議に使用される情報表示装置１０である場合、参照情報を表示させるためのアプリケーションを起動することで開始される。図１３に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、ＷＥＢ会議を行うアプリケーションの起動、またはＷＥＢ会議の開始によって開始される。情報表示装置１０が起動されることで、図１６に示すフローチャートの処理が開始される。図１６に示すステップＳＴ１０５は、図４に示すフローチャートのステップＳ１０５と同様の処理を行う。 <Information processing in the information display control device>
Next, the flow of processing in the control device 20 will be explained using FIG. 16. As shown in FIG. 12, the process shown in FIG. 16 is started by starting an application for displaying reference information in the case of the information display device 10 used for a real conference. As shown in FIG. 13, in the case of the information display device 10 used for a web conference, the process starts by activating an application for holding a web conference or by starting a web conference. When the information display device 10 is activated, the processing of the flowchart shown in FIG. 16 is started. Step ST105 shown in FIG. 16 performs the same process as step S105 of the flowchart shown in FIG. 4.
　制御装置２０は、発話認識を開始する（ステップＳＴ１０１）。より詳しくは、制御装置２０は、発話認識部２１によって、入力された音声を分析し、音声に含まれる発話内容を認識する。そして、制御装置２０は、抽出部２６によって、発話認識部２１が認識した発話から、参照情報を要するキーワードを抽出する。制御装置２０は、ステップＳＴ１０２へ進む。 The control device 20 starts speech recognition (step ST101). More specifically, the control device 20 uses the speech recognition unit 21 to analyze the input speech and recognize the speech content included in the speech. Then, the control device 20 uses the extraction unit 26 to extract keywords requiring reference information from the utterance recognized by the utterance recognition unit 21. The control device 20 proceeds to step ST102.
　制御装置２０は、ユーザの視線が表示部１２に向いたか否かを判定する（ステップＳＴ１０２）。制御装置２０は、視線検出部２４によって、ユーザの視線の向きが表示部１２に向いたか否かを判定する。制御装置２０は、ユーザの視線が表示部１２に向いたと判定する場合（ステップＳＴ１０２でＹｅｓ）、ステップＳＴ１０３へ進む。制御装置２０は、ユーザの視線が表示部１２に向いたと判定しない場合（ステップＳＴ１０２でＮｏ）、ステップＳＴ１０５へ進む。 The control device 20 determines whether the user's line of sight is directed toward the display unit 12 (step ST102). The control device 20 determines whether the direction of the user's line of sight is directed toward the display unit 12 using the line of sight detection unit 24 . When the control device 20 determines that the user's line of sight is directed toward the display unit 12 (Yes in step ST102), the control device 20 proceeds to step ST103. If the control device 20 does not determine that the user's line of sight is directed toward the display unit 12 (No in step ST102), the control device 20 proceeds to step ST105.
　制御装置２０は、直前に参照情報を要するキーワードが抽出されたか否かを判定する（ステップＳＴ１０３）。より詳しくは、制御装置２０は、抽出部２６によって、例えば２秒以内に直近キーワードが抽出されたと判定する場合（ステップＳＴ１０３でＹｅｓ）、ステップＳＴ１０４へ進む。制御装置２０は、抽出部２６によって、例えば２秒以内に、直近キーワードが抽出されたと判定しない場合（ステップＳＴ１０３でＮｏ）、ステップＳＴ１０５へ進む。 The control device 20 determines whether a keyword requiring reference information has been extracted immediately before (step ST103). More specifically, when the extraction unit 26 determines that the most recent keyword has been extracted within, for example, two seconds (Yes in step ST103), the control device 20 proceeds to step ST104. If the extraction unit 26 does not determine that the most recent keyword has been extracted within, for example, 2 seconds (No in step ST103), the control device 20 proceeds to step ST105.
　直近キーワードが抽出されたと判定する場合（ステップＳＴ１０３でＹｅｓ）、制御装置２０は、直近キーワードの参照情報を取得し、所定期間表示する（ステップＳＴ１０４）。より詳しくは、制御装置２０は、情報取得部２７によって、例えば、直近キーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出された直近キーワードに対応する参照情報の映像信号を所定期間出力する。制御装置２０は、ステップＳＴ１０５へ進む。 If it is determined that the most recent keyword has been extracted (Yes in step ST103), the control device 20 acquires the reference information of the most recent keyword and displays it for a predetermined period of time (step ST104). More specifically, the control device 20 uses the information acquisition unit 27 to acquire, for example, reference information for the latest keyword. The control device 20 causes the display control unit 28 to output a video signal of reference information corresponding to the most recent keyword extracted by the extraction unit 26 for a predetermined period of time. The control device 20 proceeds to step ST105.
＜効果＞
　上述したように、本実施形態では、ユーザの視線の向きが、表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示させる。本実施形態によれば、ユーザが表示部１２を見ているときに、キーワードの参照情報を表示することができる。本実施形態は、ユーザが必要とするときに、ユーザの理解を適切に支援することができる。本実施形態は、ユーザに対して、不要なキーワードの参照情報が表示されることを抑制できる。本実施形態は、コミュニケーションの流れを円滑にすることを支援できる。このように、本実施形態によれば、発話内容に基づくキーワードから、適切に参照情報を表示させることができる。 <Effect>
As described above, in this embodiment, when it is detected that the user's line of sight is directed toward the display unit 12, reference information for the most recent keyword is displayed on the display unit 12. According to this embodiment, when the user is looking at the display unit 12, reference information for keywords can be displayed. This embodiment can appropriately support the user's understanding when the user needs it. This embodiment can suppress unnecessary keyword reference information from being displayed to the user. This embodiment can assist in smoothing the flow of communication. In this manner, according to the present embodiment, reference information can be appropriately displayed based on keywords based on the content of the utterance.
　本実施形態では、参照情報を表示部１２の所定範囲に表示させ、ユーザの視線の向きが、表示部１２の所定範囲に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２の所定範囲に表示させる。本実施形態によれば、ユーザが表示部１２の所定範囲を見ているときに、キーワードの参照情報を表示することができる。 In this embodiment, the reference information is displayed in a predetermined range of the display unit 12, and when it is detected that the user's line of sight is directed to the predetermined range of the display unit 12, the reference information for the latest keyword is displayed on the display unit 12. Display it in a predetermined range. According to this embodiment, when the user is looking at a predetermined range of the display unit 12, reference information of keywords can be displayed.
　本実施形態では、ユーザの視線の向きが、発話者に向いた状態から表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示させる。本実施形態によれば、ユーザが発話者から表示部１２へ視線を動かしたときに、キーワードの参照情報を表示することができる。 In the present embodiment, when it is detected that the direction of the user's line of sight has changed from facing the speaker to facing the display unit 12, reference information for the most recent keyword is displayed on the display unit 12. According to this embodiment, when the user moves his/her line of sight from the speaker to the display unit 12, the reference information of the keyword can be displayed.
　本実施形態では、ユーザの視線の向きが、表示部１２に向いたことを検出した場合、直近キーワードに対する参照情報の表示の視認性を向上させる。本実施形態は、ユーザが必要とするときに、ユーザの理解を適切に支援することができる。 In this embodiment, when it is detected that the user's line of sight is directed toward the display unit 12, the visibility of the display of reference information for the latest keyword is improved. This embodiment can appropriately support the user's understanding when the user needs it.
［第六実施形態］
　図１７を参照しながら、本実施形態に係る情報表示装置１０について説明する。図１７は、第六実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第五実施形態の情報表示装置１０と同様である。本実施形態では、情報表示装置１０は、会議において、ユーザの視線の向きが所定期間以上、表示部１２に向いた状態を継続していることを検出した場合、参照情報を要するキーワードに対する参照情報の表示態様を変えて表示部１２に表示させる。本実施形態では、視線検出部２４および表示制御部２８における処理が第五実施形態と異なる。 [Sixth embodiment]
The information display device 10 according to this embodiment will be described with reference to FIG. 17. FIG. 17 is a flowchart illustrating an example of the flow of processing in the information display control device according to the sixth embodiment. The information display device 10 has the same basic configuration as the information display device 10 of the fifth embodiment. In this embodiment, when the information display device 10 detects that the direction of the user's line of sight continues to be directed toward the display unit 12 for a predetermined period or more in a meeting, the information display device 10 provides reference information for a keyword that requires reference information. is displayed on the display unit 12 by changing the display mode. In this embodiment, the processing in the line of sight detection section 24 and the display control section 28 is different from the fifth embodiment.
　本実施形態では、表示制御部２８が、参照情報の表示を、第１表示形態または第２表示形態で、表示部１２に表示させる。本実施形態において、第１表示形態と第２表示形態とは、参照情報の表示情報量が異なる。 In the present embodiment, the display control unit 28 causes the display unit 12 to display the reference information in the first display format or the second display format. In this embodiment, the first display form and the second display form differ in the amount of displayed reference information.
　表示制御部２８が参照情報を表示するときの第１表示形態および第２表示形態は、キーワード情報記憶部１８に、第１表示形態に対応する情報量ｌｖ１の参照情報と、第２表示形態に対応する情報量ｌｖ２の参照情報とが記憶されていてもよい。情報量ｌｖ１の参照情報と情報量ｌｖ２の参照情報の情報量の関係は、情報量ｌｖ１＜情報量ｌｖ２である。例えば、情報量ｌｖ１の参照情報は１～２行程度で表示される参照情報であり、情報量ｌｖ２の参照情報は３～５行程度で表示される参照情報である。 The first display mode and the second display mode when the display control unit 28 displays the reference information are stored in the keyword information storage unit 18, the reference information of the information amount lv1 corresponding to the first display mode, and the second display mode. Reference information of the corresponding information amount lv2 may be stored. The relationship between the amount of reference information of the amount of information lv1 and the amount of reference information of the amount of information lv2 is the amount of information lv1<the amount of information lv2. For example, reference information with an amount of information lv1 is displayed in about 1 to 2 lines, and reference information with an amount of information lv2 is displayed in about 3 to 5 lines.
　また、情報取得部２７が、参照情報をＷＥＢ上で検索する場合は、ＷＥＢの検索、または特定のＷＥＢメディアなどから取得した参照情報に基づいて、情報量ｌｖ１＜情報量ｌｖ２を満たす第１表示形態の参照情報および第２表示形態の参照情報を取得する。さらに、情報取得部は、第１表示形態として表示するための参照情報を取得するＷＥＢメディアと、第２表示形態として表示するための参照情報を取得するＷＥＢメディアとで異なる情報源を設定してもよい。例えば、第１表示形態として表示するための参照情報は、キーワードに対しての説明を行う情報量が比較的少ないＷＥＢメディアから取得し、第２表示形態として表示するための参照情報は、キーワードに対しての説明を行う情報量が比較的多い、言い換えると、詳細な説明が行われているＷＥＢメディアから取得する。 In addition, when the information acquisition unit 27 searches for reference information on the WEB, the first display that satisfies the amount of information lv1<the amount of information lv2 is based on the reference information acquired from the WEB search or a specific WEB media. The reference information of the form and the reference information of the second display form are obtained. Furthermore, the information acquisition unit sets different information sources for the web media that acquires the reference information for displaying in the first display format and the web media that acquires the reference information for displaying in the second display format. Good too. For example, the reference information for displaying in the first display format is obtained from web media that has a relatively small amount of information explaining the keyword, and the reference information for displaying in the second display format is obtained from the keyword. It is obtained from web media that has a relatively large amount of information explaining the information, in other words, provides detailed explanations.
　視線検出部２４は、例えば、ユーザの視線の向きが、表示部１２の所定範囲を所定期間以上向いた状態を継続していることを検出する。例えば、会議中に、ユーザが表示されているキーワードの参照情報の理解が不十分であると感じるとき、表示部１２に視線を向けた状態が長時間継続されることが予測されるためである。 The line of sight detection unit 24 detects, for example, that the user's line of sight continues to face a predetermined range of the display unit 12 for a predetermined period or longer. For example, during a meeting, when a user feels that the reference information of the displayed keyword is insufficiently understood, it is expected that the user will continue to look at the display unit 12 for a long time. .
　表示制御部２８は、視線検出部２４が検出したユーザの視線の向きが、表示部１２に向いた状態で所定時間以上が経過したことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示態様を変えて表示させる。表示制御部２８は、例えば５秒以上、ユーザの視線の向きが表示部１２に向いた状態である場合、直近キーワードに対する参照情報を、第１表示形態から第２表示形態に、表示態様を変えて表示させる。 When the display control unit 28 detects that a predetermined period of time or more has elapsed with the user's line of sight detected by the line of sight detection unit 24 facing the display unit 12, the display control unit 28 displays reference information for the most recent keyword on the display unit 12. Display by changing the display mode. For example, when the user's line of sight is directed toward the display unit 12 for 5 seconds or more, the display control unit 28 changes the display mode of the reference information for the most recent keyword from the first display mode to the second display mode. and display it.
　次に、図１７を用いて、制御装置２０における処理の流れについて説明する。図１７に示すステップＳＴ１１１からステップＳＴ１１３、ステップＳＴ１１８の処理は、図１６に示すフローチャートのステップＳＴ１０１からステップＳＴ１０３、ステップＳＴ１０５と同様の処理を行う。 Next, the flow of processing in the control device 20 will be described using FIG. 17. The processes from step ST111 to step ST113 and step ST118 shown in FIG. 17 are the same as steps ST101 to step ST103 and step ST105 of the flowchart shown in FIG. 16.
　ステップＳＴ１１４においては、制御装置２０は、表示制御部２８によって、抽出部２６によって抽出された直近キーワードに対応する、情報量ｌｖ１の参照情報を所定期間表示する。 In step ST114, the control device 20 causes the display control unit 28 to display the reference information of the information amount lv1 corresponding to the most recent keyword extracted by the extraction unit 26 for a predetermined period.
　制御装置２０は、所定期間が経過したか否かを判定する（ステップＳＴ１１５）。制御装置２０は、所定期間が経過したと判定する場合（ステップＳＴ１１５でＹｅｓ）、ステップＳＴ１１６へ進む。制御装置２０は、所定期間が経過したと判定しない場合（ステップＳＴ１１５でＮｏ）、ステップＳＴ１１５の処理を再度実行する。 The control device 20 determines whether a predetermined period of time has elapsed (step ST115). If the control device 20 determines that the predetermined period has elapsed (Yes in step ST115), it proceeds to step ST116. If the control device 20 does not determine that the predetermined period has elapsed (No in step ST115), it executes the process of step ST115 again.
　制御装置２０は、ユーザの視線が表示部１２に向いたままであるか否かを判定する（ステップＳＴ１１６）。制御装置２０は、視線検出部２４によって、ユーザの視線の向きが表示部１２に向いたままであるか否かを判定する。制御装置２０は、ユーザの視線が表示部１２に向いたままであると判定する場合（ステップＳＴ１１６でＹｅｓ）、ステップＳＴ１１７へ進む。制御装置２０は、ユーザの視線が表示部１２に向いたままであると判定しない場合（ステップＳＴ１１６でＮｏ）、ステップＳＴ１１８へ進む。 The control device 20 determines whether the user's line of sight remains directed toward the display unit 12 (step ST116). The control device 20 uses the line of sight detection unit 24 to determine whether the direction of the user's line of sight remains facing the display unit 12 or not. If the control device 20 determines that the user's line of sight remains directed toward the display unit 12 (Yes in step ST116), the control device 20 proceeds to step ST117. If the control device 20 does not determine that the user's line of sight remains directed toward the display unit 12 (No in step ST116), the process proceeds to step ST118.
　ユーザの視線が表示部１２に向いたままであると判定する場合（ステップＳＴ１１６でＹｅｓ）、制御装置２０は、直近キーワードに対応する、情報量ｌｖ２の参照情報を所定期間表示させる（ステップＳＴ１１７）。より詳しくは、制御装置２０は、表示制御部２８によって、抽出部２６によって抽出された直近キーワードに対応する参照情報の情報量を増やして表示させる。制御装置２０は、ステップＳＴ１１８へ進む。 If it is determined that the user's line of sight remains directed toward the display unit 12 (Yes in step ST116), the control device 20 displays reference information with an amount of information lv2 corresponding to the most recent keyword for a predetermined period of time (step ST117). More specifically, the control device 20 causes the display control unit 28 to increase and display the amount of reference information corresponding to the most recent keyword extracted by the extraction unit 26. The control device 20 proceeds to step ST118.
　例えば、ステップＳＴ１１４で、参照情報が表示された場合、表示制御部２８は、５秒間などの所定期間、参照情報が表示される設定で、参照情報の表示を開始する。ステップＳＴ１１５では、５秒間などの所定期間が経過した場合であっても、ユーザの視線が継続的に表示部１２に向いたままであることが検出される。ステップＳＴ１１７では、第１表示形態で表示されていた参照情報を、さらに５秒間などの所定期間、第２表示形態で表示部１２に表示させる。 For example, when the reference information is displayed in step ST114, the display control unit 28 starts displaying the reference information with settings such that the reference information is displayed for a predetermined period, such as 5 seconds. In step ST115, it is detected that the user's line of sight remains directed toward the display unit 12 even after a predetermined period of time, such as 5 seconds, has elapsed. In step ST117, the reference information displayed in the first display format is further displayed on the display unit 12 in the second display format for a predetermined period such as 5 seconds.
＜効果＞
　上述したように、ユーザの視線の向きが、表示部１２に向いた状態で所定時間以上が経過したことを検出した場合、直近キーワードに対する参照情報を表示部１２に表示態様を変えて表示させる。本実施形態によれば、本実施形態は、ユーザが表示されている参照情報からキーワードの理解が不十分であるときなどに、ユーザの理解を適切に支援することができる。 <Effect>
As described above, when it is detected that a predetermined period of time or more has elapsed with the user's line of sight facing the display unit 12, the display unit 12 displays reference information for the most recent keyword in a different display manner. According to the present embodiment, when the user does not fully understand the keyword from the displayed reference information, the present embodiment can appropriately support the user's understanding.
［第七実施形態］
　図１８を参照しながら、本実施形態に係る情報表示装置１０について説明する。図１８は、第七実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第五実施形態の情報表示装置１０と同様である。以下の説明においては、情報表示装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、情報表示装置１０は、会議において、参照情報を要するキーワードが抽出された場合に、参照情報を表示部１２に表示させ、ユーザの視線の向きが表示部１２に向いたことが検出された場合、参照情報の表示態様を変えて表示部１２に表示させる。本実施形態では、表示制御部２８における処理が第五実施形態と異なる。 [Seventh embodiment]
The information display device 10 according to this embodiment will be described with reference to FIG. 18. FIG. 18 is a flowchart illustrating an example of the flow of processing in the information display control device according to the seventh embodiment. The information display device 10 has the same basic configuration as the information display device 10 of the fifth embodiment. In the following description, components similar to those of the information display device 10 are denoted by the same or corresponding symbols, and detailed description thereof will be omitted. In the present embodiment, when a keyword requiring reference information is extracted in a meeting, the information display device 10 displays the reference information on the display unit 12 so that the user's line of sight is directed toward the display unit 12. If detected, the display mode of the reference information is changed and displayed on the display unit 12. In this embodiment, the processing in the display control unit 28 is different from the fifth embodiment.
　本実施形態では、表示制御部２８が、参照情報の表示を、第１表示形態または第２表示形態で、表示部１２に表示させる。本実施形態において、第１表示形態と第２表示形態とは、参照情報の表示情報量、または参照情報の表示視認性が異なる。 In the present embodiment, the display control unit 28 causes the display unit 12 to display the reference information in the first display format or the second display format. In this embodiment, the first display form and the second display form differ in the amount of display information of the reference information or the display visibility of the reference information.
　表示制御部２８が参照情報を表示するときの第１表示形態および第２表示形態が、参照情報の表示情報量である場合、第１表示形態および第２表示形態は、第六実施形態における第１表示形態および第２表示形態と同一である。表示制御部２８が参照情報を表示するときの第１表示形態および第２表示形態が、参照情報の表示視認性である場合、表示制御部２８は、参照情報の表示視認性を変更する。参照情報の表示視認性の変更は、例えば、文字サイズの変更、文字色や文字の透過率などを変更することである。 When the first display form and the second display form when the display control unit 28 displays the reference information are the amount of display information of the reference information, the first display form and the second display form are the same as those in the sixth embodiment. This is the same as the first display form and the second display form. When the first display form and the second display form when the display control unit 28 displays the reference information are the display visibility of the reference information, the display control unit 28 changes the display visibility of the reference information. The display visibility of the reference information can be changed by, for example, changing the font size, font color, font transmittance, or the like.
　表示制御部２８が、参照情報の表示視認性を変更する例について説明する。参照情報の表示視認性の変更が、文字サイズの変更である場合、表示制御部２８は、第１表示形態として表示される文字サイズより文字サイズを大きくした第２表示形態に表示態様を変更することで、視認性のよい表示を行う。したがって、表示制御部２８は、比較的視認性の低い第１表示形態から、比較的視認性の高い第２表示形態に表示態様を変更する。参照情報を、第２表示形態で表示する場合、文字サイズの変更に伴って、参照情報表示範囲１１０などの面積が大きくなるようにしてもよい。 An example in which the display control unit 28 changes the display visibility of reference information will be described. If the change in display visibility of the reference information is a change in font size, the display control unit 28 changes the display mode to a second display mode in which the font size is larger than the font size displayed as the first display mode. This enables display with good visibility. Therefore, the display control unit 28 changes the display mode from the first display mode, which has relatively low visibility, to the second display mode, which has relatively high visibility. When displaying the reference information in the second display format, the area of the reference information display range 110 or the like may be increased as the font size is changed.
　参照情報の表示視認性の変更が、文字色や文字の透過率の変更である場合、表示制御部２８は、第１表示形態として表示される文字より目立つ文字色や文字の透過率である第２表示形態に表示態様を変更することで、視認性のよい表示を行う。第１表示形態の文字色は、例えば黒色であり、第２表示形態の文字色は、例えば赤色である。また、第１表示形態における文字の透過率、いわゆる透明度は、例えば、背景情報が透けて見える程度の５０％前後であり、第２表示形態における文字の透過率は、背景情報が殆ど見えない１０％未満である。第１表示形態と第２表示形態は、上記に加えて、文字の太さなども変更してもよい。 When the display visibility of the reference information is changed by changing the font color or the transmittance of the characters, the display control unit 28 changes the font color or the transmittance of the characters to be more conspicuous than the characters displayed as the first display form. By changing the display mode to two display modes, display with good visibility is achieved. The font color of the first display mode is, for example, black, and the font color of the second display mode is, for example, red. Further, the transmittance of the characters in the first display mode, so-called transparency, is, for example, around 50%, which is enough to see through the background information, and the transmittance of the characters in the second display mode is 10%, which is such that the background information is hardly visible. less than %. In addition to the above, the thickness of characters may also be changed between the first display form and the second display form.
　次に、図１８を用いて、制御装置２０における処理の流れについて説明する。図１８に示すステップＳＴ１２１およびステップＳＴ１２６の処理は、図１６に示すフローチャートのステップＳＴ１０１およびステップＳＴ１０５と同様の処理を行う。 Next, the flow of processing in the control device 20 will be described using FIG. 18. The processes in step ST121 and step ST126 shown in FIG. 18 are similar to steps ST101 and step ST105 in the flowchart shown in FIG. 16.
　ステップＳＴ１２２で、発話認識が開始された後、制御装置２０は、参照情報を要するキーワードが抽出されたか否かを判定する（ステップＳＴ１２２）。より詳しくは、制御装置２０は、抽出部２６によって、発話認識部２１による発話の認識結果に基づいて、発話内容に参照情報を要するキーワードが抽出されたか否かを判定する。ステップＳＴ１２２において、参照情報を要するキーワードが抽出されたと判定する場合（ステップＳＴ１２２でＹｅｓ）、ステップＳＴ１２３へ進む。制御装置２０は、参照情報を要するキーワードが抽出されたと判定しない場合（ステップＳＴ１２２でＮｏ）、ステップＳＴ１２６へ進む。 After speech recognition is started in step ST122, the control device 20 determines whether a keyword requiring reference information has been extracted (step ST122). More specifically, in the control device 20, the extraction unit 26 determines whether a keyword requiring reference information is extracted from the content of the utterance, based on the recognition result of the utterance by the utterance recognition unit 21. If it is determined in step ST122 that a keyword requiring reference information has been extracted (Yes in step ST122), the process advances to step ST123. If the control device 20 does not determine that a keyword requiring reference information has been extracted (No in step ST122), the process proceeds to step ST126.
　ステップＳＴ１２３では、ステップＳＴ１２２で抽出された、参照情報を要するキーワードの参照情報を取得し、第１表示形態で所定期間表示する。より詳しくは、制御装置２０は、情報取得部２７によって、参照情報を要するキーワードの参照情報を取得し、制御装置２０は、表示制御部２８によって、抽出した参照情報を第１表示形態、つまり、視認性が比較的低い表示形態で、表示部１２に所定期間表示させる。 In step ST123, the reference information of the keyword that requires reference information extracted in step ST122 is acquired and displayed in the first display form for a predetermined period of time. More specifically, the control device 20 uses the information obtaining section 27 to obtain reference information of a keyword that requires reference information, and the display control section 28 causes the control device 20 to display the extracted reference information in the first display form, that is, A display format with relatively low visibility is displayed on the display unit 12 for a predetermined period of time.
　ステップＳＴ１２３で、参照情報を第１表示形態で表示させた後、制御装置２０は、ユーザの視線が表示部１２に向いたか否かを判定する（ステップＳＴ１２４）。制御装置２０は、視線検出部２４によって、ユーザの視線の向きが表示部１２に向いたか否かを判定する。制御装置２０は、ユーザの視線が表示部１２に向いたと判定する場合（ステップＳＴ１２４でＹｅｓ）、ステップＳＴ１２５へ進む。制御装置２０は、ユーザの視線が表示部１２に向いたと判定しない場合（ステップＳＴ１２４でＮｏ）、ステップＳＴ１２６へ進む。 After displaying the reference information in the first display format in step ST123, the control device 20 determines whether the user's line of sight is directed toward the display unit 12 (step ST124). The control device 20 determines whether the direction of the user's line of sight is directed toward the display unit 12 using the line of sight detection unit 24 . When the control device 20 determines that the user's line of sight is directed toward the display unit 12 (Yes in step ST124), the control device 20 proceeds to step ST125. If the control device 20 does not determine that the user's line of sight is directed toward the display unit 12 (No in step ST124), the process proceeds to step ST126.
　ステップＳＴ１２５では、ステップＳＴ１２３において第１表示形態で表示された参照情報を、第２表示形態で所定期間表示させる。言い換えると、ステップＳＴ１２５では、ステップＳＴ１２３において第１表示形態で表示された参照情報の表示態様を、第２表示形態に変更する。つまり、ステップＳＴ１２３で、比較的視認性の低い表示態様で表示された参照情報の表示態様を、比較的視認性の高い表示態様となるように変更する。 In step ST125, the reference information displayed in the first display format in step ST123 is displayed in the second display format for a predetermined period of time. In other words, in step ST125, the display mode of the reference information displayed in the first display mode in step ST123 is changed to the second display mode. That is, in step ST123, the display mode of the reference information displayed in a display mode with relatively low visibility is changed to a display mode with relatively high visibility.
＜効果＞
　上述したように、本実施形態では、参照情報を要するキーワードが抽出された場合、比較的視認性の低い第１表示形態で参照情報が表示され、ユーザの視線の向きが、表示部１２に向いたことを検出した場合、参照情報の表示形態が、比較的視認性の高い第２表示形態に変更させる。本実施形態によれば、ユーザが表示部１２を見ることで、キーワードの参照情報を明確に目視することができる。本実施形態は、ユーザが必要とするときに、ユーザの理解を適切に支援することができる。本実施形態は、ユーザにとって参照情報が不要なキーワードに対し、参照情報が視認性よく表示されることで、ユーザが参照情報を意識してしまい、会議等におけるコミュニケーションの流れが阻害されてしまうことを抑制することができる。このように、本実施形態によれば、発話内容に基づくキーワードから、適切に参照情報を表示させることができる。 <Effect>
As described above, in this embodiment, when a keyword requiring reference information is extracted, the reference information is displayed in the first display form with relatively low visibility, and the direction of the user's line of sight is directed toward the display unit 12. If it is detected that the reference information is displayed, the display format of the reference information is changed to a second display format with relatively high visibility. According to this embodiment, by looking at the display unit 12, the user can clearly see the reference information of the keyword. This embodiment can appropriately support the user's understanding when the user needs it. In this embodiment, reference information is displayed with good visibility for keywords for which reference information is unnecessary for the user, so that the user becomes conscious of the reference information and the flow of communication in meetings etc. is obstructed. can be suppressed. In this manner, according to the present embodiment, reference information can be appropriately displayed based on keywords based on the content of the utterance.
　本開示に係る情報表示装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。 The information display device according to the present disclosure may be implemented in various different forms other than the embodiments described above.
　図示した情報表示装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated information display device is functionally conceptual, and does not necessarily have to be physically configured as illustrated. In other words, the specific form of each device is not limited to what is shown in the diagram, and all or part of it may be functionally or physically distributed or integrated into arbitrary units depending on the processing load and usage status of each device. You can.
　情報表示装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the information display device is realized by, for example, a program loaded into a memory as software. The above embodiments have been described as functional blocks realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms using only hardware, only software, or a combination thereof.
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The above-mentioned components include those that can be easily imagined by those skilled in the art and those that are substantially the same. Furthermore, the above configurations can be combined as appropriate. Furthermore, various omissions, substitutions, or changes in the configuration are possible without departing from the gist of the present invention.
　上述した実施形態における視線検出部２４は、ユーザが表示部１２の方向を向いたことが検出することによっても同等の効果を得ることができる。このため、カメラ１４が撮影した映像に基づいて、ユーザの顔の向きを検出する顔向き検出部に置き換えることも可能である。顔向き検出部は、カメラ１４の位置と表示部１２との相対的な位置関係に基づき、カメラ１４が撮影したユーザの顔の映像から、公知の手法を用いて、ユーザの顔の向きが、表示部１２の方向を向いたことを検出する。この場合、表示制御部２８は、顔向き検出部が検出したユーザの顔の向きが、表示部１２に向いたことを検出した場合、検出した時点の直前に抽出部２６が抽出した参照情報を要するキーワードに対する参照情報を表示部１２に表示させる。または、表示制御部２８は、顔向き検出部が検出したユーザの顔の向きが、表示部１２に向いたことを検出した場合、表示部１２に表示してうる参照情報の表示態様を変更させる。 The line of sight detection unit 24 in the embodiment described above can also obtain the same effect by detecting that the user is facing the direction of the display unit 12. For this reason, it is also possible to replace it with a face orientation detection section that detects the orientation of the user's face based on the video captured by the camera 14. Based on the relative positional relationship between the position of the camera 14 and the display unit 12, the face direction detection unit detects the direction of the user's face using a known method from the image of the user's face taken by the camera 14. It is detected that the user is facing the direction of the display unit 12. In this case, when the face orientation detection unit detects that the user's face is facing the display unit 12, the display control unit 28 extracts the reference information extracted by the extraction unit 26 immediately before the detection. Reference information for the required keyword is displayed on the display unit 12. Alternatively, when the face orientation detection unit detects that the user's face is directed toward the display unit 12, the display control unit 28 causes the display unit 12 to change the display mode of the reference information displayed on the display unit 12. .
　本開示は、例えば、会議または会話のような、少なくとも発話によるコミュニケーションに用いる情報表示装置などに使用することができる。 The present disclosure can be used, for example, in an information display device used for communication through at least speech, such as a meeting or conversation.
　１０　　　情報表示装置
　１１　　　マイクロフォン
　１２　　　表示部
　１７　　　操作部
　１８　　　キーワード情報記憶部
　１９　　　通信部
　２０　　　制御装置（情報表示制御装置）
　２１　　　発話認識部
　２６　　　抽出部
　２７　　　情報取得部
　２８　　　表示制御部
　２９　　　通信制御部
　３２　　　操作制御部 10 Information display device 11 Microphone 12 Display section 17 Operation section 18 Keyword information storage section 19 Communication section 20 Control device (information display control device)
21 Speech recognition unit 26 Extraction unit 27 Information acquisition unit 28 Display control unit 29 Communication control unit 32 Operation control unit

Claims (9)

  1. 　表示部に情報を表示するよう情報表示装置を制御する情報表示制御装置であって、
    　発話者の発話を認識する発話認識部と、
    　前記表示部に表示された表示画面に対する操作を検出する操作制御部と、
    　前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、
    　前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、
    　前記情報取得部が取得した前記参照情報を前記表示部に表示する表示制御部と、
    　を備え、
    　前記表示制御部は、前記操作制御部によって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　情報表示制御装置。     An information display control device that controls an information display device to display information on a display section,
    a speech recognition unit that recognizes the speech of the speaker;
    an operation control unit that detects an operation on a display screen displayed on the display unit;
    an extraction unit that extracts a keyword requiring reference information from the utterance recognized by the utterance recognition unit;
    an information acquisition unit that acquires the reference information for the keyword extracted by the extraction unit;
    a display control unit that displays the reference information acquired by the information acquisition unit on the display unit;
    Equipped with
    When the operation control unit detects that the display range related to the utterance displayed on the display unit has been manipulated, the display control unit extracts the reference information for the keyword that requires the reference information extracted by the extraction unit. to be displayed on the display,
    Information display control device.
  2. 　前記表示制御部は、前記操作制御部によって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲に対応して、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　請求項１に記載の情報表示制御装置。     When it is detected by the operation control unit that a display range related to utterances displayed on the display unit has been manipulated, the display control unit is configured to display a reference image extracted by the extraction unit corresponding to the manipulated range. displaying reference information for a keyword requiring information on the display unit;
    The information display control device according to claim 1.
  3. 　前記表示制御部は、前記操作制御部によって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された範囲における操作位置に対応して、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、前記表示部に表示させる、
    　請求項１に記載の情報表示制御装置。     When the operation control unit detects that the display range related to the utterance displayed on the display unit has been manipulated, the display control unit is configured to cause the extraction unit to control the extraction unit in accordance with the operation position in the manipulated range. weighting reference information for keywords that require extracted reference information and displaying it on the display unit;
    The information display control device according to claim 1.
  4. 　前記表示制御部は、前記操作制御部によって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、操作された期間に対応して、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報に重み付けを行い、前記表示部に表示させる、
    　請求項１に記載の情報表示制御装置。     When the operation control unit detects that the display range related to the utterance displayed on the display unit has been manipulated, the display control unit is configured to display the reference information extracted by the extraction unit in accordance with the operation period. weighting reference information for keywords requiring information and displaying it on the display unit;
    The information display control device according to claim 1.
  5. 　前記操作制御部は、前記表示部に表示された表示画面に対する前記情報表示装置のユーザの視線の向きを検出する視線検出部であり、
    　前記表示制御部は、前記視線検出部が検出した前記ユーザの視線の向きが、前記表示部、または前記表示部における前記参照情報を表示させる所定範囲に向いたことを検出した場合、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　請求項１に記載の情報表示制御装置。     The operation control unit is a line-of-sight detection unit that detects a line-of-sight direction of a user of the information display device with respect to a display screen displayed on the display unit,
    When the display control unit detects that the direction of the user's line of sight detected by the line of sight detection unit is directed toward the display unit or a predetermined range in which the reference information is to be displayed on the display unit, the display control unit controls the extraction unit. displaying reference information for a keyword that requires reference information extracted by the display unit;
    The information display control device according to claim 1.
  6. 　前記表示制御部は、前記視線検出部が検出した前記ユーザの視線の向きが、発話者に向いた状態から前記表示部または前記所定範囲に向いたことを検出した場合、前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　請求項５に記載の情報表示制御装置。     When the display control unit detects that the direction of the user's line of sight detected by the line of sight detection unit has changed from facing the speaker to the display unit or the predetermined range, the extraction unit extracts displaying reference information for a keyword requiring reference information on the display unit;
    The information display control device according to claim 5.
  7. 　前記表示制御部は、前記操作制御部が前記表示画面に対する操作を検出した時点の直前に前記抽出部が抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　請求項１から６のいずれか１項に記載の情報表示制御装置。     The display control unit causes the display unit to display reference information for a keyword that requires reference information extracted by the extraction unit immediately before the operation control unit detects an operation on the display screen.
    The information display control device according to any one of claims 1 to 6.
  8. 　前記表示制御部は、前記抽出部が抽出した前記参照情報を前記表示部に表示させ、前記視線検出部が検出した前記ユーザの視線の向きが、前記表示部または前記表示部における前記参照情報を表示させる所定範囲に向いたことを検出した場合、表示している前記参照情報の表示態様を変更させる、
    　請求項５に記載の情報表示制御装置。     The display control unit causes the reference information extracted by the extraction unit to be displayed on the display unit, and the direction of the user's line of sight detected by the line of sight detection unit is configured to display the reference information on the display unit or the display unit. When it is detected that the user is facing a predetermined range to be displayed, the display mode of the reference information being displayed is changed;
    The information display control device according to claim 5.
  9. 　表示部に情報を表示する情報表示装置が実行する情報表示方法であって、
    　発話者の発話を認識する発話認識ステップと、
    　前記表示部に表示された表示画面に対する操作を検出する操作制御ステップと、
    　前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、
    　前記抽出ステップで抽出した前記キーワードに対する参照情報を取得する情報取得ステップと、
    　前記情報取得ステップで取得した参照情報を前記表示部に表示する表示制御ステップと、
    　を含み、
    　前記表示制御ステップは、前記操作制御ステップによって前記表示部に表示されている発話に関する表示範囲が操作されたことが検出された場合、前記抽出ステップで抽出した参照情報を要するキーワードに対する参照情報を前記表示部に表示させる、
    　ことを実行する情報表示方法。     An information display method executed by an information display device that displays information on a display unit, the method comprising:
    a speech recognition step for recognizing the utterance of the speaker;
    an operation control step of detecting an operation on a display screen displayed on the display unit;
    an extraction step of extracting keywords requiring reference information from the utterances recognized in the utterance recognition step;
    an information acquisition step of acquiring reference information for the keyword extracted in the extraction step;
    a display control step of displaying the reference information acquired in the information acquisition step on the display section;
    including;
    In the display control step, if the operation control step detects that the display range related to the utterance displayed on the display unit has been manipulated, the display control step extracts the reference information for the keyword that requires the reference information extracted in the extraction step. to be displayed on the display,
    A method of displaying information that does something.
PCT/JP2023/019082 2022-06-22 2023-05-23 Information display control device and information display method WO2023248677A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-100400 2022-06-22
JP2022100400A JP2024001624A (en) 2022-06-22 2022-06-22 Information display control device and information display method
JP2022114215A JP2024011896A (en) 2022-07-15 2022-07-15 Information display control device and information display method
JP2022-114215 2022-07-15

Publications (1)

Publication Number Publication Date
WO2023248677A1 true WO2023248677A1 (en) 2023-12-28

Family

ID=89379755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/019082 WO2023248677A1 (en) 2022-06-22 2023-05-23 Information display control device and information display method

Country Status (1)

Country Link
WO (1) WO2023248677A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006085565A1 (en) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation Information communication terminal, information communication system, information communication method, information communication program, and recording medium on which program is recorded
JP2012208630A (en) * 2011-03-29 2012-10-25 Mizuho Information & Research Institute Inc Speech management system, speech management method and speech management program
JP2017004193A (en) * 2015-06-09 2017-01-05 凸版印刷株式会社 Information processing device, information processing method, and program
WO2019130817A1 (en) * 2017-12-25 2019-07-04 京セラドキュメントソリューションズ株式会社 Information processing device and speech analysis method
JP2019531538A (en) * 2016-08-12 2019-10-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Wordflow annotation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006085565A1 (en) * 2005-02-08 2006-08-17 Nippon Telegraph And Telephone Corporation Information communication terminal, information communication system, information communication method, information communication program, and recording medium on which program is recorded
JP2012208630A (en) * 2011-03-29 2012-10-25 Mizuho Information & Research Institute Inc Speech management system, speech management method and speech management program
JP2017004193A (en) * 2015-06-09 2017-01-05 凸版印刷株式会社 Information processing device, information processing method, and program
JP2019531538A (en) * 2016-08-12 2019-10-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Wordflow annotation
WO2019130817A1 (en) * 2017-12-25 2019-07-04 京セラドキュメントソリューションズ株式会社 Information processing device and speech analysis method

Similar Documents

Publication Publication Date Title
KR102222421B1 (en) Save metadata related to captured images
US10387570B2 (en) Enhanced e-reader experience
JP6570651B2 (en) Voice dialogue apparatus and voice dialogue method
EP0986809B1 (en) Speech recognition method with multiple application programms
US10811005B2 (en) Adapting voice input processing based on voice input characteristics
US11636859B2 (en) Transcription summary presentation
US20140010417A1 (en) Command input method of terminal and terminal for inputting command using mouth gesture
RU2733816C1 (en) Method of processing voice information, apparatus and storage medium
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
CN110544473A (en) Voice interaction method and device
CN109032554B (en) Audio processing method and electronic equipment
CN112084478A (en) Multi-user account switching method and device, electronic equipment and storage medium
WO2023248677A1 (en) Information display control device and information display method
CN103428339A (en) Method for controlling mobile phone to be operated through voice input
CA3097683A1 (en) Speech analysis system
CN111312241A (en) Unmanned shopping guide method, terminal and storage medium
JP2024011896A (en) Information display control device and information display method
JP2024001624A (en) Information display control device and information display method
US11895269B2 (en) Determination and visual display of spoken menus for calls
JP2019203998A (en) Conversation device, robot, conversation device control method and program
CN114999482A (en) Line-of-sight-based voice recognition method, device, equipment and storage medium
CN115083396A (en) Voice processing method and device for audio tail end detection, electronic equipment and medium
JP2023181704A (en) Information display controller and information display method
JP2023178102A (en) Information display control device and information display method
JP2023178023A (en) Information display control device and information display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826865

Country of ref document: EP

Kind code of ref document: A1