JP6672399B2

JP6672399B2 - Electronics

Info

Publication number: JP6672399B2
Application number: JP2018152416A
Authority: JP
Inventors: 隆一山口
Original assignee: Dynabook Inc
Current assignee: Dynabook Inc
Priority date: 2018-08-13
Filing date: 2018-08-13
Publication date: 2020-03-25
Anticipated expiration: 2034-09-22
Also published as: JP2018205765A

Description

本発明の実施形態は、電子機器に関する。 An embodiment of the present invention relates to an electronic device.

近年、タブレットやスマートフォンなど、バッテリ駆動可能で携行容易な電子機器が広く普及している。この種の電子機器は、表示面に触れることで入力操作を可能とするタッチスクリーンディスプレイを備えていることが一般的である。また、この種の電子機器の多くは、マイクロフォンとスピーカとを備えており、例えば会議での会話を録音・再生するためのレコーダとして利用することができる。 In recent years, battery-driven and portable electronic devices such as tablets and smartphones have become widespread. An electronic device of this type generally includes a touch screen display that enables an input operation by touching a display surface. Many of such electronic devices include a microphone and a speaker, and can be used as, for example, a recorder for recording and playing back a conversation in a conference.

特開２００７−２５６４９８号公報JP 2007-256498 A

現在、音声を解析して話者を識別する様々な手法が知られている。これらの手法で話者を識別することにより、例えば、会議の議事録を作成するために、その会議での会話を録音した音声を再生する場合等において、誰の発言なのかを視覚的に確認可能とする表示画面を提供することができる。つまり、会議の議事録の作成等を支援すべく、音声を可視化することができる。 At present, various techniques for analyzing a voice to identify a speaker are known. By identifying speakers using these methods, it is possible to visually confirm who is speaking, for example, in the case of playing back a recorded voice of a conversation at that meeting in order to create the minutes of the meeting. A display screen that can be provided can be provided. That is, the audio can be visualized to support the preparation of the minutes of the meeting.

しかしながら、話者の識別は、録音環境等の様々な影響により、１００％の精度で実行できるとはいえない。同一人物の音声が複数の人物の音声と識別されたり、逆に、複数の人物の音声が同一人物の音声と識別されたり等が発生し得る。 However, it cannot be said that speaker identification can be performed with 100% accuracy due to various effects such as a recording environment. Voices of the same person may be identified as voices of a plurality of people, and conversely, voices of a plurality of people may be identified as voices of the same person.

本発明が解決しようとする課題は、再生される音声データのデータ量と、現在の再生位置を目視することができ、更に再生中の音声データの話者を認識することができる電子機器を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an electronic device capable of visually observing a data amount of audio data to be reproduced and a current reproduction position, and further capable of recognizing a speaker of the audio data being reproduced. It is to be.

実施形態によれば、電子機器は、タッチパネルを有するディスプレイと、音声データを記憶する不揮発性メモリと、音声録音再生プログラムを実行して、前記不揮発性メモリに記憶した前記音声データを再生するための再生画面を前記ディスプレイに表示して再生するプロセッサと、を具備する。前記再生画面は、再生される前記音声データのタイムバーを表示する第１の領域と、前記音声データの前記タイムバーの一部の区間であって、発話した話者をそれぞれ識別可能に表示される発話区間バーを表示する第２の領域と、前記第２の領域の再生中の前記発話区間バーに重ねて表示される再生時点を示すラインと、前記音声データの録音の際に識別した複数の話者に対応する話者マークであって、前記発話区間バーの編集操作に用いる前記話者マークが表示される特定エリアと、を有する。前記プロセッサは、前記再生時点を示すラインに位置する前記発話区間バーを再生中に、当該発話区間バーの話者に対応する前記話者マークの近くに発話マークを表示する。 According to the embodiment, the electronic device has a display having a touch panel, a non-volatile memory that stores audio data, and an audio recording / reproducing program for executing the audio recording / reproducing program to reproduce the audio data stored in the non-volatile memory. And a processor for displaying a reproduction screen on the display and reproducing the same. The reproduction screen is a first area for displaying a time bar of the audio data to be reproduced, and a part of the time bar of the audio data, and is displayed so as to be able to identify a speaker who has spoken. A second area for displaying an utterance section bar, a line indicating a reproduction time point superimposed on the utterance section bar being reproduced in the second area, and a plurality of lines identified at the time of recording the audio data. And a specific area in which the speaker mark used for editing the utterance section bar is displayed . The processor displays an utterance mark near the speaker mark corresponding to the speaker of the utterance section bar during reproduction of the utterance section bar located on the line indicating the reproduction time point.

実施形態の電子機器の外観の一例を示す図。FIG. 2 is an exemplary view showing an example of an appearance of the electronic apparatus of the embodiment. 実施形態の電子機器のシステム構成の一例を示す図。FIG. 1 is an exemplary view showing an example of a system configuration of an electronic apparatus according to an embodiment. 実施形態の電子機器上で動作する音声録音再生プログラムの機能構成（機能ブロック）の一例を示す図。FIG. 4 is an exemplary view showing an example of a functional configuration (functional block) of a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器上で動作する音声録音再生プログラムによって表示される表示画面の一覧を示す図。FIG. 4 is an exemplary view showing a list of display screens displayed by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器上で動作する音声録音再生プログラムによって表示されるホーム画面の一例を示す図。FIG. 5 is an exemplary view showing an example of a home screen displayed by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器上で動作する音声録音再生プログラムによって表示される録音画面の一例を示す図。FIG. 4 is an exemplary view showing an example of a recording screen displayed by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器上で動作する音声録音再生プログラムによって表示される再生画面の一例を示す図。FIG. 4 is an exemplary view showing an example of a playback screen displayed by a voice recording / playback program operating on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者統合用に提供するユーザインタフェースを説明するための第１の図。FIG. 2 is an exemplary first diagram for describing a user interface provided for speaker integration by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者統合用に提供するユーザインタフェースを説明するための第２の図。FIG. 2 is an exemplary second diagram for describing a user interface provided for speaker integration by a voice recording / reproducing program that operates on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者統合用に提供するユーザインタフェースを説明するための第３の図。FIG. 9 is an exemplary third diagram illustrating a user interface provided for speaker integration by the voice recording / reproducing program operating on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者分割用に提供するユーザインタフェースを説明するための第１の図。FIG. 3 is an exemplary first diagram for describing a user interface provided for speaker division by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者分割用に提供するユーザインタフェースを説明するための第２の図。FIG. 2 is an exemplary second diagram for describing a user interface provided for speaker division by a voice recording / reproducing program which operates on the electronic apparatus of the embodiment. 実施形態の電子機器で動作する音声録音再生プログラムが話者分割用に提供するユーザインタフェースを説明するための第３の図。FIG. 9 is an exemplary third diagram for describing a user interface provided by the voice recording / reproducing program which operates on the electronic apparatus of the embodiment for speaker division. 実施形態の電子機器の話者統合または話者分割に関する動作手順を示すフローチャート。9 is an exemplary flowchart illustrating an operation procedure regarding speaker integration or speaker division of the electronic apparatus of the embodiment.

以下、実施の形態について図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.

本実施形態の電子機器は、例えば、タブレット、スマートフォン、ＰＤＡ（Personal Digital assistant）等として実現し得る。なお、ここでは、本電子機器が、タブレットとして実現される場合を想定する。また、以下に説明する要素や構成は、ハードウェアを用いて実現できるが、マイクロコンピュータ（処理装置、ＣＰＵ（Central Processing Unit））を用いるソフトウェアによっても実現できる。 The electronic device of the present embodiment can be realized as, for example, a tablet, a smartphone, a PDA (Personal Digital assistant), or the like. Here, it is assumed that the present electronic device is realized as a tablet. The elements and configurations described below can be realized using hardware, but can also be realized using software using a microcomputer (processing device, CPU (Central Processing Unit)).

図１は、タブレット１の外観の一例を示す図である。図１に示すように、タブレット１は、本体ユニット（ＰＣ本体）１０とタッチスクリーンディスプレイ２０とを含む。 FIG. 1 is a diagram illustrating an example of the external appearance of the tablet 1. As shown in FIG. 1, the tablet 1 includes a main unit (PC main body) 10 and a touch screen display 20.

ＰＣ本体１０の所定の位置には、タッチスクリーンディスプレイ２０に面する撮影の対象、例えばユーザやユーザとその背景またはユーザの周囲に位置に位置する物体等の情報を映像（画像情報）として取り込むカメラユニット１１が位置する。ＰＣ本体１０の所定の位置には、また、ユーザまたはユーザとその周囲に居る任意数の人の音声または周辺の音（音響）を取り込む第１および第２のマイクロフォン１２Ｒ，１２Ｌが位置する。第１および第２のマイクロフォン１２Ｒ，１２Ｌは、例えばカメラユニット１１を仮想的中心とし、カメラユニット１１から実質的に等距離に位置する。なお、本実施形態では、マイクロフォンが２つ設けられた形態を例示するが、設けられるマイクロフォンは１つであってもよい。 A camera that captures, as a video (image information), a predetermined position of the PC main body 10 as an image (image information) of an object to be photographed facing the touch screen display 20, for example, a user, a user and its background, or an object located at a position around the user. The unit 11 is located. At predetermined positions of the PC main body 10, first and second microphones 12R and 12L that capture the voice of a user or an arbitrary number of people around the user or surrounding sounds (sounds) are also located. The first and second microphones 12R and 12L are located substantially equidistant from the camera unit 11, for example, with the camera unit 11 as a virtual center. Note that, in the present embodiment, a form in which two microphones are provided is illustrated, but one microphone may be provided.

また、ＰＣ本体１０の所定の位置には、ＰＣ本体１０が保持する音声／音響データ（以下、音声データと称する）を再生するスピーカ１３Ｒ，１３Ｌが位置する。なお、ＰＣ本体１０の所定の位置には、詳述しないが、電源オンスイッチ（パワーボタン）、ロック機構および認証ユニット等が位置する。パワーボタンは、タブレット１の利用を可能とする（タブレット１を起動する）ための電源のオン／オフを制御する。ロック機構は、例えば持ち運び時のパワーボタンの動作をロックする。認証ユニットは、例えばユーザを認証するために、ユーザの指や手のひらと関連付けられる（生体）情報を読み取る。 Further, speakers 13R and 13L for reproducing voice / sound data (hereinafter referred to as voice data) held by the PC main body 10 are located at predetermined positions of the PC main body 10. Although not described in detail, a power-on switch (power button), a lock mechanism, an authentication unit, and the like are located at predetermined positions of the PC body 10. The power button controls power on / off for enabling use of the tablet 1 (starting up the tablet 1). The lock mechanism locks, for example, the operation of the power button when being carried. The authentication unit reads (biological) information associated with the user's finger or palm, for example, to authenticate the user.

タッチスクリーンディスプレイ２０は、液晶表示ユニット（ＬＣＤ（Liquid Crystal Display）／表示ユニット）２１と、タッチパネル（指示入力受けつけユニット）２２とを含む。タッチパネル２２は、少なくともＬＣＤ２１の表示面（画面）を覆うように、ＰＣ本体１０の所定の位置に位置する。 The touch screen display 20 includes a liquid crystal display unit (LCD (Liquid Crystal Display) / display unit) 21 and a touch panel (instruction input receiving unit) 22. The touch panel 22 is located at a predetermined position on the PC body 10 so as to cover at least the display surface (screen) of the LCD 21.

タッチスクリーンディスプレイ２０は、外部オブジェクト（タッチペンまたはユーザの手の指等）が接触する表示画面上の指示入力位置（タッチ位置または接触位置）を検知する。タッチスクリーンディスプレイ２０は、また、同時に複数の指示入力位置を検知可能なマルチタッチ機能を有する（サポートしている）。なお、外部オブジェクトは、前述の通り、タッチペンやユーザの指等、いずれでもよいが、以降の説明では、ユーザの指を例示して説明を行う。 The touch screen display 20 detects an instruction input position (touch position or contact position) on the display screen where an external object (such as a touch pen or a finger of a user's hand) contacts. The touch screen display 20 also has (supports) a multi-touch function capable of simultaneously detecting a plurality of instruction input positions. As described above, the external object may be any of a touch pen, a user's finger, and the like. However, in the following description, the user's finger will be described as an example.

タッチスクリーンディスプレイ２０は、また、タブレット１における各種アプリケーションプログラムの画面や画像（オブジェクト）を表示するメインディスプレイとして使用される。なお、タッチスクリーンディスプレイ２０は、ＰＣ本体１０の起動時に、ユーザが起動しようとする任意のアプリケーションプログラムの実行開始（起動）を外部オブジェクトによる指示入力にて受け付け、任意数の起動されたアプリケーションプログラムについてのアイコンを表示する。また、タッチスクリーンディスプレイ２０の表示画面の向きは、横向き（ランドスケープ）と縦向き（ポートレート）との間で切り替えることができ、図１は、ランドスケープ時の起動完了画面の表示の一例を示している。 The touch screen display 20 is used as a main display for displaying screens and images (objects) of various application programs in the tablet 1. Note that, when the PC body 10 is started, the touch screen display 20 receives an execution start (start) of an arbitrary application program to be started by the user by inputting an instruction from an external object, and receives an arbitrary number of started application programs. Display the icon of. The orientation of the display screen of the touch screen display 20 can be switched between landscape (landscape) and portrait (portrait). FIG. 1 shows an example of a display of a startup completion screen at the time of landscape. I have.

図２に、タブレット１のシステム構成の一例を示す。 FIG. 2 shows an example of a system configuration of the tablet 1.

図２に示すように、タブレット１は、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、サウンドコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０６、不揮発性メモリ１０７、ＥＥＰＲＯＭ１０８、ＬＡＮコントローラ１０９、無線ＬＡＮコントローラ１１０、バイブレータ１１１、加速度センサ１１２、オーディオキャプチャ（ボード）１１３、エンベデッドコントローラ（ＥＣ：Embedded Contoller）１１４等を備える。 As shown in FIG. 2, the tablet 1 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a sound controller 105, a BIOS-ROM 106, a nonvolatile memory 107, an EEPROM 108, a LAN controller 109, a wireless LAN controller 110, and a vibrator. 111, an acceleration sensor 112, an audio capture (board) 113, an embedded controller (EC: Embedded Controller) 114, and the like.

ＣＰＵ１０１は、ＰＣ本体１０とタッチスクリーンディスプレイ２０の各部の動作を制御する。すなわち、ＣＰＵ１０１は、不揮発性メモリ１０７から主メモリ１０３にロードされるオペレーティングシステム（ＯＳ）２０１および各種アプリケーションプログラムを実行する。各種アプリケーションプログラムの１つとして、後述する音声録音再生プログラム２０２が存在する。音声録音再生プログラム２０２は、ＯＳ２０１の制御下で実行されるソフトウェアである。音声録音再生プログラム２０２は、例えば１チップマイコン等により構成する音声録音再生プロセッサ１２１を用いてハードウェアにより実現することもできる。 The CPU 101 controls the operation of each unit of the PC body 10 and the touch screen display 20. That is, the CPU 101 executes the operating system (OS) 201 and various application programs loaded from the nonvolatile memory 107 to the main memory 103. As one of various application programs, there is an audio recording / reproducing program 202 described later. The voice recording / playback program 202 is software executed under the control of the OS 201. The voice recording / reproducing program 202 can also be realized by hardware using a voice recording / reproducing processor 121 constituted by, for example, a one-chip microcomputer or the like.

ＣＰＵ１０１は、また、ＢＩＯＳ−ＲＯＭ１０６に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。 The CPU 101 also executes the BIOS stored in the BIOS-ROM 106. The BIOS is a program for controlling hardware.

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２は、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。 The system controller 102 is a device that connects between a local bus of the CPU 101 and various components. The system controller 102 also has a built-in memory controller for controlling access to the main memory 103. Further, the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS standard serial bus or the like.

システムコントローラ１０２は、また、不揮発性メモリ１０７を制御するためのＡＴＡコントローラを内蔵している。システムコントローラ１０２は、さらに、各種ＵＳＢデバイスを制御するためのＵＳＢコントローラを内蔵している。また、システムコントローラ１０２は、サウンドコントローラ１０５およびオーディオキャプチャ１１３との通信を実行する機能も有している。なお、カメラユニット１１が取得（撮影）する画像データ（動画／静止画）は、カメラユニット１１において所定のフォーマットに変換され、システムコントローラ１０２を通じて主メモリ１０３上で動作する画像処理プログラムに供給される。カメラユニット１１からの画像データは、ユーザの要求に応じて起動する、カメラユニット１１からの画像データに対応するフォーマットの画像を再生可能な画像処理プログラムにおいて再生され、ＬＣＤ２１に表示される。また、カメラユニット１１からの画像データは、例えば不揮発性メモリ１０７が保持できる。 The system controller 102 also has a built-in ATA controller for controlling the nonvolatile memory 107. The system controller 102 further incorporates a USB controller for controlling various USB devices. Further, the system controller 102 has a function of executing communication with the sound controller 105 and the audio capture 113. The image data (moving image / still image) acquired (photographed) by the camera unit 11 is converted into a predetermined format in the camera unit 11 and supplied to an image processing program operating on the main memory 103 via the system controller 102. . The image data from the camera unit 11 is reproduced by an image processing program that starts in response to a user request and that can reproduce an image in a format corresponding to the image data from the camera unit 11, and is displayed on the LCD 21. The image data from the camera unit 11 can be stored in, for example, the nonvolatile memory 107.

グラフィクスコントローラ１０４は、ＰＣ本体１０のタッチスクリーンディスプレイ２０のＬＣＤ２１を制御する表示コントローラである。グラフィクスコントローラ１０４が生成する表示信号がＬＣＤ２１に送られ、ＬＣＤ２１は、表示信号に基づいて映像を表示する。ＬＣＤ２１上に位置するタッチパネル２２は、ＬＣＤ２１の画面上での表示に対応する入力信号を入力するためのポインティングデバイス（ユーザ操作指示入力機構）である。ユーザは、タッチパネル２２により、ＬＣＤ２１の画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等にユーザ操作、即ち指示入力を入力することができ、これによりＰＣ本体１０を操作することができる。つまり、ユーザは、タッチパネル２２を通じてＬＣＤ２１が表示する起動アイコンやＬＣＤ２１が表示するボタンをタッチすることで、起動アイコンやボタンに対応する機能の実行を指示することができる。 The graphics controller 104 is a display controller that controls the LCD 21 of the touch screen display 20 of the PC body 10. A display signal generated by the graphics controller 104 is sent to the LCD 21, and the LCD 21 displays an image based on the display signal. The touch panel 22 located on the LCD 21 is a pointing device (user operation instruction input mechanism) for inputting an input signal corresponding to a display on the screen of the LCD 21. The user can input a user operation to a graphical user interface (GUI) or the like displayed on the screen of the LCD 21 using the touch panel 22, that is, can input an instruction, thereby operating the PC body 10. That is, the user can instruct execution of a function corresponding to the start icon or the button by touching the start icon displayed on the LCD 21 or the button displayed by the LCD 21 through the touch panel 22.

サウンドコントローラ１０５は、音源デバイスであり、再生対象の音声データをアナログ出力に変換した後、スピーカ１３Ｒ，１３Ｌに出力する。 The sound controller 105 is a sound source device, converts audio data to be reproduced into an analog output, and outputs the analog output to the speakers 13R and 13L.

ＬＡＮコントローラ１０９は、例えばＩＥＥＥ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１０は、例えばＩＥＥＥ８０２．１１規格の無線通信を実行する無線通信デバイスである。 The LAN controller 109 is, for example, a wired communication device that performs wired communication according to the IEEE 802.3 standard. The wireless LAN controller 110 is, for example, a wireless communication device that executes wireless communication according to the IEEE 802.11 standard.

バイブレータ１１１は、ＰＣ本体１０に対し、必要に応じて振動（バイブレーション）を与える。 The vibrator 111 applies vibration (vibration) to the PC main body 10 as necessary.

加速度センサ１１２は、タッチスクリーンディスプレイ２０の表示画面のポートレートとランドスケープとの間の切り換えのためのＰＣ本体１０の回転や、ユーザの指の動きのうちの衝撃の強さ等を検出する。 The acceleration sensor 112 detects the rotation of the PC main body 10 for switching between the portrait and the landscape of the display screen of the touch screen display 20, and the strength of the impact of the movement of the finger of the user.

オーディオキャプチャ１１３は、マイクロフォン１２Ｒ（例えばカメラユニット１１の右側に位置する）および１２Ｌ（カメラユニット１１の左側に位置する）のそれぞれが取得する音声または音響（オーディオ）をアナログ−デジタル変換し、デジタル信号を出力する。オーディオキャプチャ１１３は、また、どちらのマイクロフォン１２Ｒ，１２Ｌへの入力信号のレベルが大きいかを示す情報を、主メモリ１０３上で動作する音声録音再生プログラム２０２へ、システムコントローラ１０２を通じて入力する。オーディオキャプチャ１１３は、音声録音再生プログラム２０２において利用可能な所定の前処理の一部または全部を担うことも可能である。 The audio capture 113 performs analog-to-digital conversion of voice or sound (audio) obtained by each of the microphones 12R (for example, located on the right side of the camera unit 11) and 12L (located on the left side of the camera unit 11), and outputs a digital signal. Is output. The audio capture 113 also inputs, via the system controller 102, information indicating which of the microphones 12R and 12L the level of the input signal is higher to the audio recording / reproducing program 202 operating on the main memory 103. The audio capture 113 can also perform some or all of the predetermined preprocessing that can be used in the audio recording / playback program 202.

ＥＣ１１４は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１４は、また、ユーザによるパワーボタンの操作に応じたＰＣ本体１０の電源のオン／電源オフを制御する。 The EC 114 is a one-chip microcomputer including an embedded controller for power management. The EC 114 also controls on / off of the power of the PC main body 10 according to the operation of the power button by the user.

図３は、このような構成を持つタブレット１上で動作する音声録音再生プログラム２０２の機能構成（機能ブロック）の一例を示す図である。 FIG. 3 is a diagram showing an example of a functional configuration (functional block) of the audio recording / reproducing program 202 operating on the tablet 1 having such a configuration.

音声録音再生プログラム２０２は、音声の録音、保存された音声の再生および保存された音声の編集機能を有している。音声録音再生プログラム２０２は、同プログラムを実行するための機能モジュールとして、タッチ情報受信部３１０、制御部３２０、音声再生処理部３３０および表示処理部３４０を少なくとも備える。 The voice recording / playback program 202 has functions of recording voice, playing back stored voice, and editing stored voice. The voice recording / playback program 202 includes at least a touch information receiving unit 310, a control unit 320, a voice playback processing unit 330, and a display processing unit 340 as functional modules for executing the program.

タッチ情報受信部３１０は、ユーザの指示（ユーザの指の動作）のある毎に、第１の座標情報、第２の座標情報およびユーザの指の動きの情報を、タッチパネルドライバ２０１Ａを経由してタッチパネル２２から受け取り、制御部３２０に出力する。第１の座標情報は、ユーザの指がタッチパネル２２の表示面の任意の位置に触れた位置の座標情報（ｘ，ｙ）である。第２の座標情報は、ユーザの指がタッチパネル２２の表示面から離れた位置の座標情報（ｘ´，ｙ´）である。ユーザの指の動き情報は、第１の座標情報（ｘ，ｙ）と第２の座標情報（ｘ´，ｙ´）との間のユーザの指の動き、または、第２の座標情報に付属するユーザの指の動き、例えば指が離れる際の方向の情報等を含む。 The touch information receiving unit 310 transmits the first coordinate information, the second coordinate information, and the information of the user's finger movement through the touch panel driver 201A every time there is a user's instruction (the movement of the user's finger). It is received from the touch panel 22 and output to the control unit 320. The first coordinate information is coordinate information (x, y) of a position where the user's finger touches an arbitrary position on the display surface of the touch panel 22. The second coordinate information is coordinate information (x ′, y ′) at a position where the user's finger is separated from the display surface of the touch panel 22. The movement information of the user's finger is the movement of the user's finger between the first coordinate information (x, y) and the second coordinate information (x ′, y ′), or attached to the second coordinate information. Of the user's finger, for example, information on the direction in which the finger separates.

なお、本実施形態でのユーザの操作入力（ユーザの指の動作）とその呼称は、以下の通りとする。 Note that the user's operation input (the movement of the user's finger) and its name in the present embodiment are as follows.

［１］タッチ：ユーザの指が一定期間、タッチパネル２２の表示面上の所定の位置に位置する（第１の座標情報と第２の座標情報が実質的に同一であって、一定時間経過後、表示面とほぼ直交する方向に離される）。 [1] Touch: The user's finger is located at a predetermined position on the display surface of the touch panel 22 for a certain period of time (when the first coordinate information and the second coordinate information are substantially the same and a certain time has elapsed) , In a direction substantially perpendicular to the display surface).

［２］タップ：ユーザの指がタッチパネル２２の表示面上に任意の位置に所定時間触れた後、表示面と直交する方向に離される（タッチと同義に扱われる場合もある）。 [2] Tap: After a user's finger touches an arbitrary position on the display surface of the touch panel 22 for a predetermined time, the user's finger is released in a direction orthogonal to the display surface (may be treated as a touch).

［３］スワイプ：ユーザの指がタッチパネル２２の表示面の任意の位置に触れた後、任意の方向に移動する（第１の座標情報と第２の座標情報との間に指の動き情報を含む、つまり表示面をなぞるようにユーザの指が表示面を移動する）。 [3] Swipe: The user's finger moves in an arbitrary direction after touching an arbitrary position on the display surface of the touch panel 22 (the finger movement information is set between the first coordinate information and the second coordinate information). In other words, the user's finger moves on the display surface so as to trace the display surface).

［４］フリック：ユーザの指がタッチパネル２２の表示面の任意の位置に触れた後、任意の方向に向けて掃われるように移動し、表示面から離される（タップにおいてユーザの指が表示面から離れる際に、方向の情報を伴う）。 [4] Flick: After the user's finger touches an arbitrary position on the display surface of the touch panel 22, it moves so as to be swept in an arbitrary direction and is separated from the display surface (the user's finger touches the display surface at the tap). With direction information when leaving).

［５］ピンチ：ユーザの２本の指がタッチパネル２２の任意の位置に触れた後、表示面で指の間隔を変更する。特に、指の間隔を広げる（指を開く）場合をピンチアウト、指の間隔を狭める（指を閉じる）場合をピンチインと称する場合もある。 [5] Pinch: After the user's two fingers touch an arbitrary position on the touch panel 22, the distance between the fingers is changed on the display surface. In particular, a case where the distance between fingers is widened (opening the finger) may be referred to as pinch-out, and a case where the distance between fingers is reduced (closed finger) may be referred to as pinch-in.

制御部３２０は、タッチ情報受信部３１０が出力する第１の座標情報、第２の座標情報およびユーザの指の動き情報に基づいて、前述の［１］−［５］のユーザの指の動きの情報により特定されるユーザの動作（ユーザの指示入力）に対応する動作を行う。制御部３２０は、以下に説明するキーボードモードまたはマウスモードのどちらの動作モードにおいても、タッチ情報受信部３１０からの第１の座標情報、第２の座標情報およびユーザの指の動き情報に基づいて、ユーザの指示入力に対応する動作を行う。なお、この場合、タッチ［１］は、タップ［２］に準じた動作であってもよいが、本実施形態では、制御部３２０は、実質的にタッチに引き続きタッチパネル２２の表示面上をユーザの指が移動することをスワイプ［３］と判定するものとする。また、制御部３２０は、ユーザの指がタッチパネル２２上の移動から離れる位置の座標情報（ｘ´，ｙ´）を受け取った場合、スワイプ［３］またはフリック［４］と判定するものとする。制御部３２０は、タッチパネル２２からの第１の座標情報、第２の座標情報およびユーザの指の動き情報に基づいて、タッチパネル２２の表示面をユーザの指がなぞった（スワイプした）スワイプ長さ（指示区間長）も求めることができる。 The control unit 320 moves the user's finger [1] to [5] based on the first coordinate information, the second coordinate information, and the user's finger motion information output by the touch information receiving unit 310. Perform the operation corresponding to the user's operation (user's instruction input) specified by the information. The control unit 320 is based on the first coordinate information, the second coordinate information, and the movement information of the user's finger from the touch information reception unit 310 in any of the keyboard mode and the mouse mode described below. Perform an operation corresponding to the user's instruction input. Note that, in this case, the touch [1] may be an operation according to the tap [2], but in the present embodiment, the control unit 320 causes the user to substantially follow the touch on the display surface of the touch panel 22. Is determined to be a swipe [3]. When receiving the coordinate information (x ′, y ′) of the position where the user's finger moves away from the touch panel 22, the control unit 320 determines that the swipe [3] or the flick [4]. The control unit 320 determines the swipe length of the user's finger following (swiping) the display surface of the touch panel 22 based on the first coordinate information, the second coordinate information, and the movement information of the user's finger from the touch panel 22. (Designated section length) can also be obtained.

キーボードモードは、一般には、ＬＣＤ２１が表示するキーボード配列の画像に対するタッチパネル２２からのタップに従い対応する個々のキーに固有の文字コードを出力することで、タッチスクリーンディスプレイ２０を仮想キーボードとして利用することを可能とする。マウスモードは、タッチパネル２２上の（指の）接触位置の移動に応じて、その接触位置の移動の方向および距離を示す相対座標データを出力する動作モードである。 The keyboard mode generally uses the touch screen display 20 as a virtual keyboard by outputting a character code unique to each corresponding key in accordance with a tap on the touch panel 22 with respect to an image of a keyboard arrangement displayed on the LCD 21. Make it possible. The mouse mode is an operation mode in which, in accordance with the movement of a contact position (of a finger) on the touch panel 22, relative coordinate data indicating the direction and distance of the movement of the contact position is output.

そして、ユーザがタッチパネル２２の表示面に表示される所定のアイコン（またはボタン表示）のうちの音声録音再生アイコン２９０（図１参照）をタッチすると、ユーザの指の表示面の位置の座標情報に対応する音声録音再生アイコン２９０と関連付けられたアプリケーション、つまり音声録音再生プログラム２０２が起動される。 Then, when the user touches the voice recording / playback icon 290 (see FIG. 1) among predetermined icons (or button display) displayed on the display surface of the touch panel 22, the coordinate information of the position of the display surface of the user's finger is displayed. An application associated with the corresponding voice recording / playback icon 290, that is, the voice recording / playback program 202 is started.

制御部３２０は、音声録音再生プログラム２０２を実行するための機能モジュールとして、例えば話者識別部３２１、話者統合部３２２、話者分割部３２３等を含む。 The control unit 320 includes, for example, a speaker identification unit 321, a speaker integration unit 322, a speaker division unit 323, and the like as functional modules for executing the voice recording and reproduction program 202.

話者識別部３２１は、音声を解析して話者を識別するモジュールである。話者を識別する手法については、例えば特開２０１０−０５５１０３号公報（特許第５１７４０６８号公報）等に具体的な手法が詳細に説明されており、ここでは、その詳細については説明を割愛するが、本タブレット１では、話者識別部３２１が、例えば音声の入力方向に基づいて話者を識別する簡易的な手法（第１手法）と、音声の特徴に基づいて話者を識別する本格的な手法（第２手法）との２種類の手法を併せ持つ。音声の録音時、話者識別部３２１は、第１に、オーディオキャプチャ１１３から出力されるデジタル信号（音声）に対し、発話区間毎に話者を識別する処理を第１手法により即時的に実行する。なお、話者識別部３２１は、一定時間長未満の無音区間を挟んで同一話者の発話区間が存在する場合、これらを１つの発話区間として処理する。また、話者識別部３２１は、ある話者の発言中に一定時間長未満の他の話者の発言があった場合も、他の話者の発話区間を介在させず、ある話者の１つの発話区間とすべく処理する。この話者の識別結果に基づいた表示処理が、音声の録音時にリアルタイムに行われる。 The speaker identification unit 321 is a module that analyzes a voice to identify a speaker. For a method of identifying a speaker, a specific method is described in detail in, for example, Japanese Patent Application Laid-Open No. 2010-0555103 (Japanese Patent No. 5174068), and a detailed description thereof is omitted here. In the present tablet 1, the speaker identification unit 321 includes, for example, a simple method (first method) for identifying a speaker based on a voice input direction and a full-scale method for identifying a speaker based on characteristics of a voice. (The second technique). At the time of voice recording, first, the speaker identification unit 321 immediately executes a process of identifying a speaker for each utterance section in the digital signal (voice) output from the audio capture 113 by the first method. I do. Note that, when there is an utterance section of the same speaker across a silent section shorter than a certain time length, the speaker identification unit 321 processes these as one utterance section. Also, when a certain speaker speaks less than a certain length of time during the speech of a certain speaker, the speaker identification unit 321 does not intervene the speech section of the other speaker, and the one Processing is performed to make one utterance section. The display processing based on the speaker identification result is performed in real time when the voice is recorded.

オーディオキャプチャ１１３から出力されるデジタル信号（音声）は、例えば不揮発性メモリ１０７に音声データ４０１として保存される。話者識別部３２１は、第２に、バックグラウンド処理として、この音声データ４０１に対し、発話区間毎に話者を識別する処理を第２手法により改めて実行する。この話者の識別結果は、例えば不揮発性メモリ１０７にインデックスデータ４０２として保存される。音声の再生時には、このインデックスデータ４０２として保存される話者の識別結果に基づいた表示処理が行われる。 A digital signal (audio) output from the audio capture 113 is stored as audio data 401 in, for example, the nonvolatile memory 107. Second, the speaker identification unit 321 newly executes a process of identifying a speaker for each utterance section on the voice data 401 by a second method as background processing. The speaker identification result is stored as index data 402 in the nonvolatile memory 107, for example. At the time of voice reproduction, display processing is performed based on the speaker identification result stored as the index data 402.

話者統合部３２２は、同一人物の音声が複数の人物の音声と識別されている場合に、当該複数の人物の音声と識別されている音声を同一人物の音声として統合すべくインデックスデータ４０２を修正するためのモジュールである。また、話者分割部３２３は、複数の人物の音声が同一人物の音声と識別されている場合に、当該同一人物の音声と識別されている音声を複数の人物の音声として分割すべくインデックスデータ４０２を修正するためのモジュールである。本タブレット１は、話者統合部３２２および話者分割部３２３を備えて、ユーザが、話者識別部３２１による話者の識別の結果を簡単な操作で修正することのできるユーザインタフェースを提供する。 When the voice of the same person is identified as the voices of a plurality of persons, the speaker integrating unit 322 converts the index data 402 to integrate the voices identified as the voices of the plurality of persons as the voices of the same person. This is a module to modify. Further, when the voices of a plurality of persons are identified as the voices of the same person, the speaker dividing unit 323 is configured to divide the voice identified as the voices of the same person into voices of a plurality of persons. This is a module for modifying 402. The tablet 1 includes a speaker integration unit 322 and a speaker division unit 323, and provides a user interface that allows a user to correct the result of speaker identification by the speaker identification unit 321 with a simple operation. .

音声再生処理部３３０は、音声録音再生プログラム２０２において再生する音声出力信号を処理するモジュールである。音声再生処理部３３０は、サウンドコントローラ１０５に対して、録音時の話者の位置を擬似的に再現できるように、例えば再生中の音声データに対応する話者の位置を基に、スピーカ１３Ｒおよびスピーカ１３Ｌが出力する再生音声の出力割合を変更する制御を行うことができる。 The audio reproduction processing unit 330 is a module that processes an audio output signal reproduced in the audio recording and reproduction program 202. The audio reproduction processing unit 330 outputs the speaker 13R and the speaker 13R to the sound controller 105 based on, for example, the position of the speaker corresponding to the audio data being reproduced so that the sound controller 105 can reproduce the position of the speaker at the time of recording. Control for changing the output ratio of the reproduced sound output from the speaker 13L can be performed.

そして、表示処理部３４０は、ＰＣ本体１０のタッチスクリーンディスプレイ２０に表示される表示画面２１０（図１参照）内に様々な情報を表示するための表示信号を処理するモジュールである。 The display processing unit 340 is a module that processes display signals for displaying various information on the display screen 210 (see FIG. 1) displayed on the touch screen display 20 of the PC body 10.

次に、音声録音再生プログラム２０２の動作原理について、当該音声録音再生プログラム２０２によるＰＣ本体１０のタッチスクリーンディスプレイ２０への表示画面２１０の一表示例を示しながら説明する。 Next, the operation principle of the voice recording / reproducing program 202 will be described with reference to an example of a display screen 210 displayed on the touch screen display 20 of the PC body 10 by the voice recording / reproducing program 202.

音声録音再生プログラム２０２は、図４に示すように、大きく分けて、ホーム画面２１０−１（図４の（ａ））、録音画面２１０−２（図４の（ｂ））および再生画面２１０−３（図４の（ｃ））の３種類の画面を表示する。 As shown in FIG. 4, the voice recording / reproducing program 202 is roughly divided into a home screen 210-1 (FIG. 4A), a recording screen 210-2 (FIG. 4B), and a reproduction screen 210-. 3 ((c) of FIG. 4) are displayed.

ホーム画面２１０−１は、音声録音再生プログラム２０２が起動時に表示する基本画面である。図５は、ホーム画面２１０−１（図４の（ａ））の拡大図である。 The home screen 210-1 is a basic screen displayed when the voice recording / reproducing program 202 is activated. FIG. 5 is an enlarged view of the home screen 210-1 ((a) of FIG. 4).

図５に示すように、ホーム画面２１０−１には、録音を開始するための録音ボタンａ１と、録音済みの音声データ４０１の再生を開始するためのボタンの役割を兼ねる、録音済みの音声データ４０１を選択肢として提示するリストａ２とが表示される。リストａ２内における録音済みの音声データ４０１それぞれの表示領域（ａ３）には、例えば、録音開始時刻、録音終了時刻、録音時間等、ユーザが目的の音声データ４０１を選び出すための様々な情報が表示される。なお、ここでは、リストａ２内に録音済みの音声データ４０１が１つのみ表示されているが、録画済みの音声データ４０１が複数存在する場合、それらすべてがリストａ２内に垂直方向に並べられて表示される。リストａ２の表示領域内に収まり切らない数の録音済みの音声データ４０１が存在する場合、その一部のみがリストａ２内に表示され、リストａ２の表示領域上での例えばスワイプまたはフリックにより、表示される録音済みの音声データ４０１が切り換わる（スクロール）。また、リストａ２内での録画済みの音声データ４０１の並び順は、録音開始時刻の新しい順と録音開始時刻の古い順との間で切り替えることができる。 As shown in FIG. 5, on the home screen 210-1, recorded audio data which also functions as a recording button a1 for starting recording and a button for starting reproduction of the recorded audio data 401. A list a2 presenting 401 as an option is displayed. In the display area (a3) of each of the recorded audio data 401 in the list a2, various information for the user to select the target audio data 401, such as a recording start time, a recording end time, and a recording time, is displayed. Is done. Here, only one recorded audio data 401 is displayed in the list a2, but if there are a plurality of recorded audio data 401, all of them are arranged in the list a2 in the vertical direction. Is displayed. When there are a number of recorded audio data 401 that cannot be accommodated in the display area of the list a2, only a part thereof is displayed in the list a2, and displayed by, for example, swiping or flicking on the display area of the list a2. The recorded audio data 401 is switched (scroll). The arrangement order of the recorded audio data 401 in the list a2 can be switched between a new recording start time and an old recording start time.

このホーム画面２１０−１の録音ボタンａ１にタッチまたはタップすることで、ユーザは、録音を開始することができる。録音画面２１０−２（図４の（ｂ））は、音声録音再生プログラム２０２が録音中に表示する画面である。図６は、録音画面２１０−２（図４の（ｂ））の拡大図である。 By touching or tapping the recording button a1 on the home screen 210-1, the user can start recording. The recording screen 210-2 ((b) in FIG. 4) is a screen displayed by the voice recording / reproducing program 202 during recording. FIG. 6 is an enlarged view of the recording screen 210-2 ((b) of FIG. 4).

図６中、符号ｂ１で示されるラインは、現在時点を示す。このラインを基点に、話者が識別されながら音声が録音される様子が示される。前述したように、音声録音再生プログラム２０２（話者識別部３２１）は、音声の録音時、簡易的な手法である第１手法により話者を識別する処理を実行する。話者が識別されるまでの期間（ｂ２）は、音声の入力レベルが示される。話者が識別されると、音声の入力レベルに代わって、各々の発話区間を示す発話区間バーｂ３が、話者を識別可能に表示される。 In FIG. 6, the line indicated by reference numeral b1 indicates the current time point. A state in which a voice is recorded while a speaker is identified is shown based on this line. As described above, the voice recording / reproducing program 202 (speaker identification unit 321) performs a process of identifying a speaker by the first method which is a simple method when recording a voice. During the period (b2) until the speaker is identified, the input level of the voice is indicated. When the speaker is identified, an utterance section bar b3 indicating each utterance section is displayed so that the speaker can be identified, instead of the input level of the voice.

また、録音画面２１０−２には、識別された話者を示す、例えば識別された順にアルファベットが割り振られる話者マークｂ４が話者毎に表示される。話者マークｂ４は、最大１０人（Ａ〜Ｊ）まで表示できる。録音画面２１０−２には、発話マークｂ５も表示される。録音画面２１０−２における発話マークｂ５は、音声の入力有無を示し、音声が入力されている際に表示される。また、録音画面２１０−２には、録音を停止するための停止ボタンｂ６が表示される。この停止ボタンｂ６にタッチまたはタップすることで、ユーザは、録音を一時停止または停止することができる。録音を停止すると、図５に示したホーム画面２１０−１に復帰する。 The recording screen 210-2 displays, for each speaker, a speaker mark b4 indicating the identified speaker, for example, alphabets assigned in the order of identification. The speaker mark b4 can display up to 10 persons (A to J). The utterance mark b5 is also displayed on the recording screen 210-2. The utterance mark b5 on the recording screen 210-2 indicates the presence / absence of voice input, and is displayed when voice is being input. Further, a stop button b6 for stopping recording is displayed on the recording screen 210-2. By touching or tapping the stop button b6, the user can temporarily stop or stop recording. When the recording is stopped, the screen returns to the home screen 210-1 shown in FIG.

ホーム画面２１０−１のリストａ２内に選択肢として提示される音声データ４０１をタッチまたはタップによって選択することにより、ユーザは、その音声データ４０１の再生を開始することができる。再生画面２１０−３（図４の（ｃ））は、音声録音再生プログラム２０２が音声の再生中に表示する画面である。図７は、再生画面２１０−３（図４の（ｃ））の拡大図である。 By selecting the audio data 401 presented as an option in the list a2 of the home screen 210-1 by touching or tapping, the user can start reproducing the audio data 401. The playback screen 210-3 ((c) in FIG. 4) is a screen displayed by the voice recording / playback program 202 during voice playback. FIG. 7 is an enlarged view of the reproduction screen 210-3 ((c) of FIG. 4).

図７に示すように、再生画面２１０−３にも、各々の発話区間を示す発話区間バーｃ１が、話者を識別可能に表示される。符号ｃ２で示されるラインは、再生時点を示す。図７では、このラインが話者Ｆの発話区間を示す発話区間バーｃ１上に位置しているので、話者Ｆの音声が出力されていることになる。また、再生画面２１０−３にも、話者マークｃ３と発話マークｃ４が表示される。再生画面２１０−１における発話マークｃ４は、音声が出力されている際、その話者を示す話者マークｃ３の下に位置することで、発言者を示す（図７では、話者Ｆを示す話者マークｃ３の下に位置している）。 As shown in FIG. 7, the utterance section bar c1 indicating each utterance section is also displayed on the reproduction screen 210-3 so that the speaker can be identified. The line indicated by the symbol c2 indicates the reproduction time point. In FIG. 7, since this line is located on the utterance section bar c1 indicating the utterance section of the speaker F, the voice of the speaker F is output. Further, a speaker mark c3 and an utterance mark c4 are also displayed on the reproduction screen 210-3. The utterance mark c4 on the reproduction screen 210-1 indicates the speaker by being positioned below the speaker mark c3 indicating the speaker when the sound is being output (in FIG. 7, the speaker F is indicated. Located below the speaker mark c3).

また、再生画面２１０−３には、再生されている音声データ４０１の総録音区間を示すタイムバーｃ５と、この音声データ４０１の総録音区間中の発話区間バーｃ１の表示範囲を示す表示範囲バーｃ６とが表示される。 Also, on the reproduction screen 210-3, a time bar c5 indicating the total recording section of the reproduced audio data 401 and a display range bar indicating the display range of the utterance section bar c1 in the total recording section of the audio data 401 are displayed. c6 is displayed.

このように、音声録音再生プログラム２０２は、音声を可視化して、例えば会議の議事録の作成等を支援することができる。 As described above, the audio recording / reproducing program 202 can visualize the audio to support, for example, creation of the minutes of a meeting.

続いて、音声録音再生プログラム２０２が提供する、話者の識別の結果を簡単な操作で修正することのできるユーザインタフェースについて説明する。 Next, a description will be given of a user interface provided by the voice recording / reproducing program 202 and capable of correcting the result of speaker identification by a simple operation.

いま、音声データ４０１が再生されており、図７に示した再生画面２１０−３がタッチスクリーンディスプレイ２０に表示されているものと想定する。また、話者Ｆと識別されている発話区間の音声は、正しくは話者Ｄと識別されるべきであるところ、誤って話者Ｆと識別されているものと想定する。つまり、話者Ｄの発話区間が、話者Ｄの発話区間と話者Ｆの発話区間とに過分割された状態にある場合を想定する。そして、ユーザは、再生中の音声を聞いて、この誤りに気づき、過分割された発話区間を統合しようと考えているものと想定する。 Now, it is assumed that the audio data 401 is being reproduced, and the reproduction screen 210-3 shown in FIG. Further, it is assumed that the voice in the utterance section identified as the speaker F should be correctly identified as the speaker D, but incorrectly identified as the speaker F. That is, it is assumed that the utterance section of the speaker D is excessively divided into the utterance section of the speaker D and the utterance section of the speaker F. Then, it is assumed that the user hears the voice being reproduced, notices this error, and intends to integrate the over-divided speech sections.

このような場合、ユーザは、まず、図８に示すように、話者Ｆを示す話者マークｃ３を長押しする。ここで、長押しとは、タッチの状態を一定時間以上継続させる操作入力である。話者マークｃ３が長押しされると、音声録音再生プログラム２０２（制御部３２０）は、再生モードから編集モードへと移行する。編集モードへの移行は、例えば、再生を一時停止の状態とすることにより、ユーザに通知する。この時、再生画面２１０−３の更新も停止される。なお、図８中、符号ｄ１で示される発話区間は、音声再生中の発話区間であって、話者Ｄを話者Ｆと誤って識別されている発話区間であり、符号ｄ２で示される発話区間は、音声再生中の発話区間ではないが、同じく、話者Ｄを話者Ｆと誤って識別されている発話区間である。 In such a case, the user first long-presses the speaker mark c3 indicating the speaker F, as shown in FIG. Here, the long press is an operation input for keeping the touch state for a predetermined time or more. When the speaker mark c3 is pressed for a long time, the voice recording / playback program 202 (control unit 320) shifts from the playback mode to the editing mode. The transition to the edit mode is notified to the user, for example, by setting the reproduction to a pause state. At this time, the update of the playback screen 210-3 is also stopped. In FIG. 8, an utterance section indicated by reference sign d1 is an utterance section during voice reproduction, in which speaker D is erroneously identified as speaker F, and an utterance section indicated by reference sign d2. The section is not an utterance section during voice reproduction, but is also an utterance section in which speaker D is incorrectly identified as speaker F.

編集モードへ移行したら、ユーザは、続いて、図９に示すように、（長押しした）話者Ｆを示す話者マークｃ３を移動させて話者Ｄを示す話者マークｃ３に重ねるべく、タッチスクリーンディスプレイ２０上をなぞるような操作入力を行う。この操作を受けて、音声録音再生プログラム２０２（話者統合部）３２２は、話者Ｆの発話区間と話者Ｄの発話区間とを話者Ｄの発話区間に統合する。図１０に、話者Ｆの発話区間と話者Ｄの発話区間とが話者Ｄの発話区間に統合された後の再生画面２１０−３を示す。図１０に示すように、図８および図９における話者Ｆの発話区間ｄ１は、先行かつ隣接する話者Ｄの発話区間と１つに結合されて、話者Ｄの発話区間ｅ１として示されている。即ち、音声録音再生プログラム２０２（話者統合部）３２２は、発話区間単位で話者を修正するだけでなく、２以上の発話区間を１つの発話区間に統合することが可能である。また、図８および図９における（音声再生中の発話区間ではない）話者Ｆの発話区間ｄ２も、話者Ｄの発話区間ｅ２として示されている。つまり、１回の操作で、ユーザは、音声データ４０１中の話者Ｆとして識別される発話区間を話者Ｄの発話区間に一括して修正することができる。なお、図１０に示すように、この時、話者マークｃ３の表示も更新される。 After shifting to the edit mode, the user subsequently moves the speaker mark c3 indicating the speaker F (pressed and held) to overlap the speaker mark c3 indicating the speaker D as shown in FIG. An operation input such as tracing on the touch screen display 20 is performed. In response to this operation, the voice recording / reproducing program 202 (speaker integration unit) 322 integrates the speech section of the speaker F and the speech section of the speaker D into the speech section of the speaker D. FIG. 10 shows a reproduction screen 210-3 after the speech section of the speaker F and the speech section of the speaker D have been integrated into the speech section of the speaker D. As shown in FIG. 10, the utterance section d1 of the speaker F in FIGS. 8 and 9 is combined with one of the preceding and adjacent utterance sections of the speaker D to be shown as the utterance section e1 of the speaker D. ing. That is, the voice recording / reproducing program 202 (speaker integration unit) 322 can not only correct a speaker in units of utterance sections, but also integrate two or more utterance sections into one utterance section. The utterance section d2 of the speaker F (not the utterance section during voice reproduction) in FIGS. 8 and 9 is also shown as the utterance section e2 of the speaker D. That is, the user can correct the utterance section identified as the speaker F in the voice data 401 to the utterance section of the speaker D collectively by one operation. At this time, as shown in FIG. 10, the display of the speaker mark c3 is also updated.

発話区間の統合を完了すると、音声録音再生プログラム２０２（制御部３２０）は、編集モードから再生モードへ復帰し、音声の再生を再開する。なお、話者マークの表示領域および発話区間の表示領域以外の領域で、タッチスクリーンディスプレイ２０上でのタッチが行われた場合も、音声録音再生プログラム２０２（制御部３２０）は、編集モードから再生モードへ復帰する。 When the integration of the utterance sections is completed, the audio recording / reproducing program 202 (the control unit 320) returns from the editing mode to the reproducing mode, and resumes the audio reproduction. Note that even when a touch is performed on the touch screen display 20 in an area other than the speaker mark display area and the utterance section display area, the voice recording / reproducing program 202 (control unit 320) reproduces from the edit mode. Return to mode.

次に、複数の人物の音声が同一人物の音声と誤って識別されている場合であって、その一人の発話区間を複数の人物の発話区間に分割する場合について説明する。 Next, a case where the voices of a plurality of persons are erroneously identified as the voices of the same person, and in which one utterance section is divided into utterance sections of a plurality of persons, will be described.

このような状況が発生するケースとして、例えば、図１１に示すように、音声の特徴が似ている話者Ｆの音声と話者Ｇの音声とがほぼ同じ方向から入力されるケースが考えられる。換言すれば、音声の特徴に若干の違いはみられるものの、ほぼ同じ方向から入力されることから、同一の話者として纏められてしまっているようなケースが考えられる。 As a case where such a situation occurs, for example, as shown in FIG. 11, a case is considered where the voice of the speaker F and the voice of the speaker G having similar voice characteristics are input from almost the same direction. . In other words, although there are slight differences in the characteristics of the voices, since the voices are input from almost the same direction, there may be a case where the voices are combined as the same speaker.

ここでも、音声データ４０１が再生されており、図７に示した再生画面２１０−３がタッチスクリーンディスプレイ２０に表示されているものと想定する。また、話者Ｆと識別されている音声再生中の発話区間の音声は、正しくは別の話者（話者Ｇとする）と識別されるべきであるところ、誤って話者Ｆと識別されているものと想定する。つまり、話者Ｆの発話区間と話者Ｇの発話区間とが、話者Ｆの発話区間として纏められた状態にある場合を想定する。そして、ユーザは、再生中の音声を聞いて、この誤りに気づき、誤って纏められた発話区間を分割しようと考えているものと想定する。 Here, it is also assumed that the audio data 401 is being reproduced, and the reproduction screen 210-3 shown in FIG. Also, the voice in the speech section during voice reproduction identified as speaker F should be correctly identified as another speaker (referred to as speaker G), but is incorrectly identified as speaker F. It is assumed that That is, it is assumed that the utterance section of the speaker F and the utterance section of the speaker G are combined as the utterance section of the speaker F. Then, it is assumed that the user hears the voice being reproduced, notices this error, and intends to divide the utterance section that is erroneously put together.

このような場合、ユーザは、まず、前述した統合の場合と同様、いずれかの話者マークを長押しして、再生モードから編集モードへの切り換えを実行する。編集モードへ移行したら、ユーザは、続いて、図１２に示すように、話者Ｆから話者Ｇへ分割したい発話区間を示す発話区間バーｆ１へのタッチを行う。なお、図１２中、符号ｆ２で示される発話区間は、（話者Ｇではなく）話者Ｆが発言した発話区間であるものとする。 In such a case, first, as in the case of the integration described above, the user long-presses any speaker mark to execute switching from the reproduction mode to the editing mode. After shifting to the edit mode, the user subsequently touches the utterance section bar f1 indicating the utterance section to be divided from the speaker F to the speaker G, as shown in FIG. In FIG. 12, the utterance section indicated by reference numeral f2 is assumed to be the utterance section in which the speaker F (not the speaker G) has uttered.

この操作を受けて、音声録音再生プログラム２０２（話者分割部）３２３は、話者Ｆとして識別されている発話区間のうち、タッチされた発話区間バーｆ１で示される発話区間の音声と特徴が一致する発話区間を話者Ｇの発話区間として分割する。図１３に、話者Ｆの発話区間が話者Ｆの発話区間と話者Ｇの発話区間とに分割された後の再生画面２１０−３を示す。図１３に示すように、図１２における話者Ｆの発話区間ｆ１は、話者Ｇの発話区間ｇ１として示され、また、図１２における話者Ｆの発話区間ｆ２は、そのまま、話者Ｆの発話区間ｆ２として示されている。つまり、１回の操作で、ユーザは、音声データ４０１中の話者Ｆとして識別される発話区間のうち、話者Ｇとして識別されるべき発話区間のみを話者Ｇの発話区間に一括して修正することができる。また、この時、話者マークｃ３の表示も更新される。 In response to this operation, the voice recording / reproducing program 202 (speaker division unit) 323 outputs the voice and features of the utterance section indicated by the touched utterance section bar f1 among the utterance sections identified as the speaker F. The matching utterance section is divided as the utterance section of the speaker G. FIG. 13 shows a reproduction screen 210-3 after the speech section of the speaker F is divided into the speech section of the speaker F and the speech section of the speaker G. As shown in FIG. 13, the utterance section f1 of the speaker F in FIG. 12 is shown as the utterance section g1 of the speaker G, and the utterance section f2 of the speaker F in FIG. This is shown as an utterance section f2. That is, in one operation, the user collectively includes only the utterance section to be identified as the speaker G among the utterance sections identified as the speaker F in the voice data 401 as the utterance section of the speaker G. Can be modified. At this time, the display of the speaker mark c3 is also updated.

なお、音声録音再生プログラム２０２（話者分割部）３２３は、発話区間単位で話者を修正するだけでなく、発話区間を２以上の発話区間に分割することも可能である。具体的には、例えば、話者Ｆが発言した直後に話者Ｇが発言した場合であって、これらの発言が話者Ｆの発言として１つの発話区間に纏められているような場合、音声録音再生プログラム２０２（話者分割部）３２３は、当該１つの発話区間を（話者Ｆおよび話者Ｇの）２つの発話区間に分割することができる。 The voice recording / reproducing program 202 (speaker division unit) 323 can not only correct a speaker in units of utterance sections, but also divide the utterance section into two or more utterance sections. Specifically, for example, when the speaker G speaks immediately after the speaker F speaks, and when these statements are combined into one speech section as the speaker F's speech, The recording / reproducing program 202 (speaker dividing unit) 323 can divide the one utterance section into two utterance sections (of the speaker F and the speaker G).

図１４は、タブレット１の話者統合または話者分割に関する動作手順を示すフローチャートである。 FIG. 14 is a flowchart illustrating an operation procedure relating to speaker integration or speaker division of the tablet 1.

音声の再生中、話者マークを長押しする操作が行われると（ブロックＡ１のＹＥＳ）、タブレット１は、再生モードから編集モードに移行する（ブロックＡ２）。編集モードへ移行した後、長押しされた話者マークを他の話者マークに被せる操作が行われると（ブロックＡ３のＹＥＳ）、タブレット１は、長押しされた話者マークで示される話者の音声データを、被せられた話者マークで示される話者の音声データと統合する統合処理を実行する（ブロックＡ４）。統合処理の実行後、タブレット１は、編集モードから再生モードに移行する（ブロックＡ５）。 If the operation of holding down the speaker mark is performed during the reproduction of the voice (YES in block A1), the tablet 1 shifts from the reproduction mode to the edit mode (block A2). After shifting to the edit mode, when an operation of putting the long-pressed speaker mark on another speaker mark is performed (YES in block A3), the tablet 1 outputs the speaker indicated by the long-pressed speaker mark. Is integrated with the voice data of the speaker indicated by the covered speaker mark (block A4). After the execution of the integration process, the tablet 1 shifts from the edit mode to the playback mode (block A5).

また、編集モードへ移行した後、発話区間バーに触れる操作が行われると（ブロックＡ３のＮＯ，Ａ６のＹＥＳ）、タブレット１は、触れられた発話区間バーと同一話者の音声データのうち、触れられた発話区間バーの音声データと同一の特徴をもつ音声データを別の話者に分割する分割処理を実行する（ブロックＡ７）。分割処理の実行後、タブレット１は、編集モードから再生モードに移行する（ブロックＡ５）。 When the operation to touch the utterance section bar is performed after shifting to the edit mode (NO in block A3, YES in A6), the tablet 1 outputs the voice data of the same speaker as the touched utterance section bar. A division process is performed to divide the voice data having the same characteristics as the voice data of the touched speech section bar into another speaker (block A7). After the execution of the division process, the tablet 1 shifts from the edit mode to the playback mode (block A5).

また、編集モードへ移行した後、話者マーク、発話区間バー以外に触れる操作が行われた場合も（ブロックＡ６のＮＯ，Ａ８のＹＥＳ）、タブレット１は、編集モードから再生モードに移行する（ブロックＡ５）。 In addition, if the operation other than the speaker mark and the utterance section bar is performed after shifting to the edit mode (NO in block A6, YES in A8), the tablet 1 shifts from the edit mode to the reproduction mode ( Block A5).

このように、タブレット１は、同一人物の音声が複数の人物の音声と識別されたり、逆に、複数の人物の音声が同一人物の音声と識別されたり等、話者の識別に誤りが生じている場合に、その話者の識別の結果を簡単な操作で修正することを可能とする。 As described above, the tablet 1 generates an error in speaker identification, such as the voice of the same person being distinguished from the voice of a plurality of persons, and the voice of a plurality of persons being recognized as the voice of the same person. In this case, the result of the speaker identification can be corrected by a simple operation.

本実施形態に記載された様々な機能の各々は、処理回路によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたプログラムを実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例は、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含む。 Each of the various functions described in the present embodiment may be realized by a processing circuit. Examples of processing circuits include a programmed processor, such as a central processing unit (CPU). The processor performs each of the described functions by executing programs stored in the memory. This processor may be a microprocessor including an electric circuit. Examples of processing circuits also include digital signal processors (DSPs), application specific integrated circuits (ASICs), microcontrollers, controllers, and other electrical circuit components.

本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Since the various processes of the present embodiment can be realized by a computer program, the computer program is simply installed and executed on a normal computer through a computer-readable storage medium storing the computer program. A similar effect can be easily realized.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These new embodiments can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and their equivalents.

１…タブレット、１０…本体ユニット（ＰＣ本体）、１１…カメラユニット、１２Ｒ，１２Ｌ…マイクロフォン、１３Ｒ，１３Ｌ…スピーカ、２０…タッチスクリーンディスプレイ、２１…ＬＣＤ、２２…タッチパネル、１０１…ＣＰＵ、１０２…システムコントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０５…サウンドコントローラ、１０６…ＢＩＯＳ−ＲＯＭ、１０７…不揮発性メモリ、１０８…ＥＥＰＲＯＭ、１０９…ＬＡＮコントローラ、１１０…無線ＬＡＮコントローラ、１１１…バイブレータ、１１２…加速度センサ、１１３…オーディオキャプチャ、１１４…エンベデッドコントローラ（ＥＣ）、１２１…音声録音再生プロセッサ、２０１…オペレーティングシステム（ＯＳ）、２０１Ａ…タッチパネルドライバ、２０２…音声録音再生プログラム、３１０…タッチ情報受信部、３２０…制御部、３２１…話者識別部、３２２…話者統合部、３２３…話者分割部、３３０…音声再生処理部、３４０…表示処理部、４０１…音声データ、４０２…インデックスデータ DESCRIPTION OF SYMBOLS 1 ... Tablet, 10 ... Main unit (PC main body), 11 ... Camera unit, 12R, 12L ... Microphone, 13R, 13L ... Speaker, 20 ... Touch screen display, 21 ... LCD, 22 ... Touch panel, 101 ... CPU, 102 ... System controller, 103 main memory, 104 graphics controller, 105 sound controller, 106 BIOS-ROM, 107 nonvolatile memory, 108 EEPROM, 109 LAN controller, 110 wireless LAN controller, 111 vibrator, 112 ... Acceleration sensor, 113 ... Audio capture, 114 ... Embedded controller (EC), 121 ... Sound recording / playback processor, 201 ... Operating system (OS), 201A ... Touch panel Driver 202, voice recording / playback program 310, touch information receiving unit 320, control unit 321 speaker identification unit 322 speaker integration unit 323 speaker division unit 330 voice reproduction processing unit 340: display processing unit, 401: audio data, 402: index data

Claims

A display having a touch panel,
A non-volatile memory for storing audio data,
A processor that executes a voice recording / playback program, displays a playback screen for playing back the voice data stored in the nonvolatile memory on the display, and plays back the playback screen.
The playback screen is
A first area for displaying a time bar of the audio data to be reproduced;
A second area that displays a speech section bar that is a part of the time bar of the voice data and that is displayed so that each of the speakers can be identified;
A line indicating a reproduction time point displayed superimposed on the utterance section bar being reproduced in the second area;
A speaker mark corresponding to a plurality of speakers identified during the recording of the voice data, and a specific area in which the speaker mark used for editing the utterance section bar is displayed,
The processor comprises:
While the utterance section bar located on the line indicating the reproduction time point is being reproduced, an utterance mark is displayed near the speaker mark corresponding to the speaker of the utterance section bar.
Electronic equipment.

The processor comprises:
If one of the previous Kihanashi's mark displayed in the specific area of the reproduction screen is pressed long, the transition from the playback mode to the edit mode,
When the second speaker mark is overlaid on the first speaker mark of the specific area, the utterance section of the utterance section bar corresponding to the second speaker mark is uttered by the speaker of the first speaker mark. The electronic device according to claim 1 , wherein the electronic device is corrected to a section.

The processor comprises:
When one of the speaker marks displayed in the specific area of the playback screen is long-pressed, the mode shifts from the playback mode to the editing mode,
The electronic device according to claim 1, wherein when an operation of touching the utterance section bar is performed, an utterance section of the utterance section bar on which the touch operation is performed is corrected as an utterance section of another speaker.

Wherein the processor, when a transition is made to the editing mode, the reproduction as well as pause, electronic device according to claim 2 or 3 stops updating of the playback screen.