JP2023096017A - Voice information replacement system and program - Google Patents

Voice information replacement system and program Download PDF

Info

Publication number
JP2023096017A
JP2023096017A JP2023080621A JP2023080621A JP2023096017A JP 2023096017 A JP2023096017 A JP 2023096017A JP 2023080621 A JP2023080621 A JP 2023080621A JP 2023080621 A JP2023080621 A JP 2023080621A JP 2023096017 A JP2023096017 A JP 2023096017A
Authority
JP
Japan
Prior art keywords
replacement
voice
button
user
audiobook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023080621A
Other languages
Japanese (ja)
Inventor
奈津子 榎本
Natsuko Enomoto
昌美 長谷川
Masami Hasegawa
彩乃 田中
Ayano Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Gas Co Ltd
Original Assignee
Tokyo Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Gas Co Ltd filed Critical Tokyo Gas Co Ltd
Priority to JP2023080621A priority Critical patent/JP2023096017A/en
Publication of JP2023096017A publication Critical patent/JP2023096017A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

To enable efficiently replacing original voice of a replaced region with any voice, and to enable confirming replaced content.SOLUTION: A voice information replacement system comprises: acquisition means that acquires an editable voice information file for a user to participate in replacement; reproduction means that reproduces original voice included in the voice information file; and presentation means that presents information to support the progress of replacement of voice for a region where replacement of original voice is possible, and the voice information replacement system starts reproduction of a voice information file from the corresponding position when one display indicating the region in which replacement is possible is selected, on a time axis representing reproduction time of the voice information file.SELECTED DRAWING: Figure 14

Description

本発明は、音声情報置き換えシステム及びプログラムに関する。 The present invention relates to a speech information replacement system and program.

従来、映画などの物語の画面に合わせて台詞や音楽などを録音するアフターレコーディング(いわゆるアフレコ)技術が存在する。
例えば特許文献1には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。
Conventionally, there is an after-recording (so-called after-recording) technology for recording dialogue, music, etc., in accordance with the screen of a story such as a movie.
For example, Patent Literature 1 describes an example of a device for genuinely experiencing a voice actor while enjoying a sense of unity with a story. This device has a function of reproducing voices other than those of the cast selected by the player, and a function of displaying only the telop corresponding to the lines of the cast selected by the player at the timing when the cast selected by the player speaks. ing. Therefore, the player can experience dubbing just by speaking in time with the telop. Since the display screen displays moving images such as animation and drama, the player can enjoy a sense of unity with the story.

特開2006-346284号公報JP 2006-346284 A

前述の装置は、プレーヤが選択した配役とプレーヤが選択していない配役を区別し、それぞれについて台詞の再生とテロップの出力を制御する。このため、プレーヤが選択した配役の台詞をプレーヤが発声しなければ、該当箇所の台詞は欠落した状態になる。
アフレコの技術は、昔話などを録音したオーディオブックにも応用されている。オーディオブックは、子供の年齢に応じて様々な楽しみ方ができる。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、録音された子供の声は親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声する様子を成長の記録として残すことができる。このように子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。
The apparatus described above distinguishes between the cast selected by the player and the cast not selected by the player, and controls the reproduction of lines and the output of telops for each. For this reason, if the player does not utter the lines of the cast selected by the player, the lines of the corresponding part are missing.
Post-recording technology is also applied to audiobooks that record folk tales. Audiobooks can be enjoyed in a variety of ways, depending on the age of the child. For example, it is heartwarming to see a small child uttering an interesting line or sound in sync with the reproduced sound, and the recorded voice of the child becomes a pleasant memory for the parent and child. In addition, if the child is a little older, it is possible to leave a record of the child's growth by intentionally changing the lines and uttering them. In this way, the recording of the child's voice serves as a record of the child's growth as well as a family memory.

ところで、知育教材としてのオーディオブックには、声の録音を指示するボタンは用意されていても、録音の開始後に録音操作を取り消すボタンや録音操作の取り消し時に取り消し前までに録音された音を自動的に削除する機能等は設けられていない。このため、ユーザは、事後的に編集画面を開いて不要な録音を探し出し、不要な録音を削除する必要がある。また、不要な録音が保存されたままであると、目的とする録音を探し出す妨げにもなり、音声を置き換える作業全体の効率性を低下させる一因になる。
また、オーディオブックには、置き換え可能な台詞をユーザに通知する機能は設けられているが、置き換え可能な領域のオーディオブックの中での位置関係や置き換えられた領域の数等をユーザが確認できる仕組みが存在しない。このため、置き換え用の音声が録音されていない領域を調べるのは容易でない。結果的に、ユーザによる音声を置き換える作業全体の効率性を高める仕組みが求められる。
By the way, audiobooks as educational materials have a button for instructing voice recording, but there is no button for canceling the recording operation after the recording has started, or when canceling the recording operation, the sound recorded before the cancellation is automatically canceled. There is no function, etc., for deleting data automatically. For this reason, the user needs to open the editing screen after the fact, search for unnecessary recordings, and delete unnecessary recordings. In addition, if unnecessary recordings remain stored, it becomes a hindrance to finding the desired recordings, which contributes to a decrease in the efficiency of the entire voice replacement work.
In addition, audiobooks have a function to notify the user of replaceable lines, and the user can check the positional relationship of replaceable regions in the audiobook, the number of replaced regions, etc. No mechanism exists. Therefore, it is not easy to check the area where the replacement voice is not recorded. As a result, there is a need for a mechanism that increases the efficiency of the overall voice replacement task by the user.

本発明は、効率的に置き換え領域の元音声を任意の音で置き換えたり、置き換えた内容を確認したりできるようにすることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to efficiently replace the original voice in the replacement region with an arbitrary sound and to check the contents of the replacement.

請求項1に記載の発明は、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備え、前記音声情報ファイルの再生時間を表す時間軸上で、置き換えが可能な前記領域を示す表示の1つが選択された場合、該当する位置から前記音声情報ファイルの再生が開始される、音声情報置き換えシステムである。
請求項2に記載の発明は、前記音声情報ファイルは、選択された位置より所定時間前の位置から再生される、請求項1に記載の音声情報置き換えシステムである。
請求項3に記載の発明は、前記領域が第1操作により選択された場合、該当する領域の台詞を表示し、前記領域が第2操作により選択された場合、該当する位置から前記音声情報ファイルの再生を再開する、請求項1又は2に記載の音声情報置き換えシステムである。
請求項4に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラムであり、前記音声情報ファイルの再生時間を表す時間軸上で、置き換えが可能な前記領域を示す表示の1つが選択された場合、該当する位置から前記音声情報ファイルの再生を開始させる、プログラムである。
The invention according to claim 1 comprises acquisition means for acquiring an audio information file that can be edited by a user participating in the replacement, reproduction means for reproducing the original audio contained in the audio information file, and replacement of the original audio. presenting means for presenting information to support the progress of the replacement of the audio for the area where the An audio information replacement system wherein, when selected, playback of the audio information file is initiated from the corresponding position.
The invention according to claim 2 is the audio information replacement system according to claim 1, wherein the audio information file is reproduced from a position a predetermined time before the selected position.
In the invention according to claim 3, when the area is selected by a first operation, the lines of the corresponding area are displayed, and when the area is selected by the second operation, the voice information file is displayed from the corresponding position. 3. The audio information replacement system according to claim 1 or 2, wherein the reproduction of is resumed.
According to a fourth aspect of the invention, a computer has a function of acquiring an audio information file that can be edited by a user participating in replacement, a function of reproducing the original audio contained in the audio information file, and a function of reproducing the original audio. and a function of presenting information to support the progress of audio replacement for replaceable areas, wherein the replaceable areas are displayed on a time axis representing the playback time of the audio information file. is selected, the program starts playing the audio information file from the corresponding position.

請求項1記載の発明によれば、効率的に置き換え領域の元音声を任意の音で置き換えたり、置き換えた内容を確認したりできる。
請求項2記載の発明によれば、再生開始から録音ボタンを操作するための時間的な余裕を設けることができる。
請求項3記載の発明によれば、選択した領域の台詞が録音したい台詞か否かを事前に確認できる。
請求項4記載の発明によれば、効率的に置き換え領域の元音声を任意の音で置き換えたり、置き換えた内容を確認したりできる。
According to the first aspect of the present invention, it is possible to efficiently replace the original voice in the replacement area with any sound and to confirm the content of the replacement.
According to the second aspect of the invention, it is possible to provide a time margin for operating the record button from the start of playback.
According to the third aspect of the invention, it is possible to confirm in advance whether or not the speech in the selected area is the speech to be recorded.
According to the fourth aspect of the present invention, it is possible to efficiently replace the original voice in the replacement area with an arbitrary sound and confirm the content of the replacement.

実施の形態で想定するネットワークシステムの概要を説明する図である。1 is a diagram illustrating an overview of a network system assumed in an embodiment; FIG. 実施の形態で使用する端末の構成例を示す図である。1 is a diagram showing a configuration example of a terminal used in an embodiment; FIG. 端末を構成する制御ユニットの機能構成を説明する図である。FIG. 2 is a diagram illustrating a functional configuration of a control unit that configures a terminal; FIG. ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。FIG. 4 is a flow chart showing an example of the processing operations performed when editing a downloaded audiobook; FIG. オーディオブックを選択する時点T1とオーディオブックの再生の指示を受け付ける時点T2の画面の例を説明する図である。FIG. 10 is a diagram illustrating examples of screens at time T1 when an audiobook is selected and time T2 when an instruction to play an audiobook is accepted; 置き換え等が可能でない領域が再生されている時点T3と置き換え等が可能な領域が再生されている時点T4の画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen at time T3 when an area that cannot be replaced is reproduced and an example of a screen at time T4 when an area that can be replaced is reproduced; 置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen displayed when a replacement instruction is received; 置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。FIG. 11 is a diagram illustrating another example of a screen displayed when a replacement instruction is received; 音の追加が可能な領域部分で表示される画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen displayed in a region where sound can be added; 音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen displayed when an instruction to add sound is received; 置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。(A)はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、(B)はユーザが実際に置き換え等を指示した領域を示す。FIG. 10 is a diagram for explaining the relationship between a replaceable area and an area for which a user has actually instructed replacement. (A) shows the arrangement of predetermined replaceable regions in the audiobook, and (B) shows the regions actually instructed by the user to be replaced. 置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。FIG. 10 is a diagram for explaining a display example of a screen immediately after playback of an audiobook containing replaceable regions is started. 置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。FIG. 10 is a diagram illustrating a display example of a screen when playback of an audiobook that has already been recorded in part of the replaceable area is selected. 先頭から5番目の吹き出しが人差し指でタップされる様子を説明する図である。FIG. 11 is a diagram illustrating how the fifth balloon from the top is tapped with the index finger; 置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。FIG. 10 is a diagram for explaining a display example of a screen immediately after playback of a replaceable area is started; 置き換えが可能な領域の再生中にスキップボタンが操作される様子を説明する図である。FIG. 10 is a diagram illustrating how a skip button is operated during playback of a replaceable area; スキップボタンの操作後の画面の表示例を説明する図である。It is a figure explaining the example of a display of the screen after operating a skip button. 置き換えが可能な領域の再生中に録音ボタンが操作される様子を説明する図である。FIG. 10 is a diagram for explaining how a recording button is operated during playback of a replaceable area; 録音ボタンの操作後に表示される画面の表示例を説明する図である。It is a figure explaining the display example of the screen displayed after operating a recording button. 録音中にスキップボタンが操作される様子を説明する図である。FIG. 10 is a diagram illustrating how a skip button is operated during recording; 録音ボタンが操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。FIG. 10 is a diagram illustrating a display example of a screen after a predetermined period of time has elapsed since the recording button was operated; 停止ボタンの操作後に表示される画面の表示例を説明する図である。It is a figure explaining the display example of the screen displayed after operating a stop button. オーディオブックの再生が終了した時点でユーザが録音を行った領域が1つでも存在する場合に自動的に表示される画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen that is automatically displayed when there is at least one area recorded by the user when playback of an audiobook ends; 作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。FIG. 10 is a diagram illustrating an example of a screen used when a user designates an area for saving a created original audiobook; 作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。FIG. 10 is a diagram showing a display example of a screen that is displayed after saving of the created audiobook is completed;

以下、図面を参照して、本発明の実施の形態を説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

<実施の形態>
<システムの全体構成>
図1は、実施の形態で想定するネットワークシステム1の概要を説明する図である。
図1に示すネットワークシステム1は、インターネット10に接続されたオーディオファイル管理サーバ20と、ユーザが操作する端末30とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ20は、本等を朗読する音声をデータとして記録したファイル(以下「オーディオファイル」という)を配信用に管理するサーバである。オーディオファイル管理サーバ20は、コンピュータを基本構成とする。図1の場合、オーディオファイル管理サーバ20は1台であるが、複数台の装置が協働してオーディオファイル管理サーバ20として動作してもよい。
<Embodiment>
<Overall system configuration>
FIG. 1 is a diagram illustrating an outline of a network system 1 assumed in the embodiment.
A network system 1 shown in FIG. 1 includes an audio file management server 20 connected to the Internet 10 and a terminal 30 operated by a user.
The audio file management server 20 according to the present embodiment is a server that manages for distribution a file (hereinafter referred to as an "audio file") in which voice reading a book or the like is recorded as data. The audio file management server 20 has a basic configuration of a computer. In the case of FIG. 1, there is one audio file management server 20, but a plurality of devices may work together as the audio file management server 20. FIG.

本実施の形態では、ユーザとの間で取引の単位となるオーディオファイルを総称してオーディオブックともいう。オーディオブックは、1つのオーディオファイルで構成される場合もあれば、複数のオーディオファイルで構成される場合もある。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ20が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。
ここでのオーディオブックは、音声情報ファイルの一例である。また、本実施の形態の場合、音を挿入することが可能な領域と音の置き換えが可能な領域とを区別して説明するが、音を挿入する処理は、無音の領域を有音の領域に置き換える処理である。このため、音を挿入することが可能な領域は、広義には、音の置き換えが可能な領域の一例である。
In the present embodiment, audio files that are the unit of transaction with the user are also collectively referred to as audiobooks. An audiobook may consist of one audio file or may consist of a plurality of audio files.
In the present embodiment, audiobooks in which the story develops with characters' lines are referred to as sound stories. Otomonogatari includes folk tales and fairy tales, for example.
In addition, the audiobook distributed by the audio file management server 20 is attached with information indicating an area where the user can freely insert sound or an area where the original sound can be replaced. shall be
An audiobook here is an example of an audio information file. In addition, in the case of the present embodiment, a description will be given by distinguishing between an area in which sound can be inserted and an area in which sound can be replaced. This is a replacement process. Therefore, in a broad sense, a region in which sound can be inserted is an example of a region in which sound can be replaced.

挿入が可能な領域部分又は置き換えが可能な領域部分が定められているオーディオブックは、編集が可能な音物語のファイルの一例である。以下では、ユーザによる音の挿入や音の置き換えの前のファイルに収録されている音声を元の音声又は元音声という。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置き換えが可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。また、ユーザによる音の挿入や置き換えが可能な領域部分は、ナレーションの一部分でもよい。
An audio book, in which insertable or replaceable region portions are defined, is an example of an editable sound story file. Hereinafter, the sound recorded in the file before sound insertion or sound replacement by the user is referred to as original sound or original sound.
The side that distributes the audiobook determines in advance which area parts are insertable area parts and which are replaceable area parts. Many of the domain parts here are dialogue. However, the area portion in which the user can insert or replace sounds does not need to be all of the dialogue appearing in the audiobook, nor is it limited to the dialogue of a specific character. Also, the area portion in which the user can insert or replace sounds may be part of the narration.

本実施の形態における端末30は、オーディオブックをダウンロードするユーザが主に操作するスマートフォン、タブレット端末、オーディオプレーヤ、ノートパソコン等である。
端末30には、インターネット10を介してオーディオファイル管理サーバ20にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ20との接続は、他の機器を介して実現されてもよい。本実施の形態の場合、端末30は、音声情報置き換えシステムの一例である。
The terminal 30 in the present embodiment is a smartphone, tablet terminal, audio player, notebook computer, etc., which is mainly operated by the user who downloads the audiobook.
The terminal 30 is provided with a function capable of accessing the audio file management server 20 via the Internet 10 and downloading the aforementioned audiobook. However, the connection with the audio file management server 20 may be realized via another device. In this embodiment, terminal 30 is an example of a voice information replacement system.

<端末30の構成>
図2は、実施の形態で使用する端末30の構成例を示す図である。
本実施の形態における端末30は、装置全体の動作を制御する制御ユニット301と、データを記録する不揮発性の記憶ユニット302と、ユーザインタフェース画面等の表示に用いられる表示ユニット303と、ユーザの操作を受け付ける操作受付ユニット304と、電気信号を音として再生するスピーカ305と、音を電気信号に変換するマイク306と、通信インタフェース(=通信IF)307とを有している。
<Configuration of terminal 30>
FIG. 2 is a diagram showing a configuration example of the terminal 30 used in the embodiment.
The terminal 30 in this embodiment includes a control unit 301 that controls the overall operation of the device, a non-volatile storage unit 302 that records data, a display unit 303 that is used to display user interface screens, etc., and user operation It has an operation reception unit 304 that receives operation, a speaker 305 that reproduces an electric signal as sound, a microphone 306 that converts sound into an electric signal, and a communication interface (=communication IF) 307 .

本実施の形態における制御ユニット301は、CPU(=Central Processing Unit)311と、ファームウェア等が記録されたROM(=Read Only Memory)312と、ワークエリアとして用いられるRAM(=Random Access Memory)313とを有している。
制御ユニット301は、いわゆるコンピュータとして機能する。なお、ROM312は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット302は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット302には、例えばオーディオブックのデータやマイク306で収録された音のデータ等が保存される。
The control unit 301 in this embodiment includes a CPU (=Central Processing Unit) 311, a ROM (=Read Only Memory) 312 in which firmware etc. are recorded, and a RAM (=Random Access Memory) 313 used as a work area. have.
The control unit 301 functions as a so-called computer. Note that the ROM 312 is a nonvolatile rewritable semiconductor memory.
The storage unit 302 is composed of a non-volatile rewritable semiconductor memory or the like. The storage unit 302 stores, for example, audiobook data, sound data recorded by the microphone 306, and the like.

表示ユニット303は、例えば液晶ディスプレイや有機ELディスプレイで構成される。表示ユニット303には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット304は、例えば表示ユニット303の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース307は、例えば無線LAN(=Local Area Network)、ブルートゥース(登録商標)、移動通信規格に準拠した無線装置である。
因みに、制御ユニット301と各ユニット等とは、バス308や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末30には、位置情報を取得するGPS(=Global Positioning System)センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。
The display unit 303 is composed of, for example, a liquid crystal display or an organic EL display. The display unit 303 displays information that assists the user's operation.
The operation reception unit 304 includes, for example, a touch sensor arranged on the surface of the display unit 303, and switches and buttons arranged on the housing.
The communication interface 307 is, for example, a wireless device conforming to wireless LAN (=Local Area Network), Bluetooth (registered trademark), and mobile communication standards.
Incidentally, the control unit 301 and each unit are connected through a bus 308 or a signal line (not shown).
Although not shown, the terminal 30 is equipped with a GPS (=Global Positioning System) sensor for acquiring position information, a geomagnetic sensor, an acceleration sensor, a camera for capturing moving images and still images, and the like. The location information here is also used to record the location where the sound was recorded.

<端末30の機能構成>
図3は、端末30を構成する制御ユニット301の機能構成を説明する図である。
図3に示す機能モジュールは、CPU311(図2参照)によるプログラムの実行を通じて実現される。なお、図3に示す機能モジュールは、制御ユニット301が実行するプログラムの一例である。
<Functional Configuration of Terminal 30>
FIG. 3 is a diagram for explaining the functional configuration of the control unit 301 that configures the terminal 30. As shown in FIG.
The functional modules shown in FIG. 3 are realized through program execution by the CPU 311 (see FIG. 2). Note that the functional modules shown in FIG. 3 are examples of programs executed by the control unit 301 .

図3に示すプログラムの1つには、オーディオファイル管理サーバ20(図1参照)からオーディオブックを取得するオーディオブック取得モジュール321がある。取得の対象であるオーディオブックは、端末30(図1参照)の操作画面を通じてユーザが指定する。なお、オーディオブックは、オーディオファイル管理サーバ20から取得する以外に、記憶ユニット302(図2参照)から取得する場合もある。オーディオブック取得モジュール321は、取得手段の一例である。 One of the programs shown in FIG. 3 includes an audiobook acquisition module 321 that acquires audiobooks from the audio file management server 20 (see FIG. 1). The audiobook to be acquired is designated by the user through the operation screen of the terminal 30 (see FIG. 1). Audiobooks may be obtained from the storage unit 302 (see FIG. 2) in addition to being obtained from the audio file management server 20 . The audiobook acquisition module 321 is an example of acquisition means.

図3に示すプログラムの1つには、オーディオブックを再生するオーディオブック再生モジュール322がある。
本実施の形態の場合、オーディオブック再生モジュール322によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生との2種類があり、各再生に応じたボタンが表示ユニット303(図2参照)に表示される。オーディオブック再生モジュール322は、再生手段の一例である。
One of the programs shown in FIG. 3 is an audiobook playback module 322 that plays audiobooks.
In the case of this embodiment, there are two types of audiobook playback by the audiobook playback module 322: playback of the original audio and playback of the edited audiobook. (See FIG. 2). Audiobook playback module 322 is an example of playback means.

図3に示すプログラムの1つには、オーディオブックのうちユーザが収集した音による置き換えが可能な又は挿入が可能な領域部分をユーザに提示する置き換え可能領域等提示モジュール323がある。
ここでの置き換え可能領域等提示モジュール323は、表示ユニット303(図2参照)に表示される台詞等の表示の態様を、置き換えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。
また、置き換え可能領域等提示モジュール323は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット303に表示する。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
One of the programs shown in FIG. 3 includes a replaceable area presentation module 323 that presents to the user an area portion of the audiobook that can be replaced or inserted with sounds collected by the user.
Here, the replaceable area presentation module 323 distinguishes between replaceable and non-replaceable lines in the manner of displaying lines and the like displayed on the display unit 303 (see FIG. 2).
For example, lines that cannot be replaced are displayed in a standard thickness and size, while lines that can be replaced are displayed in bold. For example, lines that cannot be replaced are displayed in black characters, while lines that can be replaced are displayed in red characters. Further, for example, lines that cannot be replaced are not marked, whereas lines that can be replaced are additionally displayed with a characteristic mark.
Also, the replaceable area etc. presentation module 323 displays on the display unit 303 a mark or the like indicating that in the area portion where the sound collected by the user can be inserted.
Alternatively, the replaceable region portion or the insertable region portion may be presented by outputting a predetermined specific sound. For example, a buzzer or the like may be used to notify the corresponding position.

図3に示すプログラムの1つには、ユーザによる置き換え指示を受け付ける置き換え指示受付モジュール324がある。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。録音ボタンは第2のボタンの一例である。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを1回タップするか2回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。なお、録音の停止には、停止ボタンの操作を使用する。停止ボタンは、第3のボタンの一例である。もっとも、置き換えの対象になった台詞の元音声での再生時間の終了後に自動的に録音を停止する仕組みとすることも可能である。
One of the programs shown in FIG. 3 has a replacement instruction reception module 324 that receives a replacement instruction from the user.
In the case of the present embodiment, operation of the record button is used to instruct replacement. When the replacement instruction is accepted, the output of the original voice is stopped, and the recording of the voice and the selection of pre-recorded sound material become possible. A record button is an example of a second button.
It should be noted that separate buttons may be prepared for recording voice on the spot and for selectively specifying sound material, or the operation can be performed by tapping the record button once or twice. You may enable it to switch. In the case of selectively designating sound materials, the reproduction of the audiobook is also stopped until a selection instruction is received. To stop recording, use the operation of the stop button. A stop button is an example of a third button. Of course, it is also possible to have a mechanism for automatically stopping the recording after the end of the playback time of the original voice of the line to be replaced.

図3に示すプログラムの1つには、ユーザによる音素材の挿入指示を受け付ける音素材挿入受付モジュール325がある。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。
以下では、音素材の置き換えと挿入を総称する場合、「置き換え等」ともいう。
One of the programs shown in FIG. 3 has a sound material insertion reception module 325 that receives a sound material insertion instruction from the user.
In the case of this embodiment, the operation of the record button is also used to issue an instruction to insert a sound material. Even when an instruction to insert a sound material is received, a state is entered in which recording of voice or the like and selection of pre-recorded sound material are possible.
As for the insertion of sound materials, there are cases where voices and the like are recorded on the spot and cases where sound materials are selectively instructed. The method of operation is the same as in the case of the replacement instruction.
Hereinafter, when replacing and inserting sound materials are collectively referred to as "replacement, etc."

図3に示すプログラムの1つには、音素材の置き換えや挿入による編集が加えられたオーディオブック(以下「編集済みオーディオブック」という)を記憶ユニット302(図2参照)に記録する編集済みオーディオブック保存モジュール326がある。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。
One of the programs shown in FIG. 3 includes an edited audio book for recording an audiobook edited by replacing or inserting sound materials (hereinafter referred to as an "edited audiobook") in the storage unit 302 (see FIG. 2). There is a book storage module 326 .
Edited audiobooks are created separately from unedited audiobooks. Therefore, the pre-edited audiobook is preserved in its pre-edited state. In the case of this embodiment, the date and time of saving, etc. are automatically inserted into the file name of the edited audiobook. A plurality of edited audiobooks saved in this way can be left as a history of a child's growth. However, the file name may be edited after the fact.

図3に示すプログラムの1つには、ユーザによる音声の置き換え等を支援する支援情報提示モジュール327がある。
本実施の形態における支援情報提示モジュール327は、録音ボタンや録音の停止ボタンの操作とは別に、ユーザによる音声の置き換え等の進行を支援する情報を表示ユニット303に提示する機能である。
本実施の形態における「ユーザによる音声の置き換え等の進行を支援する情報」は、録音ボタンのように置き換え等を直接的に指示するための情報ではなく、置き換え等に関する作業の効率化に寄与する情報をいう。換言すると、置き換え等の作業全体に対する進行の把握や進行の促進に貢献する情報をいう。ここでの効率化には、目的とする効果の実現のために必要となる工数の削減や作業に要する時間の削減も含まれる。
One of the programs shown in FIG. 3 includes a support information presentation module 327 that supports the user in replacing voices and the like.
The support information presentation module 327 in this embodiment has a function of presenting information on the display unit 303 to support progress such as voice replacement by the user, in addition to the operation of the recording button and the recording stop button.
"Information to support the progress of voice replacement by the user" in the present embodiment is not information for directly instructing replacement, etc. like the record button, but contributes to efficiency of work related to replacement, etc. Information. In other words, it refers to information that contributes to grasping the progress of the entire work such as replacement and promoting the progress. Efficiency here includes the reduction of the man-hours required to achieve the desired effect and the reduction of the time required for the work.

本実施の形態の場合、ユーザによる音声の置き換え等の進行を支援する情報として、例えば置き換えが可能な領域に対する音声の置き換えのスキップを指示するボタン(以下「スキップボタン」という)、置き換え可能な領域の総数と置き換え済みの領域の数、元音声に対応する時間軸上での置き換え可能な領域の位置や置き換え済みの領域の位置、元音声の再生中に音声の置き換えが1箇所でも行われた場合に表示される保存先の選択画面等を用意する。
これらの情報の提示により、ユーザによる音声の置き換え等の進行に関する作業の効率化が実現される。
ここでの支援情報提示モジュール327は、提示手段の一例である。また、スキップボタンは第1のボタンの一例である。
In the case of this embodiment, the information for assisting the progress of voice replacement by the user includes, for example, a button (hereinafter referred to as a "skip button") for instructing skipping of voice replacement for replaceable regions, a replaceable region and the number of regions that have been replaced, the position of the replaceable region and the replaced region on the time axis corresponding to the original audio, and the replacement of the audio even once during the playback of the original audio Prepare a save destination selection screen that is displayed when
By presenting these pieces of information, it is possible to improve the efficiency of work related to progress, such as voice replacement, by the user.
The support information presentation module 327 here is an example of presentation means. Also, the skip button is an example of the first button.

<処理動作の例1>
ここでは、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)以外の機能モジュールにより実現される処理動作について説明する。
<Example 1 of processing operation>
Here, processing operations realized by functional modules other than the support information presentation module 327 (see FIG. 3) among the functional modules provided in the terminal 30 (see FIG. 1) will be described.

<オーディオブックの編集>
図4は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。なお、図中のSは、ステップを意味する。
制御ユニット301(図2参照)は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける(ステップ1)。特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット301は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する(ステップ2)。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。
<Edit audiobook>
FIG. 4 is a flowchart illustrating exemplary processing operations performed when editing a downloaded audiobook. Note that S in the figure means a step.
When the control unit 301 (see FIG. 2) detects a specific operation by the user, it accepts selection of an audiobook (step 1). An example of a specific action is a prompt for selection on a screen listing downloaded audiobooks.
Upon receiving the selection instruction, the control unit 301 determines whether or not the selected audiobook has an area that can be replaced (step 2). The presence or absence of replaceable regions can be identified from information attached to the audiobook.

ステップ2で否定結果が得られた場合、制御ユニット301は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する(ステップ3)。
オーディオブックの再生が開始されると、制御ユニット301は、再生の終了か否かを判定する(ステップ4)。
ステップ4で否定結果が得られている間、制御ユニット301は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ4で肯定結果が得られると、オーディオブックの再生が終了する。
If a negative result is obtained in step 2, the control unit 301 accepts the instruction to play the audiobook and starts playing the audiobook (step 3).
When playback of the audiobook is started, the control unit 301 determines whether playback is finished (step 4).
As long as step 4 yields a negative result, control unit 301 continues playing the audiobook. In this case, since there is no area where replacement or the like is possible, the audiobook audio is reproduced as it is.
A positive result in step 4 terminates the audiobook playback.

一方、ステップ2で肯定結果が得られた場合、制御ユニット301は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する(ステップ5)。
この後、制御ユニット301は、再生中の位置が、置き換え等が可能な領域か否かを判定する(ステップ6)。
ステップ6で否定結果が得られている間、制御ユニット301は、判定を繰り返す。
ステップ6で肯定結果が得られると、制御ユニット301は、置き換え等が可能な領域であることをユーザに提示する(ステップ7)。
On the other hand, if a positive result is obtained in step 2, the control unit 301 accepts the instruction to play the audiobook and starts playing the audiobook (step 5).
After that, the control unit 301 determines whether or not the position being reproduced is in an area where replacement or the like is possible (step 6).
While a negative result is obtained in step 6, the control unit 301 repeats the determination.
If a positive result is obtained in step 6, the control unit 301 presents to the user that it is an area where replacement or the like is possible (step 7).

続いて、制御ユニット301(図2参照)は、置き換え等の指示を受け付けたか否かを判定する(ステップ8)。
本実施の形態の場合、制御ユニット301は、録音ボタンの操作が検知されたか否かを判定する。
ステップ8で否定結果が得られた場合、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
一方、ステップ8で肯定結果が得られた場合、制御ユニット301は、音素材を受け付ける(ステップ9)。
この後、制御ユニット301は、再生の終了か否かを判定する(ステップ10)。
ステップ10で否定結果が得られている間、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
Subsequently, the control unit 301 (see FIG. 2) determines whether or not an instruction such as replacement has been received (step 8).
In the case of this embodiment, the control unit 301 determines whether or not the operation of the record button has been detected.
If step 8 yields a negative result, control unit 301 returns to step 6 to continue playing the audiobook.
On the other hand, if a positive result is obtained in step 8, the control unit 301 accepts the sound material (step 9).
After that, the control unit 301 determines whether or not the reproduction is finished (step 10).
While a negative result is obtained in step 10, the control unit 301 returns to step 6 and continues playing the audiobook.

ステップ1からステップ10までに対応する表示画面の例を図5~図11に示す。
図5は、オーディオブックを選択する時点T1とオーディオブックの再生の指示を受け付ける時点T2の画面の例を説明する図である。
時点T1はステップ1に対応し、時点T2はステップ5に対応する。
時点T1の画面には、選択可能なオーディオブックの例として「昔話1」、「昔話2」、「昔話3」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図5では、「昔話1」の選択ボタンにチェックマークが付いている。この状態で決定ボタン332が操作された後の画面が時点T2の画面である。
Examples of display screens corresponding to steps 1 to 10 are shown in FIGS.
FIG. 5 is a diagram illustrating examples of screens at time T1 when an audiobook is selected and time T2 when an audiobook reproduction instruction is received.
Time T1 corresponds to step 1 and time T2 corresponds to step 5. FIG.
On the screen at time T1, "folk tales 1", "folk tales 2", and "folk tales 3" are displayed as examples of selectable audiobooks, and select buttons are displayed adjacent to each of them. In addition, in FIG. 5, a check mark is attached to the selection button of "old tale 1". The screen after the OK button 332 is operated in this state is the screen at time T2.

図5の場合、時点T2の画面の上段には、タイトル333と、時間軸334と、再生位置を表すスライダ335とが表示されている。時点T2では、再生が開始されていないので、スライダ335は原点である左端に位置している。なお、スライダ335は、再生位置の移動にも使用できる。
時点T2の画面の下段には、3種類のボタンが配置されている。ボタン336は、元音声などの再生ボタンである。ボタン337は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図5の場合、ボタン337は録音ボタンである。ボタン338は、編集済みオーディオブックの再生の指示に用いるボタンである。図5の場合、ボタン338は繰り返し再生ボタンである。
図5では、ユーザが、左端のボタン336を操作している。
In the case of FIG. 5, a title 333, a time axis 334, and a slider 335 representing a playback position are displayed in the upper part of the screen at time T2. At time T2, reproduction has not started, so the slider 335 is positioned at the left end, which is the origin. Note that the slider 335 can also be used to move the playback position.
Three types of buttons are arranged in the lower part of the screen at time T2. A button 336 is a playback button for the original voice or the like. A button 337 is a button used by the user to instruct, for example, replacement of collected sound materials. In the case of FIG. 5, button 337 is the record button. Button 338 is a button used to instruct playback of the edited audiobook. In the case of FIG. 5, button 338 is a repeat play button.
In FIG. 5, the user is operating the leftmost button 336 .

図6は、置き換え等が可能でない領域が再生されている時点T3と置き換え等が可能な領域が再生されている時点T4の画面の例を説明する図である。
時点T3はステップ6で否定結果が得られた場合に対応し、時点T4はステップ7に対応する。
図6の場合、「昔話1」は、童話の「赤ずきん」である。
時点T3の画面では、既に再生が開始してから時間が経過しているので、スライダ335は時間軸334の中央付近まで移動している。時点T3には、登場人物である赤ずきんの台詞339があり、端末30からは対応する音声が出力されている。ここでの台詞339は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点T3の台詞339は、置き換え等ができない台詞として登録されている。このため、端末30の表示画面には、台詞339の内容を表す文字列が、基準とする太さとサイズで表示されている。
FIG. 6 is a diagram illustrating an example of a screen at time T3 when an area that cannot be replaced is reproduced and an example of a screen at time T4 when an area that can be replaced is reproduced.
Time T3 corresponds to a negative result in step 6, and time T4 corresponds to step 7.
In the case of FIG. 6, "old tale 1" is the fairy tale "Little Red Riding Hood".
On the screen at time T3, time has already passed since the playback started, so the slider 335 has moved to near the center of the time axis 334 . At time T3, there is a line 339 of the character Little Red Riding Hood, and the terminal 30 outputs the corresponding voice. The line 339 here is "Oh, grandmother, what a big book."
In the case of this embodiment, the speech 339 at time T3 is registered as a speech that cannot be replaced. Therefore, on the display screen of the terminal 30, a character string representing the content of the dialogue 339 is displayed with a reference thickness and size.

時点T4は、時点T3の直後である。時点T4の画面では、登場人物であるおおかみの台詞340があり、対応する音声が出力されている。ここでの台詞340は、「おまえが、よくつかめるようにさ」である。
本実施の形態の場合、時点T4の台詞340は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞340はそのまま出力される。実際、図6では端末30から台詞340に対応する音声が出力されている。
端末30の表示画面には、台詞340が、置き換え等が可能であることをユーザに知らせる態様で表示される。図6の場合、台詞340は太い文字に変更され、同時に、台詞340の背後に楕円形状のマーク341が追加されている。このマーク341等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。
Time T4 is immediately after time T3. On the screen at time T4, there is a line 340 of the character wolf, and the corresponding voice is output. The line 340 here is "I hope you can get a good hold of it."
In the present embodiment, the line 340 at time T4 is registered as a line that can be replaced. Actually, in FIG. 6, the terminal 30 outputs a voice corresponding to the line 340 .
A line 340 is displayed on the display screen of the terminal 30 in such a manner as to inform the user that replacement or the like is possible. In the case of FIG. 6, the line 340 is changed to bold characters, and at the same time, an elliptical mark 341 is added behind the line 340 . The presence of the mark 341 or the like allows the user to know that the dialogue is replaceable.

図7は、置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。図7には、図6の時点T4の画面との対応部分に対応する符号を付して示している。
ここでは、ユーザが、ボタン337を操作している。ユーザによるボタン337の操作により、端末30は、音素材の入力を待機する状態になる。図7では、端末30のマイク306(図2参照)で子供の音声を録音する場合を想定している。このため、台詞340に対応する音声の出力が停止されている。端末30からの音声の出力を停止するのは、端末30から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末30からの音声の出力の停止は、ボタン337が操作された以降である。換言すると、ボタン337が操作されるまでは、図6に示したように、置き換え等が可能な台詞340に対応する音声が端末30から出力される。
図7の例では、子供がおおかみの台詞340を発声しており、この音声が端末30に記録される。
FIG. 7 is a diagram illustrating an example of a screen displayed when a replacement instruction is received. In FIG. 7, parts corresponding to the screen at time T4 in FIG. 6 are shown with reference numerals.
Here, the user is operating button 337 . By the user's operation of the button 337, the terminal 30 enters a state of waiting for the input of the sound material. In FIG. 7, it is assumed that the microphone 306 (see FIG. 2) of the terminal 30 records a child's voice. Therefore, the output of the voice corresponding to the dialogue 340 is stopped. The reason why the output of the voice from the terminal 30 is stopped is to prevent the voice output from the terminal 30 from being recorded together with the child's voice.
It should be noted that audio output from the terminal 30 is stopped after the button 337 is operated. In other words, until the button 337 is operated, the terminal 30 outputs the voice corresponding to the replaceable dialogue 340 as shown in FIG.
In the example of FIG. 7, the child is uttering a line 340 of a wolf, and this voice is recorded on the terminal 30 .

図8は、置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。図8には、図7との対応部分に対応する符号を付して示している。
図8に示す画面も時点T4における台詞340の置き換えである点で図7と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図7と異なっている。
図8の場合、置き換えが可能であることを、マーク341(図7参照)ではなく文字列341Aで示している。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧342が表示されている。図8の場合、候補は3つである。一覧342には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
FIG. 8 is a diagram illustrating another example of a screen displayed when a replacement instruction is received. In FIG. 8, parts corresponding to those in FIG. 7 are shown with reference numerals corresponding thereto.
The screen shown in FIG. 8 is also common to FIG. 7 in that the dialogue 340 is replaced at time T4, but differs from FIG.
In the case of FIG. 8, the fact that replacement is possible is indicated by a character string 341A instead of the mark 341 (see FIG. 7).
In addition, a list 342 of sound material candidates recorded in the past using the terminal 30 or the like is displayed in the middle and lower part of the screen. In the case of FIG. 8, there are three candidates. The list 342 includes a file name corresponding to each candidate, a selection button, and a playback button used to confirm the content.

図8に示す候補のファイル名には、録音の日時と配役の情報が含まれ、音の内容の識別が可能になっている。なお、同日に録音された同じ配役の台詞を区別するため、ファイル名の末尾には通し番号も付されている。例えば1つ目の候補は、2019年3月7日の19時6分に録音された音素材であり、おおかみの1つ目の台詞であることが分かる。なお、通し番号の意味は、録音日における録音の順番でもよい。
図8の例のように、ファイル名に配役の情報が含まれている場合、端末30は、ユーザが置き換えを指示した領域部分の台詞340に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末30は、ピンポイントで関連する音素材を選択的に表示することができる。
The candidate file names shown in FIG. 8 include information on the date and time of recording and the cast, making it possible to identify the content of the sound. In addition, serial numbers are added to the end of the file names to distinguish the lines of the same cast recorded on the same day. For example, the first candidate is the sound material recorded at 19:06 on March 7, 2019, and it can be seen that it is the first line of the wolf. Note that the serial number may mean the order of recording on the recording date.
As in the example of FIG. 8, when the file name contains information about the cast, the terminal 30 selectively displays sound materials related to the cast corresponding to the dialogue 340 in the region where the user instructs replacement. is also possible.
In addition, when the serial number represents a replaceable region portion, the terminal 30 can selectively display pinpoint related audio materials.

図8に示すファイル名では、配役の情報が含まれているが、配役に代えて又は配役と一緒に音素材の録音場所を示す情報が含まれていてもよい。例えば自宅、公園等がファイル名に含まれていてもよい。この他、ファイル名には、誰の声かを示す情報や録音時における子供の年齢が含まれていてもよい。もっとも、これらの情報は、ファイルに付属する情報にのみ含まれていてもよい。
図8の例では、2つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
Although the file names shown in FIG. 8 contain the information of the cast, the information indicating the recording location of the sound material may be included instead of or together with the cast. For example, home, park, etc. may be included in the file name. In addition, the file name may include information indicating whose voice it is and the age of the child at the time of recording. However, these pieces of information may be included only in the information attached to the file.
In the example of FIG. 8, a check mark is attached to the selection button of the second candidate.
When the decision button 344 is operated in this state, the replacement of the area portion to be edited is completed. Note that when the return button 343 is operated, for example, the screen returns to the screen before editing.

図9は、音の追加が可能な領域部分で表示される画面の例を説明する図である。図9には、図7の時点T4の画面との対応部分に対応する符号を付して示している。
図9の画面は、前述したいずれとも異なる時点T5に対応する。
本実施の形態における時点T5は、音の挿入(すなわち音の追加)が可能である領域部分である。このため、台詞等は存在しない。
図9においては、音の追加が可能であることを説明文346と特徴的なマーク345とで表現している。
この時点T5では、音を追加してみたいと思ったユーザ又は子供がボタン337を操作している。
FIG. 9 is a diagram illustrating an example of a screen displayed in an area where sound can be added. In FIG. 9, parts corresponding to the screen at time T4 in FIG. 7 are shown with reference numerals.
The screen of FIG. 9 corresponds to time T5, which is different from any of the above.
Time point T5 in this embodiment is a region portion where sound insertion (that is, sound addition) is possible. Therefore, there is no dialogue or the like.
In FIG. 9, an explanation 346 and a characteristic mark 345 express that sound can be added.
At this time point T5, the user or child who wants to add a sound operates the button 337 .

図10は、音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。図10には、図8との対応部分に対応する符号を付して示している。
図10の場合、音の挿入が可能であることが文字列341Bで示されている。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧347が表示されている。図10の場合、候補は3つである。一覧347には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図10のファイル名には、録音の日時と録音場所の情報が含まれている。例えば1つ目の候補は、2019年3月7日の14時23分に公園で録音された音素材であることが分かる。
図10の例では、1つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
なお、図9の場合と同様に、ボタン337が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット302(図2参照)に記録される。
FIG. 10 is a diagram illustrating an example of a screen displayed when an instruction to add sound is received. In FIG. 10, the parts corresponding to those in FIG. 8 are indicated by the reference numerals.
In the case of FIG. 10, a character string 341B indicates that sound can be inserted.
In addition, a list 347 of sound material candidates recorded in the past using the terminal 30 or the like is displayed in the middle and lower part of the screen. In the case of FIG. 10, there are three candidates. List 347 includes a file name corresponding to each candidate, a selection button, and a playback button used to confirm the content.
The file name in FIG. 10 contains information on the date and time of recording and the recording location. For example, the first candidate is the sound material recorded in the park at 14:23 on March 7, 2019.
In the example of FIG. 10, a check mark is attached to the selection button of the first candidate.
When the decision button 344 is operated in this state, the insertion of the sound material into the area to be edited is completed. Note that when the return button 343 is operated, for example, the screen returns to the screen before editing.
As in the case of FIG. 9, when the button 337 is operated, the sound on the spot may be recorded and the sound recorded in the corresponding area may be inserted. The audiobook with the inserted sound is recorded in the storage unit 302 (see FIG. 2) as an edited audiobook.

図11は、置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。(A)はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、(B)はユーザが実際に置き換え等を指示した領域を示す。
図11の場合、置き換え可能な領域は10箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は1つであり、ユーザが音素材の置き換えを指示した領域は2つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。
11A and 11B are diagrams for explaining the relationship between a region in which replacement or the like is possible and a region for which the user has actually instructed the replacement or the like. (A) shows the arrangement of predetermined replaceable regions in the audiobook, and (B) shows the regions actually instructed by the user to be replaced.
In the case of FIG. 11, there are 10 replaceable areas, one of which the user instructs to insert a sound material, and two of which the user instructs to replace the sound material. The original voice and the like remain as they are in the rest of the replaceable areas.

なお、置き換え等が可能な領域は、特定の配役の台詞とは無関係に定めることが可能である。このため、子供は自分が興味をもった台詞等だけを選択的に置き換え等することができる。この特徴により、本実施の形態におけるオーディオブックでは、子供の成長の過程で、幾つもの編集済みオーディオブックを生成することが可能になる。例えば子供が小さいうちは動物の鳴き声しか置き換えられていないが、子供の成長とともに次第に長い台詞も置き換えられた編集済みオーディオブックを記録して残すことができる。換言すると、成長の過程を記録することが可能になる。また、成長に伴う興味の移り変わりを、置き換え等が指示される領域の違いとして記録することが可能になる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。
It should be noted that it is possible to determine the area in which replacement or the like is possible regardless of the lines of a specific cast. Therefore, the child can selectively replace only the lines that interest him/herself. With this feature, the audiobooks of this embodiment can generate a number of edited audiobooks in the course of the child's growth. For example, when the child is small, only the sounds of animals are replaced, but as the child grows, an edited audio book in which longer lines are replaced can be recorded and left. In other words, it becomes possible to record the process of growth. In addition, it becomes possible to record changes in interest accompanying growth as differences in regions for which replacement or the like is instructed.
Incidentally, in the case of audiobooks according to the present embodiment, regions that can be replaced or the like are determined in advance, so that the user or a child can concentrate on the sounds to be collected.

図4の説明に戻る。
オーディオブックの再生が終わった場合(すなわちステップ10で肯定結果が得られた場合)、制御ユニット301(図2参照)は、再生中に置き換え等があったか否かを判定する(ステップ11)。
ステップ11で否定結果が得られた場合、制御ユニット301は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。
Returning to the description of FIG.
When the audiobook has finished playing (ie, a positive result is obtained in step 10), the control unit 301 (see FIG. 2) determines whether there has been a replacement or the like during playback (step 11).
If a negative result is obtained in step 11, the control unit 301 terminates the process. This is because it is the same as playing back an audiobook that does not have a replaceable area.

一方、ステップ11で肯定結果が得られた場合、制御ユニット301は、置き換え等の編集の結果を反映した編集済みオーディオブックにファイル名を付けて保存する(ステップ12)。本実施の形態の場合、編集済みオーディオブックのファイル名は、元のファイル名と編集作業日とで構成されている。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に1回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン338(図5参照)が操作されると、編集済みオーディオブックの再生が繰り返される。
On the other hand, if a positive result is obtained in step 11, the control unit 301 gives a file name to the edited audiobook reflecting the result of editing such as replacement and saves it (step 12). In the case of this embodiment, the file name of the edited audiobook consists of the original file name and the editing work date.
In this embodiment, once the edited audiobook has been saved, the edited audiobook that has just been saved is automatically played once. This reproduction is for confirmation of the saved contents. When the repeat playback button 338 (see FIG. 5) is operated, the edited audiobook is played back repeatedly.

<処理動作の例2>
以下では、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)に特有の処理動作について説明する。
以下では、置き換え可能な領域が設定されているオーディオブックの再生中に端末30の表示ユニット303(図2参照)に表示される画面に着目して説明する。
なお、処理動作の例1では、童話の一例として「赤ずきん」を使用したが、以下では、童話の一例として「おおきなかぶ」を使用する。
<Example 2 of processing operation>
Processing operations unique to the support information presentation module 327 (see FIG. 3) among the functional modules provided in the terminal 30 (see FIG. 1) will be described below.
The following description focuses on the screen displayed on the display unit 303 (see FIG. 2) of the terminal 30 during playback of an audiobook in which replaceable areas are set.
In addition, in Example 1 of the processing operation, "Little Red Riding Hood" is used as an example of a fairy tale, but "Big Turnip" is used as an example of a fairy tale below.

<再生の開始時の表示>
図12は、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
図12は、表示ユニット303に表示される画像の一部分を表している。図12に示す画面の表示は、ステップ5(図4参照)に対応する。
図12の場合、表示ユニット303の中央には、オーディオブックに対応する物語の内容が表示される表示部400が設けられている。表示部400には、タイトル401が表示されている。本実施の形態の場合、表示部400には、物語の内容が静止画や動画像の形式で表示される。もっとも、表示部400には、物語の内容が文字で表示されてもよい。
表示部400の下部には、物語の再生時間を示す時間軸410が配置されている。時間軸410には現在の再生位置を表すスライダ411が示されている。図12の場合、再生の開始直後であるのでスライダ411は、先頭位置に対応する左端に位置する。
<Display at the start of playback>
FIG. 12 is a diagram for explaining a display example of a screen immediately after starting playback of an audiobook containing replaceable regions.
FIG. 12 shows a portion of the image displayed on the display unit 303. FIG. The screen display shown in FIG. 12 corresponds to step 5 (see FIG. 4).
In the case of FIG. 12, a display section 400 is provided in the center of the display unit 303 to display the content of the story corresponding to the audiobook. A title 401 is displayed on the display unit 400 . In the case of the present embodiment, the content of the story is displayed on the display unit 400 in the form of still images or moving images. However, the content of the story may be displayed in characters on the display unit 400 .
A time axis 410 indicating the playback time of the story is arranged at the bottom of the display section 400 . A time axis 410 shows a slider 411 representing the current playback position. In the case of FIG. 12, the slider 411 is positioned at the left end corresponding to the head position because the playback is just started.

図12の場合、音声の置き換えが可能な領域は、マイクの絵で表現された吹き出し412で表されている。吹き出し412は、時間軸410に沿って10個配置されている。このマイクの絵の吹き出し412の表示は、支援情報提示モジュール327(図3参照)により実現される。
吹き出し412が表示されることで、ユーザは、置き換え可能な領域が10個あることを知ることができる。
本実施の形態の場合、吹き出し412の色や形状は、録音済みの領域か否かによって変化する。録音済みの領域か否かにより吹き出し412の色や形状が変化すると、ユーザは、どの領域の台詞が録音済みか録音済みでないかを即座に把握することができる。録音された領域の数が表示されるだけでは、録音済みの位置まで分からないが、吹き出し412の色や形状が変化すれば、録音済みの位置まで確認が可能になる。
In the case of FIG. 12, the area where the voice can be replaced is represented by a balloon 412 represented by a picture of a microphone. Ten balloons 412 are arranged along the time axis 410 . The display of the microphone picture balloon 412 is realized by the support information presentation module 327 (see FIG. 3).
By displaying balloon 412, the user can know that there are ten replaceable regions.
In the case of this embodiment, the color and shape of balloon 412 change depending on whether or not it is a recorded area. When the color and shape of the speech bubble 412 change depending on whether or not the area has been recorded, the user can immediately grasp which area's dialogue has been recorded or has not been recorded. If only the number of recorded areas is displayed, the recorded position cannot be known, but if the color and shape of the balloon 412 changes, the recorded position can be confirmed.

図12における吹き出し412の表示は、いずれも音声の置き換えが済んでいないことを表している。このことは、表示部400の左側に配置されるカウンタ420の表示によっても確認できる。カウンタ420は、マイクのマークとカウント値で構成される。カウント値は、置き換え可能な領域の総数を表す分母と、音声が録音された領域の数を表す分子で構成される。
図12の場合、分母の数値は「10」、分子の数値は「0」である。このカウンタ420の表示も、支援情報提示モジュール327により実現される。
The display of balloons 412 in FIG. 12 indicates that voice replacement has not been completed. This can also be confirmed by the display of counter 420 arranged on the left side of display unit 400 . The counter 420 is composed of a microphone mark and a count value. The count value consists of a denominator that represents the total number of replaceable regions and a numerator that represents the number of regions in which speech was recorded.
In the case of FIG. 12, the numerical value of the denominator is "10" and the numerical value of the numerator is "0". The display of this counter 420 is also realized by the support information presentation module 327 .

カウンタ420の表示により、ユーザは、置き換え可能な領域の数が10個あること、音声が録音された領域の数が0個であることを容易に知ることができる。
なお、分子の数値は、音声が録音された領域の数が増えるたびにカウントアップされる。音声が録音された領域の数の増加は、ユーザに達成感を与え、録音したいという意欲を高める効果も期待できる。
因みに、分子の数値は、領域を単位でカウントされる。従って、ある領域に対応する録音の個数が複数でも、分子の数値は「1」とカウントされる。
From the display of the counter 420, the user can easily know that there are 10 replaceable regions and that the number of voice-recorded regions is 0.
Note that the numerical value of the numerator is incremented each time the number of regions in which sound is recorded increases. An increase in the number of voice-recorded areas can be expected to give the user a sense of accomplishment and increase their desire to record.
Incidentally, the numerical value of the numerator is counted in units of area. Therefore, even if the number of recordings corresponding to a certain region is plural, the numerical value of the numerator is counted as "1".

また、ユーザは、スライダ411の位置と吹き出し412の位置との関係により、置き換え可能な領域の再生が近づいているか否かを容易に予測できる。置き換え可能な領域の再生が近いことを事前に知ることができることで、ユーザは慌てることなく録音を開始できる。
結果的に、置き換えが可能な領域に音声を録音するために再生位置を戻す等の作業の回数が低減され、置き換えに関する作業性の向上が実現される。
In addition, the user can easily predict whether or not the replaceable area is about to be reproduced, based on the relationship between the position of the slider 411 and the position of the balloon 412 . By being able to know in advance that the replaceable region is about to be played, the user can start recording without panicking.
As a result, it is possible to reduce the number of operations such as returning the playback position in order to record the voice in the replaceable area, and improve the workability of the replacement.

図13は、置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。図13には、図12との対応部分に対応する符号を付して示している。
図13に示す画面も、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の状態を表している。違いは、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が変更されている点とカウンタ420の表示が「8/10」に変更されている点である。
FIG. 13 is a diagram for explaining a display example of a screen when playback of an audiobook that has already been recorded in part of the replaceable area is selected. In FIG. 13, parts corresponding to those in FIG. 12 are shown with reference numerals.
The screen shown in FIG. 13 also represents the state immediately after the start of playback of an audiobook containing replaceable regions. The difference is that the display color of the areas other than the positions indicated by the fifth and seventh balloons 412 from the top is changed, and the display of the counter 420 is changed to "8/10".

以上の表示の確認により、ユーザは、先頭から1番目から4番目、6番目、8番目から10番目の領域に録音の記録があることを即座に理解することができる。
また、置き換える音声が録音されていない領域があることが分かると、該当する領域についてピンポイントで声を録音してみようかなという動機づけをユーザに与えることができる。
因みに、処理動作の例1で説明した表示では、置き換える音声が録音されている領域であるか否かをユーザが知ることができない。このため、ユーザは、オーディオブックを再生するたびに気になった領域に音を録音することになる。
By confirming the above display, the user can immediately understand that there are recording records in the 1st to 4th, 6th, and 8th to 10th areas from the top.
In addition, when it is found that there is an area in which no replacement voice is recorded, the user can be motivated to pinpoint voice recording in the corresponding area.
By the way, with the display described in the processing operation example 1, the user cannot know whether or not the replacement voice is recorded in the area. Therefore, the user records the sound in the region of interest each time the audiobook is played.

一方、図13の場合には、音声が録音されていない領域がピンポイントで分かるので、該当する吹き出し412を画面上でタップするだけで、該当する部分における音声の録音を開始することができる。
図14は、先頭から5番目の吹き出し412が人差し指でタップされる様子を説明する図である。図14には、図13との対応部分に対応する符号を付して示している。
ユーザによる吹き出し412のタップの後、表示部400には、先頭から5番目の吹き出し412に対応する場面の画像が表示され、オーディオブックの再生が再開される。このため、ユーザは、効率的に希望する音声を録音することができる。
本実施の形態の場合、吹き出し412がタップされた場合におけるジャンプ先は、タップされた吹き出し412に対応する位置の少し前の位置になる。この場合、タップされた吹き出し412の位置からいきなり再生が開始されないので、録音ボタンを操作するための時間的な余裕が生じる。もっとも、タップされた吹き出し412に対応する位置にジャンプしてもよい。
なお、スライダの移動によっても再生位置をジャンプさせることは可能であるが、吹き出し412が表示されていない場合には、希望の位置の探索の手間が大きくなる。
On the other hand, in the case of FIG. 13, since the area where the sound is not recorded can be pinpointed, just by tapping the corresponding balloon 412 on the screen, the recording of the sound in the corresponding part can be started.
FIG. 14 is a diagram illustrating how the fifth balloon 412 from the top is tapped with the index finger. In FIG. 14, the parts corresponding to those in FIG. 13 are indicated by the reference numerals.
After the user taps the balloon 412, the image of the scene corresponding to the fifth balloon 412 from the top is displayed on the display unit 400, and the reproduction of the audiobook is resumed. Therefore, the user can efficiently record the desired voice.
In the case of this embodiment, the jump destination when balloon 412 is tapped is a position slightly before the position corresponding to tapped balloon 412 . In this case, since playback does not start suddenly from the tapped balloon 412, there is ample time to operate the record button. However, you may jump to the position corresponding to the balloon 412 tapped.
Although it is possible to jump the playback position by moving the slider, if the speech balloon 412 is not displayed, the search for the desired position becomes troublesome.

吹き出し412に対応する位置へのジャンプは、ダブルタップを条件としてもよい。この場合、シングルタップを、吹き出し412に対応する台詞の全部又は一部の表示に用いてもよい。
台詞の全部又は一部の表示により、録音したい台詞か否かを事前に確認することが可能になる。台詞を事前に確認することができれば、録音を希望する台詞を探す目的で、再生位置のジャンプを繰り返す必要がなくなり、音声の置き換えの作業の効率的に進めることができる。
なお、再生位置のジャンプのためにタップされる吹き出し412は、音声が録音されていない領域に限らない。すなわち、既に音声が録音されている領域に対応する吹き出し412のタップも可能である。既に音声が録音されている領域でも、別の音声の録音を希望する場合もあるためである。
Jumping to the position corresponding to balloon 412 may be conditional on a double tap. In this case, a single tap may be used to display all or part of the dialogue corresponding to balloon 412 .
By displaying all or part of the dialogue, it is possible to confirm in advance whether it is the dialogue to be recorded. If the dialogue can be confirmed in advance, there is no need to repeatedly jump to the playback position for the purpose of searching for the dialogue desired to be recorded, and the voice replacement work can proceed efficiently.
Note that the balloon 412 that is tapped to jump the playback position is not limited to an area where no sound is recorded. That is, it is also possible to tap the balloon 412 corresponding to the area where the voice has already been recorded. This is because there are cases where another voice is desired to be recorded even in an area where voice has already been recorded.

<置き換え可能領域の再生中の表示>
図15は、置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。図15に示す画面の表示は、ステップ7(図4参照)に対応する。
図15の場合、画面全体の色調が変化して、置き換え可能な領域であることを示している。なお、処理動作の例1では、該当する台詞340(図7参照)の背景や表記が変更されていた。図15の場合は、画面全体の色調を変更することで、置き換えが可能な領域であることにユーザを気づかせ易くしている。もっとも、処理動作の例1と同様に、該当する台詞340(図7参照)の部分の表示だけを変更することも可能である。
<Display during playback of replaceable area>
FIG. 15 is a diagram for explaining a display example of a screen immediately after starting reproduction of a replaceable area. The screen display shown in FIG. 15 corresponds to step 7 (see FIG. 4).
In the case of FIG. 15, the color tone of the entire screen changes, indicating that it is a replaceable area. In addition, in Example 1 of the processing operation, the background and notation of the corresponding dialogue 340 (see FIG. 7) were changed. In the case of FIG. 15, changing the color tone of the entire screen makes it easier for the user to notice that the area can be replaced. However, it is also possible to change only the display of the corresponding speech 340 (see FIG. 7), as in the processing operation example 1. FIG.

図15に示す画面には、録音ボタン402と、操作を促すメッセージ403、台詞430が表示されている。また、表示部400の右側には、上段側から下方に、画面を閉じるためのボタン441、ヘルプボタン442、スキップボタン443が配置されている。
図15の場合、メッセージ403には「ボタンをおしてね」と表記され、録音ボタン402の操作がユーザに求められている。録音ボタン402が操作されると録音が開始される。
台詞430では、2行目の「おおきくなあれ あまくなあれ」の表記の色が上下の行と異なっており、2行目の台詞が録音の対象であることが示されている。なお、1行目は再生中であるのでハイライト表示され、これから再生が開始される2行目と3行目の輝度は1行目より低く表示されている。
On the screen shown in FIG. 15, a recording button 402, a message 403 prompting an operation, and lines 430 are displayed. Further, on the right side of the display unit 400, a button 441 for closing the screen, a help button 442, and a skip button 443 are arranged downward from the top.
In the case of FIG. 15, the message 403 is written as “press the button”, and the user is requested to operate the record button 402 . Recording is started when the record button 402 is operated.
In the line 430, the color of the notation of 'big, sweet,' in the second line is different from that in the upper and lower lines, indicating that the line in the second line is to be recorded. Since the first line is being reproduced, it is highlighted, and the luminance of the second and third lines where reproduction will start from now on is displayed lower than that of the first line.

本実施の形態の場合、図15に示す画面は、置き換えが可能な領域のたびに表示されるが、対応する台詞の置き換えをユーザが希望しない場合がある。
この場合でも、録音ボタン402を操作しなければ録音は開始されないが、表示部400に表示されていた静止画や動画像が録音ボタン402やメッセージ403で隠れるのをユーザが好ましく思わない場合も考えられる。
そのような場合に用いるのがスキップボタン443である。
図16は、置き換えが可能な領域の再生中にスキップボタン443が操作される様子を説明する図である。図16には、図15との対応部分に対応する符号を付して示している。図16には、ユーザが指でスキップボタン443をタップする様子が描かれている。
スキップボタン443の操作が検出された場合、ステップ8(図4参照)で否定結果が得られる。なお、スキップボタン443が操作された場合には、該当する領域の再生が終了するまでの間、ステップ6の処理において否定結果が出力される。
図17は、スキップボタン443の操作後の画面の表示例を説明する図である。図17の場合、表示の画面は、本来の画像の表示に戻っている。このため、ユーザは、画像を楽しむことができる。勿論、元音声の再生が継続される。
In the case of this embodiment, the screen shown in FIG. 15 is displayed for each replaceable region, but the user may not wish to replace the corresponding line.
Even in this case, recording does not start unless the recording button 402 is operated, but it is possible that the user does not like the fact that the still image or moving image displayed on the display unit 400 is hidden by the recording button 402 or the message 403 . be done.
A skip button 443 is used in such a case.
FIG. 16 is a diagram for explaining how the skip button 443 is operated during playback of a replaceable area. In FIG. 16, the parts corresponding to those in FIG. 15 are indicated by the reference numerals. FIG. 16 illustrates how the user taps the skip button 443 with his finger.
If the operation of skip button 443 is detected, a negative result is obtained in step 8 (see FIG. 4). When the skip button 443 is operated, a negative result is output in the process of step 6 until the reproduction of the corresponding area is completed.
FIG. 17 is a diagram for explaining a display example of the screen after the skip button 443 is operated. In the case of FIG. 17, the display screen returns to the display of the original image. Therefore, the user can enjoy the images. Of course, the reproduction of the original voice is continued.

ところで、音声の録音を中止したい場合は、録音を開始する前に限らない。例えば録音ボタン402(図15参照)を操作して録音を開始したが、子供が嫌がったため、録音を中止する場合も考えられる。以下では、この状況を図18~図20を用いて説明する。
図18は、置き換えが可能な領域の再生中に録音ボタン402が操作される様子を説明する図である。図18には、図15との対応部分に対応する符号を付して示している。図18には、ユーザが指で録音ボタン402をタップする様子が描かれている。
By the way, if you want to stop recording the voice, it is not always before you start recording. For example, it is conceivable that recording is started by operating the recording button 402 (see FIG. 15), but the recording is stopped because the child dislikes it. This situation will be described below with reference to FIGS. 18 to 20. FIG.
FIG. 18 is a diagram for explaining how the record button 402 is operated during playback of a replaceable area. In FIG. 18, the parts corresponding to those in FIG. 15 are indicated by the reference numerals. FIG. 18 depicts the user tapping the record button 402 with his or her finger.

図19は、録音ボタン402の操作後に表示される画面の表示例を説明する図である。図19には、図18との対応部分に対応する符号を付して示している。なお、図19に示す画面の表示は、ステップ9(図4参照)に対応する。
録音ボタン402が操作されたことにより、表示部400にはマイク型のアイコン404と録音中を示すメッセージ403Aが表示される。メッセージ403Aには「ろくおんちゅう・・・」と表記される。また、台詞430の2行目の表記は、台詞の発声のタイミングに応じて表記が変更される。図19の例では「おおきくな」までの表記が変更され、発声すべき部分が示されている。
FIG. 19 is a diagram for explaining a display example of a screen displayed after the recording button 402 is operated. In FIG. 19, parts corresponding to those in FIG. 18 are shown with reference numerals corresponding thereto. The screen display shown in FIG. 19 corresponds to step 9 (see FIG. 4).
By operating the record button 402, the display unit 400 displays a microphone-shaped icon 404 and a message 403A indicating that recording is in progress. The message 403A is written as "Rokuonchu...". Also, the notation of the second line of the dialogue 430 is changed according to the timing of utterance of the dialogue. In the example of FIG. 19, the notation up to "large" is changed to indicate the part to be uttered.

本来であれば、この状況でユーザの音声が録音されることになるが、前述したように子供が発声を嫌がる場合がある。
子供が発声を嫌がる場合に、ユーザが録音の停止ボタンを操作すると、録音ボタン402がタップされた以降の音が端末30に保存される。しかし、保存された音は、不完全な録音の結果、又は、使用の意図がない音である。このため、ユーザは、オーディオブックの再生が終了した後に改めて該当する音を探し出して削除する必要がある。
しかし、そのような作業は手間であり、ユーザの負担となる。
Normally, the voice of the user would be recorded in this situation, but as described above, children may dislike vocalization.
When the child dislikes vocalization and the user operates the recording stop button, the sound after tapping the recording button 402 is saved in the terminal 30 . However, the stored sounds are the result of incomplete recordings or sounds that were never intended to be used. For this reason, the user needs to search for and delete the corresponding sound again after the audiobook has been played.
However, such work is troublesome and burdens the user.

図20は、録音中にスキップボタン443が操作される様子を説明する図である。図20には、図19との対応部分に対応する符号を付して示している。図20には、ユーザが指でスキップボタン443をタップする様子が描かれている。
なお、図20に示す画面は、ステップ9(図4参照)の強制的な終了に対応する。
スキップボタン443が操作されると、録音が中止され、図17に示す画面に表示が切り替わる。この後、元音声の再生が再開される。なお、スキップボタン443が操作された場合の元音声の再開は、台詞の全体でもよいし、スキップボタン443がタップされた時点で再生が終わっていない台詞でもよい。
本実施の形態の場合、スキップボタン443が操作されると、録音ボタン402が操作された以降に録音された音声も自動的に消去される。このため、オーディオブックの再生の終了後に、改めて置き換えに使用しない音声を削除する手間を省くことができる。この意味で、音声の置き換えの作業の効率化が実現される。
以上説明したように、スキップボタン443は、機能の実行をキャンセル又は無効化するボタンとして機能する。
FIG. 20 is a diagram for explaining how the skip button 443 is operated during recording. In FIG. 20, parts corresponding to those in FIG. 19 are shown with reference numerals corresponding thereto. FIG. 20 illustrates how the user taps the skip button 443 with his finger.
The screen shown in FIG. 20 corresponds to forced termination of step 9 (see FIG. 4).
When the skip button 443 is operated, the recording is stopped and the display is switched to the screen shown in FIG. After that, the reproduction of the original voice is resumed. It should be noted that when the skip button 443 is operated, the original voice may be resumed with the entire dialogue, or with the dialogue that has not been reproduced when the skip button 443 is tapped.
In the case of this embodiment, when the skip button 443 is operated, the sound recorded after the record button 402 is operated is also automatically erased. Therefore, it is possible to save the trouble of deleting the voices that are not used for replacement after the audiobook has been played back. In this sense, it is possible to improve the efficiency of voice replacement work.
As described above, the skip button 443 functions as a button for canceling or invalidating execution of the function.

なお、本実施の形態の場合、一度でもスキップボタン443が操作されると、その操作以降は、置き換えが可能な領域の再生が開始されても、図15に示したような録音をユーザに促す表示は行われない。
子供が嫌がったために録音をスキップする場合には、次回以降の録音可能領域でも録音ができない可能性が高く、むしろその都度、録音を促す画面が表示されると、録音をスキップする作業が煩雑になるためである。
なお、録音を促す表示が行われない場合でも、録音したい台詞の吹き出し412をユーザがタップした場合には、再び、録音を促す画面が表示される。
また、スキップボタン443の操作の影響が及ぶ領域は、スキップの操作が検出された領域に限定することも可能である。スキップの操作の影響が及ぶ影響の切り替えは、アプリケーションプログラムの設定にて切り替えられることが望ましい。
In the case of the present embodiment, once the skip button 443 is operated, the user is prompted to record as shown in FIG. No display is performed.
If you skip recording because your child doesn't like it, there is a high possibility that you won't be able to record even in the recordable area from the next time onwards. It is for the sake of becoming.
Note that even when the display prompting recording is not displayed, when the user taps the speech balloon 412 of the dialogue to be recorded, the screen prompting recording is displayed again.
Also, the area affected by the operation of the skip button 443 can be limited to the area where the skip operation is detected. It is desirable that the switching of the influence of the skipping operation be switched by setting the application program.

因みに、録音ボタン402が操作されてから予め定めた時間が経過すると、表示部400の表示は、録音を停止するための画面に切り替わる。
図21は、録音ボタン402が操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。図21には、図19との対応部分に対応する符号を付して示している。
図21に示す画面には停止ボタン406とユーザに求める操作を表すメッセージ407が表示される。メッセージ407には「ろくおんがおわったらボタンをおしてね」と、録音を終了する操作が示される。
By the way, when a predetermined time elapses after the recording button 402 is operated, the display of the display unit 400 switches to a screen for stopping recording.
FIG. 21 is a diagram for explaining a display example of the screen after a predetermined time has passed since the recording button 402 was operated. In FIG. 21, the parts corresponding to those in FIG. 19 are indicated by the reference numerals.
The screen shown in FIG. 21 displays a stop button 406 and a message 407 representing an operation requested from the user. A message 407 indicates an operation to end the recording, saying "Press the button when the recording is over."

なお、録音の対象である台詞の再生が終わるタイミングで自動的に録音が終了される仕組みを採用することも可能である。しかし、その仕組みを採用する場合には、ユーザの発声が終わっていても録音の状態が継続し、意図せぬ音まで置き換え用の音声として録音される可能性がある。その場合、ユーザは、録音のやり直しや録音された音を削除する作業を行う必要がある。
一方、本実施の形態の場合には、停止ボタン406の操作により、録音が終了されるので、意図せぬ音が録音される可能性を低減できる。
It is also possible to employ a mechanism in which recording is automatically terminated at the timing at which the speech to be recorded finishes being reproduced. However, if such a mechanism is adopted, the recording state continues even after the user has finished speaking, and even unintended sounds may be recorded as replacement voices. In that case, the user needs to re-record or delete the recorded sound.
On the other hand, in the case of the present embodiment, operation of stop button 406 terminates recording, so the possibility of unintended sound being recorded can be reduced.

本実施の形態の場合、録音された音声は、その録音時間によらず、対応する台詞の元音声の全体と置き換えられるように再生される。すなわち、ユーザが停止ボタン406を操作するまでの録音時間が、置き換え可能な台詞の元音声の再生時間よりも短い場合でも、元音声の一部が再生されることはない。このため、録音のやり直しの必要がなく、置き換えに関する作業性の向上が実現される。 In the case of the present embodiment, the recorded voice is reproduced so as to replace the entire original voice of the corresponding line regardless of the recording time. That is, even if the recording time until the user operates the stop button 406 is shorter than the playback time of the original voice of the replaceable dialogue, part of the original voice is not played back. Therefore, there is no need to re-record, and the workability of replacement is improved.

図22は、停止ボタン406(図21参照)の操作後に表示される画面の表示例を説明する図である。図22には、図12との対応部分に対応する符号を付して示している。
本実施の形態の場合、置き換えが可能な領域における録音が終了する毎に画面450が表示される。画面450には、「やったね!」、「ろくおんできたよ!」、「さあ、つぎのろくおんにチャレンジしてみよう!」等のメッセージが表示される。画面450は、子供のヤル気を高める目的で表示される。「はい」の表記を有するボタン451が操作されると、画面450は閉じられ、元音声の再生が再開される。
なお、画面450の左側に位置するカウンタ420のカウント値は1つカウントアップされている。例えば図21のカウンタ420の分子の表記は「0」であったが、図22のカウンタ420の分子の表記は「1」に変更されている。
処理動作の例1の場合には、録音が成功しても、置き換えが可能な領域のうちの幾つ目の録音に成功したかが不明であるが、本例の場合には、録音が成功した領域の数を具体的な数値で確認できる。換言すると、録音されていない領域の数を知ることもできる。これにより、ヤル気を高めることができる。
FIG. 22 is a diagram illustrating a display example of a screen displayed after the stop button 406 (see FIG. 21) is operated. In FIG. 22, parts corresponding to those in FIG. 12 are shown with reference numerals.
In the case of this embodiment, the screen 450 is displayed each time the recording in the replaceable area is completed. On the screen 450, messages such as "You've done it!", "You've made it to the Rokuon!", "Let's try the next Rokuon challenge!" are displayed. The screen 450 is displayed for the purpose of increasing the child's motivation. When the button 451 labeled "Yes" is operated, the screen 450 is closed and the reproduction of the original voice is resumed.
Note that the count value of the counter 420 located on the left side of the screen 450 is incremented by one. For example, the notation of the numerator of the counter 420 in FIG. 21 was "0", but the notation of the numerator of the counter 420 in FIG. 22 is changed to "1".
In the case of processing operation example 1, even if the recording is successful, it is unknown how many of the replaceable regions have been successfully recorded. The number of areas can be confirmed with a specific numerical value. In other words, it is also possible to know the number of unrecorded areas. This makes it possible to increase the motivation.

<再生の終了時の表示>
最後に、オーディオブックの再生の終了時の表示例を説明する。
図23は、オーディオブックの再生が終了した時点でユーザが録音を行った領域が1つでも存在する場合に自動的に表示される画面の例を説明する図である。図23には、図12との対応部分に対応する符号を付して示している。
図23の画面は、作成されたオーディオブックの保存が自動的に実行される場合を前提とする。例えばユーザが子供の場合、オーディオブックの再生が終わるたびに保存するか否かの確認を求める画面を表示しても操作に困る場合もある。
そこで、図23では、保存自体は端末30が自動的に実行し、保存の事実を画面460で通知する。
<Display at the end of playback>
Finally, an example of display at the end of audiobook playback will be described.
FIG. 23 is a diagram for explaining an example of a screen that is automatically displayed when there is at least one area recorded by the user when the reproduction of the audiobook is finished. In FIG. 23, parts corresponding to those in FIG. 12 are shown with reference numerals.
The screen in FIG. 23 assumes that the created audiobook is automatically saved. For example, if the user is a child, it may be difficult to operate even if a screen prompting confirmation of whether or not to save the audiobook is displayed each time playback of the audiobook is completed.
Therefore, in FIG. 23, the terminal 30 automatically executes the saving itself, and notifies the fact of saving on the screen 460 .

図23の場合、オリジナルのオーディオブックが作成されて保存されたことをユーザに伝える画面460が表示されている。画面460には、「おめでとう!!」、「つくったほんをほんだなについかしたよ!」等のメッセージが表示される。なお、「ほんだなへ」の表記を有するボタン461が操作されると、画面460は閉じられ、オーディオブックが保存されている本棚と呼ばれる保存領域を管理する画面に切り替わる。
本実施の形態の場合、オリジナルのオーディオブックの作成には、既に存在するオーディオブックの一部に変更を加えた場合も含まれる。
図23の場合、カウンタ420の分子は「8」である。このため、ユーザは、作成されたオーディオブックでは、置き換えが可能な10個の領域のうちの8個について音声が録音されていることを確認することもできる。
In the case of FIG. 23, a screen 460 is displayed that informs the user that an original audiobook has been created and saved. The screen 460 displays messages such as "Congratulations!!", "You have used the book you made!" Note that when a button 461 having the notation "To Honda" is operated, the screen 460 is closed and switched to a screen for managing a storage area called a bookshelf in which audiobooks are stored.
In the case of this embodiment, creation of an original audiobook includes the case where part of an existing audiobook is modified.
In the case of FIG. 23, the numerator of counter 420 is "8". Thus, the user can also see that the audiobook created has audio recordings for 8 of the 10 regions that can be replaced.

図24は、作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。図24には、図23との対応部分に対応する符号を付して示している。
なお、図24に示す画面470は、「ほんだなへ」の表記を有するボタン461(図23参照)が操作された場合に表示されてもよい。
作成されたオーディオブックの自動保存は便利な機能であるが、異なるユーザのオーディオブックが1つの保存先に混在する場合など、ユーザが希望するオーディオブックをなかなか見つけられないことも考えられる。
そこで、図24では、保存先をユーザが指定するための画面470を用意している。
FIG. 24 is a diagram illustrating an example of a screen used when the user designates an area for storing the created original audiobook. In FIG. 24, the parts corresponding to those in FIG. 23 are indicated by the reference numerals.
Note that the screen 470 shown in FIG. 24 may be displayed when the button 461 (see FIG. 23) having the notation "To Honda" is operated.
Although the automatic saving of created audiobooks is a convenient function, it may be difficult for users to find the audiobooks they want, such as when audiobooks of different users are mixed in one save destination.
Therefore, in FIG. 24, a screen 470 is prepared for the user to specify the save destination.

図24に示す画面470には、ユーザに求める操作を示す「ほんだなをえらんでね」とのメッセージと、保存先の候補である「ほんだな」、「たろう」、「はなこ」の名称が付けられたフォルダが配置されている。また、画面470には、「へんこう」の表記を有するボタン471、「ついか」の表記を有するボタン472も配置されている。
本実施の形態の場合、「ほんだな」フォルダは、ユーザが購入したオーディオブックの保存用であり、「たろう」フォルダは、太郎君の音声で置き換えられたオーディオブックの保存用であり、「はなこ」フォルダは、花子さんの音声で置き換えられたオーディオブックの保存用である。
図24の場合、「たろう」フォルダが保存先として選択されている。保存先を変更したい場合には、ボタン471を操作すると、選択されているフォルダが順番に変更される。なお、ボタン472が操作されると、作成されたオーディオブックが選択されているフォルダに保存される。
A screen 470 shown in FIG. 24 has a message "Please select Hondana" indicating an operation to be requested of the user, and the names "Hondana", "Taro", and "Hanako" which are candidates for the save destination. folder is placed. In addition, on the screen 470, a button 471 having the notation of "Change" and a button 472 having the notation of "Next" are also arranged.
In the case of this embodiment, the "Hondana" folder is for storing audiobooks purchased by the user, the "Taro" folder is for storing audiobooks replaced with Mr. Taro's voice, and the "Hanako ' folder is for storing audiobooks replaced with Hanako's voice.
In the case of FIG. 24, the "Taro" folder is selected as the save destination. When the button 471 is operated to change the storage destination, the selected folders are changed in order. Note that when the button 472 is operated, the created audiobook is saved in the selected folder.

図25は、作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。
図25には、図13との対応部分に対応する符号を付して示している。
図25に示す画面は、オーディオブックの再生が終了した時点であるので、スライダ411は時間軸410の右端まで達している。
また、音声が録音された領域が存在するため、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が録音の存在を示す色に変更され、同時にカウンタ420の表示が「8/10」に変更されている。
この表示により、ユーザは、今回作成されたオーディオブックにおける録音の結果を視覚的に確認できる。
FIG. 25 is a diagram showing a display example of a screen displayed after saving of the created audiobook is completed.
In FIG. 25, parts corresponding to those in FIG. 13 are shown with reference numerals.
Since the screen shown in FIG. 25 is at the time when the audiobook has finished playing, the slider 411 has reached the right end of the time axis 410 .
In addition, since there is an area in which voice is recorded, the display color of the area other than the positions indicated by the fifth and seventh speech balloons 412 from the top is changed to a color indicating the presence of recording, and at the same time the counter 420 is displayed. is changed to "8/10".
This display allows the user to visually confirm the result of recording in the audiobook created this time.

<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
<Other embodiments>
Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above-described embodiments. It is clear from the scope of claims that the technical scope of the present invention includes various modifications and improvements to the above-described embodiment.

例えば前述の実施の形態においては、端末30(図1参照)を音声情報置き換えシステムの一例として説明したが、オーディオファイル管理サーバ20(図1参照)を音声情報置き換えシステムの一例として機能させることも可能である。この場合、端末30と音収集装置40は単なる入出力装置として機能する。なお、前述したモジュールの一部をオーディオファイル管理サーバ20で実行し、残りを端末30で実行することも可能である。この場合には、オーディオファイル管理サーバ20と端末30とが音声情報置き換えシステムの一例となる。 For example, in the above-described embodiment, the terminal 30 (see FIG. 1) was explained as an example of the voice information replacement system, but the audio file management server 20 (see FIG. 1) may function as an example of the voice information replacement system. It is possible. In this case, the terminal 30 and the sound collection device 40 simply function as input/output devices. It is also possible for the audio file management server 20 to execute some of the modules described above and the rest to be executed by the terminal 30 . In this case, the audio file management server 20 and the terminal 30 are an example of a voice information replacement system.

前述の実施の形態においては、編集済みオーディオブックは記憶ユニット302(図2参照)に記録されているが、オーディオファイル管理サーバ20(図1参照)、その他のインターネット10(図1参照)上の不図示のサーバに保存してもよい。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。
In the above-described embodiment, the edited audiobook is recorded in the storage unit 302 (see FIG. 2), but the audio file management server 20 (see FIG. 1) or other Internet 10 (see FIG. 1) It may be saved in a server (not shown).
In the above-described embodiment, the case where the replaceable region portion is a line is exemplified, but the replaceable region is not limited to the line portion.

前述の実施の形態においては、音声情報ファイルの一例として音物語を例示しているが、前述した技術は、元音声の置き換えが可能な領域が事前に設定されている学習用の教材の再生にも応用が可能である。ここでの学習用の教材には、言語学習用の教材がある。なお、前述した音物語も、言語学習用の教材の一種である。
言語学習用の教材を使用する学習者の年齢に対する制約はないが、例えば幼児から小学生程度の言語学習に用いることで、楽しく学ぶという習慣の習得への効果が期待される。
なお、語学学習用の教材は、英語その他の外国語の学習用に限らず、日本語の学習用でもよい。学習の目的は様々であるが、例えばひらがな、単語、ことわざ、歌、早口言葉、名言等の学習がある。
また、教材の形式は、物語の形式に限らず、お手本となる音声が再生される箇所とお手本を真似る発音の箇所とで構成される形式、質問と質問に対する答えを発音する形式等も含まれる。
In the above-described embodiment, an audio story is exemplified as an example of the audio information file. can also be applied. Materials for learning here include materials for language learning. The above-mentioned sound story is also a kind of teaching materials for language learning.
Although there is no restriction on the age of learners who use language learning materials, for example, by using language learning from infants to elementary school students, it is expected to be effective in acquiring the habit of learning in a fun way.
The teaching materials for language learning are not limited to those for learning English and other foreign languages, but may be for learning Japanese. There are various learning purposes, for example, learning hiragana, words, proverbs, songs, tongue twisters, and quotes.
In addition, the format of teaching materials is not limited to the story format, but also includes a format that consists of a part where a model voice is played and a part of pronunciation that imitates the model, and a format in which the question and the answer to the question are pronounced. .

・付記1
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備えたことを特徴とする音声情報置き換えシステム。
Appendix 1
Acquisition means for acquiring an editable voice information file by participating in replacement by the user; playback means for playing back the original voice contained in the voice information file; and presentation means for presenting information for supporting progress.

・付記2
置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、付記1に記載の音声情報置き換えシステム。
Appendix 2
1. The audio information replacement system according to appendix 1, wherein when an operation of a first button instructing skipping of replacement is detected during reproduction of the replaceable region, the display prompting replacement is erased from the screen.

・付記3
置き換えが可能な前記領域の再生中に、音の録音を指示する第2のボタンの操作が検知されている場合でも、前記第1のボタンの操作が検知されたときには、録音処理を終了して当該第2のボタンの操作後に録音された音を消去する、付記2に記載の音声情報置き換えシステム。
Appendix 3
Even if the operation of the second button instructing sound recording is detected during the reproduction of the replaceable region, the recording process is terminated when the operation of the first button is detected. 3. The audio information replacement system of Claim 2, wherein the recorded sound is erased after the actuation of the second button.

・付記4
前記第1のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、付記2又は3に記載の音声情報置き換えシステム。
・Appendix 4
3. The audio information replacement system according to appendix 2 or 3, wherein after the operation of the first button is detected, the display prompting replacement is not output on the screen even if playback of another replaceable region starts. .

・付記5
音声の録音中に録音の終了を指示する第3のボタンの操作が検知された場合には、当該第3のボタンの操作が検知されるまでに録音された音により、置き換えが可能な前記領域に対応する元音声の全体を置き換える、付記1に記載の音声情報置き換えシステム。
・Appendix 5
When the operation of the third button instructing the end of recording is detected during voice recording, the area that can be replaced by the sound recorded until the operation of the third button is detected. 1. The speech information replacement system of claim 1, which replaces the entire original speech corresponding to .

・付記6
置き換えが可能な前記領域に対する音の置き換えが完了するたびに、再生中の前記音声情報ファイルについて置き換えが完了した領域の総数を表示する、付記1に記載の音声情報置き換えシステム。
・Appendix 6
The audio information replacement system according to appendix 1, wherein the total number of areas for which replacement has been completed for the audio information file being played is displayed each time sound replacement for the replaceable area is completed.

・付記7
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のいずれかに新たな置き換えの履歴がある場合、新たなファイルとして保存したことを画面上に表示する、付記1に記載の音声情報置き換えシステム。
・Appendix 7
When the reproduction of the voice in the voice information file is completed, if there is a new replacement history in any of the replaceable areas, the fact that it has been saved as a new file is displayed on the screen. A spoken information replacement system as described.

・付記8
前記音声情報ファイルの再生時間を表す時間軸上に、置き換えが可能な前記領域の位置と当該領域に対する音の置き換えの有無とが示される、付記1に記載の音声情報置き換えシステム。
・Appendix 8
2. The audio information replacement system according to appendix 1, wherein the position of the replaceable area and the presence or absence of sound replacement for the area are indicated on the time axis representing the playback time of the audio information file.

・付記9
置き換えが可能な前記領域を示す表示の1つが選択された場合、該当する位置から前記音声情報ファイルの再生が開始される、付記8に記載の音声情報置き換えシステム。
・Appendix 9
9. The audio information replacement system according to appendix 8, wherein when one of the indications showing the replaceable areas is selected, the playback of the audio information file is started from the corresponding position.

・付記10
前記音声情報ファイルにおける音声の再生が終了した段階で、置き換えが可能な前記領域のうちのいずれかに新たな置き換えの履歴がある場合、当該音声情報ファイルの保存先の選択を受け付ける画面を表示する、付記1に記載の音声情報置き換えシステム。
Appendix 10
If there is a history of new replacement in any of the replaceable areas at the stage when the reproduction of the voice in the voice information file is finished, a screen for accepting selection of the storage destination of the voice information file is displayed. , Supplementary Note 1. The speech information replacement system of claim 1.

・付記11
コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラム。
・Appendix 11
A computer has a function of acquiring an audio information file that can be edited by a user participating in the replacement, a function of reproducing the original audio contained in the audio information file, and replacing the audio in the replaceable area of the original audio. A program for realizing the function of presenting information to support the progress of

1…ネットワークシステム、10…インターネット、20…オーディオファイル管理サーバ、30…端末、321……オーディオブック取得モジュール、322…オーディオブック再生モジュール、323…置き換え可能領域等提示モジュール、324…置き換え指示受付モジュール、325…音素材挿入受付モジュール、326…編集済みオーディオブック保存モジュール、327…支援情報提示モジュール Reference Signs List 1 network system 10 Internet 20 audio file management server 30 terminal 321 audiobook acquisition module 322 audiobook playback module 323 replaceable area presentation module 324 replacement instruction reception module , 325... Sound material insertion reception module, 326... Edited audiobook storage module, 327... Support information presentation module

Claims (4)

ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、
前記音声情報ファイルに含まれる元音声を再生する再生手段と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、
を備え、
前記音声情報ファイルの再生時間を表す時間軸上で、置き換えが可能な前記領域を示す表示の1つが選択された場合、該当する位置から前記音声情報ファイルの再生が開始される、音声情報置き換えシステム。
Acquisition means for a user participating in replacement to acquire an editable audio information file;
a reproducing means for reproducing the original audio contained in the audio information file;
a presenting means for presenting information for supporting the progress of the replacement of the voice in the replaceable region of the original voice;
with
An audio information replacement system, wherein when one of the displays showing the replaceable areas is selected on the time axis representing the playback time of the audio information file, playback of the audio information file is started from the corresponding position. .
前記音声情報ファイルは、選択された位置より所定時間前の位置から再生される、請求項1に記載の音声情報置き換えシステム。 2. The audio information replacement system according to claim 1, wherein said audio information file is reproduced from a position a predetermined time before the selected position. 前記領域が第1操作により選択された場合、該当する領域の台詞を表示し、
前記領域が第2操作により選択された場合、該当する位置から前記音声情報ファイルの再生を再開する、
請求項1又は2に記載の音声情報置き換えシステム。
when the region is selected by the first operation, displaying the lines of the corresponding region;
when the area is selected by a second operation, restarting the reproduction of the audio information file from the corresponding position;
3. A speech information replacement system according to claim 1 or 2.
コンピュータに、
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
前記音声情報ファイルに含まれる元音声を再生する機能と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、
を実現させるためのプログラムであり、
前記音声情報ファイルの再生時間を表す時間軸上で、置き換えが可能な前記領域を示す表示の1つが選択された場合、該当する位置から前記音声情報ファイルの再生を開始させる、プログラム。
to the computer,
a function for the user to participate in replacement and obtain an editable audio information file;
a function of reproducing the original voice contained in the voice information file;
A function of presenting information to support the progress of voice replacement for regions where replacement is possible in the original voice;
It is a program to realize
A program for starting the reproduction of the audio information file from the corresponding position when one of the displays showing the replaceable areas is selected on the time axis representing the reproduction time of the audio information file.
JP2023080621A 2019-10-04 2023-05-16 Voice information replacement system and program Pending JP2023096017A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023080621A JP2023096017A (en) 2019-10-04 2023-05-16 Voice information replacement system and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019183814A JP7341024B2 (en) 2019-10-04 2019-10-04 Audio information replacement system and program
JP2023080621A JP2023096017A (en) 2019-10-04 2023-05-16 Voice information replacement system and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019183814A Division JP7341024B2 (en) 2019-10-04 2019-10-04 Audio information replacement system and program

Publications (1)

Publication Number Publication Date
JP2023096017A true JP2023096017A (en) 2023-07-06

Family

ID=75381788

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019183814A Active JP7341024B2 (en) 2019-10-04 2019-10-04 Audio information replacement system and program
JP2023080619A Pending JP2023096015A (en) 2019-10-04 2023-05-16 Voice information replacement system and program
JP2023080621A Pending JP2023096017A (en) 2019-10-04 2023-05-16 Voice information replacement system and program
JP2023080620A Active JP7470844B2 (en) 2019-10-04 2023-05-16 Audio information replacement system and program

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019183814A Active JP7341024B2 (en) 2019-10-04 2019-10-04 Audio information replacement system and program
JP2023080619A Pending JP2023096015A (en) 2019-10-04 2023-05-16 Voice information replacement system and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023080620A Active JP7470844B2 (en) 2019-10-04 2023-05-16 Audio information replacement system and program

Country Status (1)

Country Link
JP (4) JP7341024B2 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297187B2 (en) * 1997-09-02 2009-07-15 ソニー株式会社 After-recording method and apparatus for recording medium, and reproducing method and apparatus for digital recording medium
JP2002239220A (en) 2001-02-16 2002-08-27 Namco Ltd Game information, game system and information recording medium
JP4136329B2 (en) * 2001-05-29 2008-08-20 株式会社バンダイナムコゲームス Program, information storage medium, and game device
JP2006084965A (en) * 2004-09-17 2006-03-30 Advanced Telecommunication Research Institute International Voice data collecting device and program
JP2005198350A (en) * 2005-03-16 2005-07-21 Victor Co Of Japan Ltd After-recording signal reproducing method
JP2009087135A (en) * 2007-10-01 2009-04-23 Brother Ind Ltd Information processor, composite machine, and voice data editing program
JP5137031B2 (en) 2007-10-26 2013-02-06 株式会社国際電気通信基礎技術研究所 Dialogue speech creation device, utterance speech recording device, and computer program
JP4970392B2 (en) * 2008-09-16 2012-07-04 ウインボンド エレクトロニクス コーポレイション Voice recording and playback method and electronic dictionary using the method
US8548618B1 (en) 2010-09-13 2013-10-01 Audible, Inc. Systems and methods for creating narration audio
JP2012100798A (en) * 2010-11-09 2012-05-31 Tomohiro Maki Portable game machine
JP2014007561A (en) * 2012-06-25 2014-01-16 Toshiaki Ueno Content browsing device and content providing system

Also Published As

Publication number Publication date
JP7470844B2 (en) 2024-04-18
JP2023096015A (en) 2023-07-06
JP2021060484A (en) 2021-04-15
JP2023096016A (en) 2023-07-06
JP7341024B2 (en) 2023-09-08

Similar Documents

Publication Publication Date Title
JP2005128785A (en) Recording medium and electronic album producing device
JP5765593B2 (en) Movie playback device, movie playback method, movie playback program, movie playback control device, movie playback control method, and movie playback control program
JP5110706B2 (en) Picture book image reproduction apparatus, picture book image reproduction method, picture book image reproduction program, and recording medium
JP2003323104A (en) Language learning system
JP2010002788A (en) Learning terminal, and learning program
JP7470844B2 (en) Audio information replacement system and program
WO2003102897A1 (en) Speech data generation and reproduction method, method for supporting memorization and learning
JP2010002787A (en) Learning system, learning terminal, and learning program
JP6684376B1 (en) Audio information replacement system and program
US20080159584A1 (en) Information processing apparatus and information processing method
JP2004325905A (en) Device and program for learning foreign language
JP2010039851A (en) Apparatus, method and program for reproducing image with effect, and recording medium
JP6664022B1 (en) Sound story generation system and program
JP6222611B1 (en) Digital audio information recording medium, program, and sound reproducing apparatus
Rodríguez Fernández-Peña Translating intonation and prosody in English-Spanish voice-over: strategies, resources and professional practices
KR100586969B1 (en) Computer-readable recording media on which data structure of foreign language education is recorded
JP4030021B2 (en) Alternative quiz game machine and control method thereof
JP2006208866A (en) Reproducing device
KR102525104B1 (en) English study method using learning videos for children
JP2019109321A (en) Karaoke system
KR102280693B1 (en) English study apparatus for children
JP7353130B2 (en) Audio playback systems and programs
JP6646172B1 (en) Educational playback method of multilingual content, data structure and program therefor
JP2016051141A (en) Karaoke system
JPH10322647A (en) Moving picture editing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402