JP2021002131A - 出力音誤り検出支援プログラム、出力音誤り検出支援方法、および、出力音誤り検出支援装置 - Google Patents

Abstract

【課題】コンピュータプログラムにおける出力音声の誤りを画面上で効率的に検出すること。【解決手段】コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援装置２０が、音声出力部２３により出力される複数の音に関する情報を記憶する記憶部２５と、音声出力部２３により出力された音に対応する音に関する情報を記憶部２５から読み出して、読み出した音に関する情報を音の出力に合わせて表示部２４に表示させる制御部２６と、を備える。【選択図】図１

Description

本開示は、出力音誤り検出支援プログラム、出力音誤り検出支援方法、および、出力音誤り検出支援装置に関する。

従来、コンピュータプログラムに含まれる誤りを取り除く作業を支援するため、デバッガが広く利用されている。デバッガは、コンピュータプログラムを実行させたり、停止させたりしながら、さまざまな変数の内容を表示させ、ユーザが誤りを検出する作業を支援する。

例えば、特許文献１には、ＣＤ−ＲＯＭ用のフォーマットに変換される音声の出力を含むマルチメディアソフトウェアのデバッグを行う場合に、ＣＤ−ＲＯＭ用のフォーマットに変換する前に、音声を実際に出力し、音声に不備がある場合にデバッグを行うデバッグ方式が開示されている。

特開平５−３４２２８３号公報

しかしながら、上記特許文献１に開示された技術では、人が音声を聞くことによりソフトウェアに不備があるか否かを判断しており、聞き間違いなどによりソフトウェアに不備があるかどうかを確実に判断することが難しいという課題がある。

本開示は、コンピュータプログラムにおける出力音の誤りをより確実に検出することが可能な出力音誤り検出支援プログラム、出力音誤り検出支援方法、および、出力音誤り検出支援装置を提供することを目的とする。

本開示の出力音誤り検出支援プログラムは、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援プログラムであって、コンピュータに、音声出力部により出力される複数の音に関する情報を記憶する記憶部から、音声出力部により出力された音に対応する音に関する情報を読み出す読出手順と、読出手順により読み出された音に関する情報を音の出力に合わせて表示する表示手順と、を実行させる。

また、本開示の出力音誤り検出支援方法は、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援方法であって、音声出力部により出力される複数の音に関する情報を記憶する記憶部から、音声出力部により出力された音に対応する音に関する情報を読み出す読出ステップと、読出ステップにより読み出された音に関する情報を音の出力に合わせて表示する表示ステップと、を含む。

また、本開示の出力音誤り検出支援装置は、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援装置であって、音声出力部により出力される複数の音に関する情報を記憶する記憶部と、音声出力部により出力された音に対応する音に関する情報を記憶部から読み出して、読み出した音に関する情報を音の出力に合わせて表示部に表示させる制御部と、を備える。

本開示によれば、コンピュータプログラムにおける出力音の誤りをより確実に検出することができる。

本実施の形態における出力音誤り検出支援システムの一例を示す図 出力音誤り検出支援装置により表示される出力音誤り検出支援画面の一例について説明する図 音声管理データの一例を示す図 実行ログデータの表示画面の一例を示す図 出力音誤り検出支援装置が行う出力音誤り検出支援処理の処理手順の一例を示すフローチャート

以下に、本実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態は一例であり、本発明はこの実施の形態により限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施の形態の変更が可能である。

図１は、本実施の形態における出力音誤り検出支援システムの一例を示す図である。図１に示すように、この出力音誤り検出支援システムは、端末装置１０と出力音誤り検出支援装置２０とを備える。

端末装置１０は、スマートフォンやゲーム機、タブレット端末、パーソナルコンピュータなどの装置である。端末装置１０は、端末装置１０に備わる音声出力部（スピーカ）から音を出力するゲームなどのコンピュータプログラムを実行する。

出力音誤り検出支援装置２０は、作業者がコンピュータプログラムにおける出力音声の誤りを検出する作業を行う際に、その作業を支援するパーソナルコンピュータなどの装置である。

この出力音誤り検出支援装置２０は、コンピュータプログラムが実行されることにより出力される音声に関する情報を音声の出力に合わせて表示することにより、出力音声の誤りの検出を支援する。

出力音誤り検出支援装置２０は、通信部２１、入力部２２、音声出力部２３、表示部２４、記憶部２５、および、制御部２６を備える。

通信部２１は、有線通信または無線通信により端末装置１０と通信を行う通信デバイスである。入力部２２は、キーボードやマウスなどの入力デバイスである。音声出力部２３は、音声を出力するスピーカである。

なお、音声出力部２３は、ヘッドホンまたはイヤホンが接続され、ヘッドホンまたはイヤホンに音声信号を出力する端子であってもよい。音声出力部２３がこのような端子である場合、音声は端子に接続されたヘッドホンまたはイヤホンを介して聴取される。

表示部２４は、ディスプレイなどの表示デバイスである。作業者が出力音声の誤り検出を行う場合、表示部２４には、音声出力部２３から出力される音声に関する情報が、音声の出力に合わせて表示される。これにより、コンピュータプログラムにおける出力音声の誤りを確実に検出することができる。

この場合、端末装置１０で実行されるコンピュータプログラムを出力音声の誤り検出支援処理用に改変する必要はなく、容易に出力音声の誤り検出支援処理を行うことができる。

また、例えば、端末装置１０がスマートフォンであり、出力音誤り検出支援装置２０がスマートフォンの画面よりも大きな画面を有するパーソナルコンピュータである場合には、スマートフォンよりも大きな画面で出力音の誤りの検出を行うことができるので、出力音の誤りの検出を容易に行うことができる。

なお、ここでは、音声出力部２３から出力される音声に関する情報を表示部２４に表示させて音声の誤りの検出を行う場合について説明するが、上記情報を端末装置１０の表示部に表示させて音声の誤りの検出を行うこととしてもよい。

また、音声は端末装置１０から出力されてもよい。この場合、端末装置１０が備えるスピーカから音声が出力されてもよいし、端末装置１０が備えるヘッドホン端子またはイヤホン端子に接続されたヘッドホンまたはイヤホンから音声が出力されてもよい。

以下に、音声出力部２３から出力される音声に関する情報の表示について、図２を用いて詳しく説明する。図２は、出力音誤り検出支援装置２０により表示される出力音誤り検出支援画面３０の一例について説明する図である。

出力音誤り検出支援画面３０には、コンピュータプログラムの実行画面３１と、表示画面３２とが含まれている。

実行画面３１は、コンピュータプログラムが実行された場合に出力音誤り検出支援装置２０の表示部２４に表示される画面である。端末装置１０で出力音声の誤りの検出対象となるコンピュータプログラムが実行された場合、端末装置１０の表示部に表示される実行画面３１がミラーリングにより出力音誤り検出支援装置２０の表示部２４にも表示される。

また、コンピュータプログラムの実行により出力される音声が、出力音誤り検出支援装置２０の音声出力部２３から出力される。

表示画面３２は、音声出力部２３から出力される音声に関する情報が、音声の出力に合わせて表示される画面である。さらに、この表示画面３２は、出力音声の誤りの検出する際に作業者から操作を受け付ける。

表示画面３２には、ファイル名入力欄３３、再生ボタン３４、停止ボタン３５、音声情報欄３６ａ〜３６ｃなどが含まれる。

ファイル名入力欄３３は、後に図３を用いて説明する音声管理データ２５ａのファイル名の入力を受け付ける欄である。

再生ボタン３４は、ゲームを進行させる指示を作業者から受け付けるボタンである。停止ボタン３５は、ゲームの進行を停止させる指示を作業者から受け付けるボタンである。

音声情報欄３６ａ〜３６ｃは、音声に関する情報が表示される欄である。音声情報欄３６ａ〜３６ｃには、音声が発せられた日時（例えば、「2019/03/07 14:39:50」）、発せられた音声に対応する音声データのファイル名（例えば、「0000_0001.mp3」）、音声を発した話者の名前（例えば、「太郎」）、話者が話した言葉の文字情報（例えば、「おはようございます。」）、音声の特性（例えば、「明るい」）などの情報が表示される。

音声情報欄３６ａ〜３６ｃは、複数設けられる。過去に話者により発せられた音声に関する情報は、表示画面３２をスクロールさせることにより確認することができる。なお、過去に話者により発せられた音声に関する情報の表示方法はこれに限定されず、他の方法を用いてもよい。例えば、蓄積した情報をすべて表示するようにしてもよいし、蓄積した情報のうち指定された期間の情報をすべて表示するようにしてもよい。

従来の方法では、一度確認した音声を再度確認するために音声を再度再生する必要があるため、再確認に時間を要するという課題があった。例えば、１０秒の音声の再確認には１０秒間その音声を再生する必要があった。しかしながら、上述のように過去に話者により発せられた音声に関する情報を確認できるようにすることにより、音声の再確認を短時間で容易に行うことができる。音声情報欄３６ａ〜３６ｃに表示される各情報の内容については、後に詳しく説明する。

このように、音声に関する情報を表示部２４にリアルタイムで表示させることにより、今再生されている音声がどのような音声なのかを作業者が容易に把握でき、音声データの誤りを容易に検出することができる。

また、「明るい」などの音声の特性の情報を表示させることにより、発せられた言葉は同じであるが、暗い調子で発せられた音声のデータが使用された誤りを作業者が容易に検出することができる。

記憶部２５は、種々のデータを記憶するメモリやハードディスクなどの記憶デバイスである。記憶部２５は、例えば、音声管理データ２５ａ、および、実行ログデータ２５ｂを記憶する。

音声管理データ２５ａは、コンピュータプログラムにより出力される音声に関する情報が登録されたデータである。図３は、音声管理データ２５ａの一例を示す図である。

図３に示すように、音声管理データ２５ａは、番号、特徴量、ファイル名、話者、セリフ、および、音声の特性の情報が登録されている。

番号は、各音声に割り当てられた番号である。特徴量は、コンピュータプログラムにより出力される音声が音声管理データ２５ａに情報が登録されている音声のどれであるかを照合する際に用いられるデータである。

特徴量は、例えば、音声をスペクトル解析して得られたスペクトルである。なお、特徴量は、これに限らず、コンピュータプログラムにより出力される音声が音声管理データ２５ａに情報が登録されている音声のどれであるかを特定できるものであればよい。

ファイル名は、コンピュータプログラムにより出力される音声の音声データのファイル名である。話者は、音声を発する話者が誰かを示す話者の名前の情報である。セリフは、話者が話す言葉を示す文字情報である。

音声の特性は、話者が発する音声の特性の情報である。音声の特性には、文字情報以外の情報、例えば、「明るい」、「元気がない」、「大笑い」、「引き笑い」、「泣き笑い」などの、音声の口調、音質、抑揚、速度、アクセント、高低、および、大小、その他の情報が含まれていてもよい。

図１の説明に戻ると、実行ログデータ２５ｂは、コンピュータプログラムに対して行われた音声データの出力音誤り検出支援処理の実行ログのデータである。

実行ログデータ２５ｂには、音声が出力された際の画像データに対応付けて、特徴量の照合の結果得られた音声情報が登録されている。音声情報には、例えば、音声の照合が行われた日時の情報、図３に示した音声管理データ２５ａに登録されているファイル名、話者、セリフ、音声の特性の情報が含まれる。

図４は、実行ログデータ２５ｂの表示画面４０の一例を示す図である。実行ログデータ２５ｂは、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式で出力され、ブラウザ等で閲覧される。

この表示画面４０には、複数の音声予測結果欄４１ａ〜４１ｃが含まれている。そして、音声予測結果欄４１ａ〜４１ｃには、音声の照合が行われた日時の情報が表示されている。また、音声予測結果欄４１ａ〜４１ｃには、音声が出力された際の画像４２ａ〜４２ｃに対応付けて、特徴量の照合の結果得られた音声情報４３ａ〜４３ｃが表示されている。

この音声情報４３ａ〜４３ｃには、例えば、図３に示した音声管理データ２５ａに登録されているファイル名、話者、セリフ、音声の特性の情報が含まれる。

なお、図４に示した音声情報４３ｃには、音声情報が２つ表示されている。これは、音声出力部２３から出力された音声を音声管理データ２５ａに登録されている特徴量に基づいて照合した際、一致度が所定値以上となる音声情報が２つあったことを示している。

このように、出力された音声と高い一致度で照合される音声情報が複数ある場合、音声予測結果欄４１ａ〜４１ｃには、複数の音声情報が表示される。なお、このことは、図２に示した表示画面３２においても同様である。出力音誤り検出支援装置２０が音声情報を絞り切れない場合、このような表示を行って人に判断を委ねることにより、誤った照合が自動で行われることを防止することができる。

図１の説明に戻ると、制御部２６は、出力音誤り検出支援装置２０を制御するプロセッサなどの制御デバイスである。例えば、制御部２６は、音声出力部２３により出力された音に対応する音声情報を記憶部２５から読み出して、読み出した音声情報を音の出力に合わせて表示に表示させる。

つぎに、出力音誤り検出支援装置２０が行う出力音誤り検出支援処理の処理手順について説明する。図５は、出力音誤り検出支援装置２０が行う出力音誤り検出支援処理の処理手順の一例を示すフローチャートである。

なお、この出力音誤り検出支援処理が行われる前に、端末装置１０と出力音誤り検出支援装置２０との間で通信が確立されており、出力音誤り検出支援装置２０において出力音誤り検出支援処理を行うコンピュータプログラムが起動されているものとする。

まず、出力音誤り検出支援装置２０の制御部２６は、記憶部２５から音声管理データ２５ａを読み込む（ステップＳ１０）。そして、制御部２６は、端末装置１０でコンピュータプログラムが実行された結果出力される出力音声の出力音誤り検出支援装置２０への取り込みを開始する（ステップＳ１１）。

その際、制御部２６は、端末装置１０でコンピュータプログラムが実行された結果表示されるゲーム画面を表示部２４に表示させるミラーリングも行う。

続いて、制御部２６は、上記出力音声の特徴量を算出する（ステップＳ１２）。特徴量とは、例えば、音声をスペクトル解析して得られたスペクトルである。

その後、制御部２６は、ステップＳ１２の処理で算出した特徴量と、音声管理データ２５ａに登録されている特徴量とを照合する。そして、制御部２６は、音声管理データ２５ａに登録されている音声情報の中から、ステップＳ１２の処理で算出した特徴量との一致度が所定値よりも大きくなる特徴量に対応する音声情報を検出する処理を実行する（ステップＳ１３）。

そして、制御部２６は、一致度が所定値よりも大きくなる特徴量に対応する音声情報が検出されたか否かを判定する（ステップＳ１４）。

一致度が所定値よりも大きくなる特徴量に対応する音声情報が検出された場合（ステップＳ１４においてＹＥＳの場合）、制御部２６は、その音声情報を、例えば図２に示したような形態で表示部２４に表示させる（ステップＳ１５）。

さらに、制御部２６は、その音声情報を実行ログデータ２５ｂとして記憶部２５に記憶させる（ステップＳ１６）。

なお、制御部２６は、検出された音声情報がそれまでに検出された音声情報と異なる場合にのみステップＳ１５およびステップＳ１６の処理を行うこととしてもよい。

その後、制御部２６は、音声の取り込みが終了したか否かを判定する（ステップＳ１７）。

音声の取り込みが終了していない場合（ステップＳ１７においてＮＯの場合）、ステップＳ１２以降の処理が実行される。

音声の取り込み処理が終了した場合（ステップＳ１７においてＹＥＳの場合）、この出力音誤り検出支援処理は終了する。

また、ステップＳ１４において、一致度が所定値よりも大きくなる特徴量に対応する音声情報が検出されなかった場合（ステップＳ１４においてＮＯの場合）、ステップＳ１７以降の処理が実行される。

なお、上記実施の形態では、出力音誤り検出支援装置２０は、話者が発する音声について誤りの検出を支援することとしたが、誤りを検出する対象は話者が発する音声に限らず、効果音やＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）などの音であってもよい。

この場合、図３に示した音声管理データ２５ａには、効果音や音楽を特定可能な情報、例えば、効果音であれば、どのような効果音かを示す情報（爆発音など）、ＢＧＭであれば、楽譜の情報などが含まれていてもよい。

以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した各装置の機能は、コンピュータプログラムにより実現され得る。

上述した各装置の機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。

そして、読取装置は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。

そして、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

本開示の技術は、コンピュータプログラムにおける出力音声の誤りの検出を支援する出力音誤り検出支援技術に利用可能である。

１０ 端末装置
２０ 出力音誤り検出支援装置
２１ 通信部
２２ 入力部
２３ 音声出力部
２４ 表示部
２５ 記憶部
２５ａ 音声管理データ
２５ｂ 実行ログデータ
２６ 制御部
３０ 出力音誤り検出支援画面
３１ コンピュータプログラムの実行画面
３２ 表示画面
３３ ファイル名入力欄
３４ 再生ボタン
３５ 停止ボタン
３６ａ〜３６ｃ 音声情報欄
４０ 表示画面
４１ａ〜４１ｃ 音声予測結果欄
４２ａ〜４２ｃ 音声が出力された際の画像
４３ａ〜４３ｃ 音声情報

本開示の出力音誤り検出支援プログラムは、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援プログラムであって、コンピュータに、音声出力部により出力される複数の音に関する情報を記憶する記憶部から、音声出力部により出力された音に対応する音に関する情報を読み出す読出手順と、読出手順により読み出された音に関する情報を音の出力に合わせて表示する表示手順と、を実行させ、上記音は話者の声であり、上記音に関する情報は話者が話した言葉の文字情報と、声の特性の情報とを含むことを特徴とする。または、上記音は効果音であり、上記音に関する情報は、上記効果音がどのような効果音であるかを示す情報であることを特徴とする。または、上記音は話者の声であり、上記音に関する情報は上記話者が誰かを示す情報であることを特徴とする。

また、本開示の出力音誤り検出支援方法は、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援方法であって、音声出力部により出力される複数の音に関する情報を記憶する記憶部から、音声出力部により出力された音に対応する音に関する情報を読み出す読出ステップと、読出ステップにより読み出された音に関する情報を音の出力に合わせて表示する表示ステップと、を含み、上記音は話者の声であり、上記音に関する情報は話者が話した言葉の文字情報と、声の特性の情報とを含むことを特徴とする。または、上記音は効果音であり、上記音に関する情報は、上記効果音がどのような効果音であるかを示す情報であることを特徴とする。または、上記音は話者の声であり、上記音に関する情報は上記話者が誰かを示す情報であることを特徴とする。

また、本開示の出力音誤り検出支援装置は、コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援装置であって、音声出力部により出力される複数の音に関する情報を記憶する記憶部と、音声出力部により出力された音に対応する音に関する情報を記憶部から読み出して、読み出した音に関する情報を音の出力に合わせて表示部に表示させる制御部と、を備え、上記音は話者の声であり、上記音に関する情報は話者が話した言葉の文字情報と、声の特性の情報とを含むことを特徴とする。または、上記音は効果音であり、上記音に関する情報は、上記効果音がどのような効果音であるかを示す情報であることを特徴とする。または、上記音は話者の声であり、上記音に関する情報は上記話者が誰かを示す情報であることを特徴とする。

Claims (8)

1. コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援プログラムであって、
   コンピュータに、
   音声出力部により出力される複数の音に関する情報を記憶する記憶部から、前記音声出力部により出力された音に対応する音に関する情報を読み出す読出手順と、
   前記読出手順により読み出された音に関する情報を前記音の出力に合わせて表示する表示手順と、
   を実行させる出力音誤り検出支援プログラム。
2. 前記コンピュータに、前記表示手順により表示された音に関する情報を蓄積する蓄積手順と、前記蓄積手順により蓄積された過去の音に関する情報を表示する蓄積情報表示手順とをさらに実行させる請求項１に記載の出力音誤り検出支援プログラム。
3. 前記コンピュータプログラムは、前記コンピュータとは別の装置において実行され、前記表示手順では、前記別の装置からデータを取得した音の出力に合わせて前記音に関する情報を表示する請求項１または２に記載の出力音誤り検出支援プログラム。
4. 前記音は話者の声であり、前記音に関する情報は前記話者が話した言葉の文字情報を含む請求項１〜３のいずれか１項に記載の出力音誤り検出支援プログラム。
5. 前記音に関する情報は、前記話者が話した言葉の文字情報に加えて、前記声の特性の情報を含む請求項４に記載の出力音誤り検出支援プログラム。
6. 前記音は効果音であることを特徴とする請求項１〜３のいずれか１項に記載の出力音誤り検出支援プログラム。
7. コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援方法であって、
   音声出力部により出力される複数の音に関する情報を記憶する記憶部から、前記音声出力部により出力された音に対応する音に関する情報を読み出す読出ステップと、
   前記読出ステップにより読み出された音に関する情報を前記音の出力に合わせて表示する表示ステップと、
   を含む出力音誤り検出支援方法。
8. コンピュータプログラムにおける出力音の誤りの検出を支援する出力音誤り検出支援装置であって、
   音声出力部により出力される複数の音に関する情報を記憶する記憶部と、
   前記音声出力部により出力された音に対応する音に関する情報を前記記憶部から読み出して、読み出した音に関する情報を前記音の出力に合わせて表示部に表示させる制御部と、
   を備える出力音誤り検出支援装置。

Images