JP2015176379A - データ生成編集装置、プログラム及びデータ生成編集方法 - Google Patents

Abstract

【課題】気軽にテロップ等のテキストデータを表示制御するための表示制御データを生成及び編集することが可能なデータ生成編集装置などを提供すること。【解決手段】携帯用通信端末装置１０は、表示制御データの生成及び編集する際に、ユーザに選択した音源データの再生に伴って表示される歌詞データを取得し、当該音源データの再生に伴って取得した歌詞データによって構成される歌詞を表示し、表示された歌詞に対してユーザのタッチ操作を受け付け、受け付けたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方のタッチ情報を取得し、取得したタッチ情報に基づいて、音源データの再生中に歌詞が表示される際の色替えタイミングを示す表示制御データを生成又は編集する構成を有している。【選択図】図１

Description

本発明は、カラオケ等のテキストの表示制御を行うテキスト表示制御データの生成編集装置などの技術分野に属する。

近年、伴奏のみからなる楽曲データ（いわゆる、カラオケ用楽曲データ）を再生し、当該再生された楽曲データに併せてユーザが歌うカラオケは、娯楽や趣味として広く認知されている。特に、カラオケデータは、カラオケ用楽曲データと、当該再生された楽曲データに併せて歌う箇所が認識可能なテロップデータと、によって提供されている。

一方、カラオケとして提供されている楽曲は、販売されている楽曲の一部であり、カラオケの浸透に伴って、カラオケで楽曲が提供されていない楽曲についてもカラオケをしたいという要望も多い。また、販売されている楽曲のみならず、ユーザが作成したオリジナルの曲についてもカラオケとして提供してほしいという要望も多い。しかしながら、楽曲データについては比較的に容易に作成することができるものの、ユーザ自身が、当該楽曲データの再生中に楽曲に合わせて歌う箇所が認識可能なテロップデータを作成し、当該テロップデータと楽曲データとを含むカラオケデータを生成及び提供することは難しい。

そこで、最近では、カラオケに合わせてテロップデータを表示制御する表示制御データを生成することができる装置も登場している（例えば、特許文献１）。

特開平８−５０４９４号公報

しかしながら、特許文献１に記載のテロップデータを生成する装置にあっては、可動レバーを用いてテロップデータの色変わりを制御するようになっており、カラオケのユーザなどによって気軽にかつ手軽にテロップデータを生成することができない。

本発明は、上記課題を解決するためになされたものであり、その目的は、気軽にテロップなどのテキストデータを表示制御するための表示制御データを生成及び編集することが可能なデータ生成編集装置などを提供することにある。

（１）上記課題を解決するため、本発明のデータ生成編集装置等は、コンテンツデータの再生中に、テキストが表示手段に表示される際のテキスト表示制御データを生成又は編集するデータ生成編集装置であって、前記コンテンツデータの再生に伴って表示手段に表示されるテキストデータを取得するテキストデータ取得手段と、前記コンテンツデータを再生する再生手段と、前記コンテンツデータの再生に伴って前記テキストデータによって構成されるテキストを表示手段に表示する表示制御手段と、前記表示手段に表示されたテキストに対してタッチ操作を受け付ける受付手段と、前記受け付けられたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方の情報を取得するタッチ情報取得手段と、前記取得されたタッチ情報に基づいて、前記コンテンツデータの再生中に表示された前記テキストの色替えタイミングを示す前記表示制御データを生成又は編集する生成編集手段と、を備える構成を有している。

この構成により、本発明のデータ生成編集装置は、ユーザのタッチ操作に基づいて前記テキストが表示手段に表示される際の色替えタイミングを示す前記表示制御データを生成及び編集することができるので、特別な機能を有する装置を用いることなく、スマートフォン又はタブレット型情報通信端末装置などの装置を用いて気軽にテロップなどのテキストデータを表示制御するための表示制御データを生成及び編集することができる。

本発明のデータ生成編集装置等は、特別な機能を有する装置を用いることなく、スマートフォン又はタブレット型情報通信端末装置などのタッチ操作を行うことが可能な装置を用いて気軽にテロップなどのテキストデータを表示制御するための表示制御データを生成及び編集することができる。

本発明の情報提供システムの一実施形態における構成を示すシステム構成図である。 一実施形態の携帯用通信端末装置の構成を示すブロック図である。 一実施形態における表示制御データを生成する際の表示部に表示される画面の一例を示す図である。 一実施形態における表示制御データ記録部に記録されている表示制御データの一例を示す図である。 一実施形態の携帯用通信端末装置におけるカラオケ表示制御データ生成編集処理のメイン処理の動作を示すフローチャート（その１）である。 一実施形態の携帯用通信端末装置におけるカラオケ表示制御データ生成編集処理のメイン処理の動作を示すフローチャート（その２）である。 一実施形態の携帯用通信端末装置におけるカラオケ表示制御データ生成編集処理の全部やり直し処理の動作を示すフローチャートである。 一実施形態の携帯用通信端末装置におけるカラオケ表示制御データ生成編集処理の直前やり直し処理の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。以下に説明する実施形態は、ユーザの操作に基づいてカラオケ用の歌詞（テキスト）を表示手段に表示する際の表示制御を行うデータを生成及び編集する携帯用通信端末装置、及び、当該携帯用通信端末装置に各種のデータを提供する情報提供サーバ装置と、から構成される情報提供システムに対して、本発明のデータ生成編集装置、プログラム及びデータ生成編集方法を適用した場合の実施形態である。

［１］情報提供システム
まず、図１を用いて、本実施形態における情報提供システム１の構成及び概要について説明する。

なお、図１は、本実施形態における情報提供システム１の構成を示すシステム構成図である。また、図が煩雑になることを防止するために、図１においては、一部のユーザのみを示している。すなわち、実際の情報提供システム１においては、図１に表示するよりも多数の通信端末装置が存在している。さらに、本実施形態においては、コンテンツデータとしてカラオケ用の音源のデータ（以下、「音源データ」という。）とテキストデータとして当該カラオケ用の歌詞のテロップデータ（以下、「歌詞データ」という。）を用いて説明する。

本実施形態の情報提供システム１は、カラオケ装置その他を用いてカラオケを行う場合に、当該カラオケの対象曲となる歌詞をユーザに閲覧可能に表示するための表示制御を行うデータ（以下、「表示制御データ」という。）を生成及び編集するためのシステムである。

そして、本実施形態の情報提供システム１は、ユーザによって利用される携帯用通信端末装置１０と、ネットワーク２０と、各種のデータを管理及びその提供を行う情報提供サーバ装置３０と、を有し、上記のシステムを実現するようになっている。

携帯用通信端末装置１０は、携帯型電話機、タブレット型情報通信端末装置、スマートフォン、又は、携帯型ゲーム装置等の通信端末装置であり、ネットワーク２０を介して、情報提供サーバ装置３０から歌詞データを取得（ダウンロード）する機能、及び、音源データのストリーミング再生機能を含み予め保有する音楽その他の音源のデータ（以下、「音源データ」という。）を再生する機能を有している。

また、携帯用通信端末装置１０は、これらの機能を用いつつ、ユーザの操作に基づいて、カラオケ用の音源（コンテンツ）の再生に伴って歌詞（テキスト）を図示しないカラオケ装置に表示するための表示制御データを生成及び編集する機能を有している。

特に、本実施形態の携帯用通信端末装置１０は、表示制御データの生成及び編集する際に、ユーザが選択した音源データの再生に伴って表示される歌詞データを取得し、かつ、当該音源データを再生しつつ、
（１）当該音源データの再生に伴って歌詞データによって構成される歌詞を表示し、
（２）表示された歌詞に対してユーザのタッチ操作を受け付け、
（３）受け付けたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方のタッチ情報を取得し、
（４）取得したタッチ情報に基づいて、音源データの再生中に表示される歌詞の色替えタイミングを含む表示制御データを生成又は編集する
構成を有している。

このような構成を有することによって、本実施形態の携帯用通信端末装置１０は、タッチ操作を用いることによって音源データの再生中に歌詞が表示され歌う箇所を示す色替えタイミングを決定することができるので、特別な機能を有する装置を用いることなく、スマートフォン又はタブレット型情報通信端末装置などの装置を用いて気軽に表示制御データを生成及び編集することができるようになっている。

情報提供サーバ装置３０は、音源の種別に対応付けてユーザに提供可能な歌詞データが記録されるデータベース４０を有し、携帯用通信端末装置１０からの要求に従って歌詞データを配信する構成を有している。

なお、本実施形態においては、操作時間情報として、タッチ操作が開始された際の時間（以下、「タッチ操作開始時間」という。）、当該タッチ操作が終了した際の時間（以下、「タッチ操作終了時間」という。）、及び、タッチ操作の操作速度（タッチにおける移動速度）が変化した時間（以下、「操作速度変更時間」という。）を用いる。また、位置情報としては、歌詞が表示された所定の領域にタッチされたことを示す位置情報が含まれる。そして、本実施形態においては、これらの操作時間情報及び位置情報の双方を用いて表示制御データを生成する形態について説明する。

［２］携帯用通信端末装置
次に、図２〜図４を参照しつつ本実施形態の携帯用通信端末装置１０について説明する。なお、図２は、本実施形態の携帯用通信端末装置１０の構成を示すブロック図であり、図３は、表示制御データを生成する際の表示部１４０に表示される画面の一例を示す図である。また、図４は、表示制御データ記録部１６２に記録されている表示制御データの一例を示す図である。

本実施形態の携帯用通信端末装置１０は、図２に示すように、ネットワーク２０に通信接続されるネットワーク通信部１１０と、音源を再生する再生部１２０と、再生された音信号の信号レベルを増幅し、スピーカＳＰに出力する電力増幅器１３０と、を備えている。

また、携帯用通信端末装置１０は、表示部１４０と、表示部１４０に対する画像の表示を制御する表示制御部１５０と、各種の情報に対応するデータが記録される記録部１６０と、タッチパネルにより構成される操作部１７０と、端末管理制御部１８０と、タイマー１９０と、有している。

そして、携帯用通信端末装置１０は、カラオケ用の音源再生に伴って歌詞を図示ないカラオケ装置に表示するための表示制御データの生成及び編集を行う処理（以下、「カラオケ表示制御データ生成編集処理」という。）を実行するアプリケーション実行部２００を有している。

なお、携帯用通信端末装置１０の各部は、バス１９１によって相互に接続されており、データの授受を実行している。

ネットワーク通信部１１０は、所定のネットワークインターフェースであり、端末管理制御部１８０及びアプリケーション実行部２００の制御の下、基地局ＢＳを介してネットワーク２０に接続される情報提供サーバ装置３０又は図示しない他の通信端末装置と通信回線を構築し、情報提供サーバ装置３０又は図示しない他の通信端末装置と種々のデータの授受を行う。

再生部１２０は、端末管理制御部１８０又はアプリケーション実行部２００の制御の下、記録部１６０記録されている所定のフォーマット形式の音源データを読み出す。また、再生部１２０は、ネットワーク通信部１１０を介して予め取得した又はストリーミングによって音源データをリアルタイムで取得する。そして、再生部１２０は、読み出した又は取得した音源データをデコードして音信号に変換し、変換した音信号をスピーカＳＰ１から拡声するために電力増幅器１３０に出力する。

電力増幅器１３０は、再生部１２０から出力された音信号を受信し、端末管理制御部１８０又はアプリケーション実行部２００の制御の下、操作部１７０よって指定された音量の指示に基づいて音信号の信号レベルを増幅する。そして、電力増幅器１３０は、増幅した音信号をスピーカＳＰに出力する。

表示部１４０は、所定のサイズ（例えば、５インチ、Ｗ４８０×Ｈ９６０ピクセル）の画像表示領域を有し、液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１５０において生成された表示データに基づいて所定の画像を表示するようになっている。

特に、本実施形態では、表示部１４０は、操作部１７０と連動しつつ、情報提供サーバ装置３０から送信された歌詞データを取得するための指示画像を表示する。

また、表示部１４０は、アプリケーション実行部２００によって歌詞データの表示制御データを生成及び編集するために必要な画像を表示する。例えば、表示部１４０には、図３に示すように、カラオケ表示制御データ生成編集処理の動作中においては、歌詞データにおける一文字以上のテキストによって複数に分割された各ブロックＴを表示するメイン表示領域Ｍと、当該カラオケ表示制御データ生成編集処理の対象となるブロック（以下、「設定中のブロック」という。）ＣＴを表示するブロック表示領域Ｂと、が表示される。

なお、図３に示すメイン表示領域Ｍには、設定中のブロックＣＴの他に、既に表示制御データが設定されたブロック（以下、「設定済みブロック」という。）Ｔ１と、設定中のブロックＣＴの後に表示制御データが設定されるブロック（以下、「未設定ブロック」という。）Ｔ２が表示されており、設定済みブロックＴ１、設定中のブロックＣＴ及び未設定ブロックＴ２は、それぞれ異なる強調表示がされるようになっている。

また、メイン表示領域Ｍには、カラオケ表示制御データ生成編集処理中に再生に伴って各ブロックがスクロールされつつ表示される。さらに、ブロック表示領域Ｂは、歌詞の色替えタイミングを設定するためのユーザのタッチ操作を行う領域である。

さらに、上記にＴ１、ＣＴ、Ｔ２は異なる強調表示がなされず、同一色、同一フォント、同一サイズで示してもよい。

表示制御部１５０は、端末管理制御部１８０及びアプリケーション実行部２００の制御の下、表示部１４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部１４０に出力する。

記録部１６０は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリなどにより構成される。

そして、記録部１６０は、カラオケ表示制御データ生成編集処理を実行するためのアプリケーション（以下、「データ生成編集アプリ」という。）を含む各種のアプリケーションが記録されるアプリケーション記録部１６１と、カラオケ表示制御データ生成編集処理によって生成された表示制御データが記録される表示制御データ記録部１６２と、歌詞データ及び音源データが記録される音源データ記録部１６３と、表示制御データテーブルなどカラオケ表示制御データ生成編集処理の実行中に用いられるワークエリアとして機能するＲＡＭ１６４とを有している。

特に、表示制御データ記録部１６２には、カラオケ表示制御データ生成編集処理によって生成されたデータであって、ブロックＩＤに対応付けてタッチ操作開始時間、タッチ操作終了時間及び操作速度変更時間を示す操作時間情報と、タッチ操作の操作速度を示す速度情報と、から構成される表示制御データが記録される。

なお、上述においては、歌詞の色替えタイミングのみについて説明したが、歌詞のブロックごとにカラオケ装置などに表示する場合、歌詞のブロックの表示開始時間と表示終了時間をタッチ操作に応じて生成及び編集してもよい。

表示制御データは、カラオケ装置その他の装置によってカラオケを行う際に、音源データの再生中に歌詞の表示タイミング及び表示された歌詞の色替えタイミングを規定したデータである。すなわち、図示しないカラオケ装置その他の装置は、当該表示制御データに基づいてカラオケ中の歌詞の色替えタイミングを実行するようになっている。

具体的には、カラオケ装置その他の装置は、音源データの再生を開始すると、各ブロックの最初の時間情報によって示される時間から予め定められた時間前に、当該ブロックに属する歌詞を表示し、当該ブロックのブロックＩＤによって規定される時間情報に基づいて、当該時間情報によって示される時間から速度情報によって示される操作速度によって、当該ブロックに属する各文字の色替えを実行するようになっている。特に、カラオケ装置その他の装置は、当該ブロックにおいて複数の速度情報が規定されている場合には、該当する時間に速度情報によって定まる速度に変化させつつ、各文字の色替えを実行するようになっている。なお、カラオケ装置その他の装置によっては、歌詞の表示時間情報の下、表示時間情報によって歌詞を表示するようになっている。

例えば、図４は、表示制御データ記録部１６２に、ブロックＩＤ「１」のブロックのテキスト「明るい」（図３参照）について、音源データの再生開始から
（１）時間（タッチ操作開始時間）「０分１２秒」後に操作速度「２」で、
（２）時間（操作速度変更時間）「０分１３秒」後に操作速度「５」で、
（３）時間（操作速度変更時間）「０分１４秒」後に操作速度「１０」で、及び、
（４）時間（タッチ操作終了時間）「０分１６秒」後に操作速度「０」で
色替えが行われることを示す表示制御データが記録されていることを示す。

なお、本実施形態においては、操作速度「０」は、該当するブロックの色替えが終了したことを示す表示制御データが記録されていることを示している。また、操作速度「０」の時間にて、表示されていたブロックから次のブロックへ表示を切り替えるようになっている。

また、音源データ記録部１６３には、音源ＩＤなどの所定の情報に対応付けて情報提供サーバ装置３０などから取得した所定のフォーマット形式の音源データが記録される。また、音源データ記録部１６３には、ユーザの操作指示に基づいて情報提供サーバ装置３０から取得した歌詞データが音源データに対応付けて記録される。

なお、本実施形態の歌詞データは、予め定められた一文字又は複数文字から構成されるブロック毎にテキストを有している。また、各ブロックには、他のブロックと識別するためのブロックＩＤを有し、当該ブロックＩＤは、先頭から順に番号が付されている。例えば、ブロックＩＤ及びブロック番号とは、図４において、歌詞の進行順に区切られたブロックに割り振られた番号であり、ブロック番号１は、「明るい」、ブロック番号２は、「未来」を示している。

そして、本実施形態の歌詞データは、複数のブロックに分割され、ブロック毎に一文字以上のテキストを有している。なお、本実施形態においては、文字の間に設けられた「スペース」を用いてブロックを認識するようになっており、一のスペースから次のスペースまでの文字を１のブロックとして用いるようになっている。

操作部１７０は、各種の確認ボタン、各操作指令を入力する操作ボタンその他のキーであって、表示部１４０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。特に、操作部１７０は、カラオケ表示制御データ生成編集処理の実行時に、タッチ操作開始時間、タッチ操作終了時間及び操作速度変更時間が含まれる操作時間情報、及び、位置情報を検出（取得）する際に用いる。

例えば、操作部１７０は、図３に示すように、色替えタイミングを設定する際に用いるスライドバーＳを移動させるためのタッチ操作部分と、「最初から」と表示されている一番最初の歌い出しからカラオケ表示制御データ生成編集処理をやり直すボタン、再生ボタン、再生位置の直前の操作をやり直す（すなわち、一部やり直す）巻き戻しボタン及び「スピコン」と示されたスピードコントロールを行うためのボタンが表示部１４０上にある。なお、図３に示すシークバーＷは、楽曲全体における再生位置を表す。

端末管理制御部１８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、携帯用通信端末装置１０の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御する。

アプリケーション実行部２００は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、端末管理制御部１８０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、端末管理制御部１８０による制御の下、データ生成編集アプリを実行することにより、カラオケ表示制御データ生成編集処理を実行する。

具体的には、アプリケーション実行部２００は、情報提供サーバ装置３０などから歌詞データを取得するデータ取得部２１０と、操作部１７０と連動してタッチ操作を検出する操作検出部２２０と、再生部１２０と連動し、音源データの再生制御を行う再生制御部２３０と、表示制御部１５０と連動し、音源データの再生時にタッチ操作に伴って歌詞の表示部１４０への表示を制御しつつ、表示制御データを生成及び編集するデータ生成編成管理部２４０と、を実現する。

例えば、本実施形態のデータ取得部２１０は、本発明の取得手段を構成し、操作検出部２２０は、受付手段及びタッチ情報取得手段を構成する。また、例えば、再生制御部２３０は、再生部１２０とともに再生手段を構成し、データ生成管理部２４０は、生成編集手段を構成する。

なお、本実施形態のアプリケーション実行部２００及び当該アプリケーション実行部２００に属する各部の詳細については、後述する。

タイマー１９０は、アプリケーション実行部２００によってカラオケ表示制御データ生成編集処理の開始（すなわち、再生開始）からカウントを開始し、当該アプリケーション実行部２００の指示に基づいて当該カウント開始からの時間を当該アプリケーション実行部２００に出力する。

［３］アプリケーション実行部
次に、本実施形態のアプリケーション実行部２００の各部の詳細について説明する。

データ取得部２１０は、情報提供サーバ装置３０と連動し、操作部１７０のユーザ操作に基づいて、ユーザが希望する歌詞データを取得する。そして、データ取得部２１０は、取得した歌詞データを、該当する音源データと、当該歌詞データとともに取得した各種の属性と、に対応付けて、に音源データ記録部１６３に記録する。

また、データ取得部２１０は、操作部１７０のユーザ操作に基づいて、外部から音源データを取得し、取得した音源データを、当該音源データとともに取得した各種の属性と、に対応付けて、音源データ記録部１６３に記録することも可能である。

操作検出部２２０は、操作部１７０と連動し、カラオケ表示制御データ生成編集処理中に、ユーザのブロック表示領域におけるタッチ操作及び有効なタッチ操作の場合には、音源データの再生開始からカウントを開始したタイマー１９０から現在時間検出する。

具体的には、操作検出部２２０は、ブロック表示領域に新規なブロックが表示されている場合に、ユーザのタッチ入力（すなわち、タッチダウン操作）を検出すると、操作部１７０から当該タッチが検出された位置を示す位置情報を取得する。そして、操作検出部２２０は、取得した位置情報が所定の領域の場合には、当該タッチ入力を有効な入力と判定し、音源データの再生開始からカウントを開始したタイマー１９０から現在時間を取得し、当該現在時間をタッチ操作開始時間として検出する。

また、操作検出部２２０は、タッチダウン操作が実行された位置から、所定の期間毎に当該期間内における連続的なタッチ操作の移動を検出し、タッチ操作の操作速度（すなわち、移動速度）を検出（取得）する。

なお、本実施形態においては、操作検出部２２０は、例えば、所定の領域にとしては、ブロック表示領域内において先頭（例えば、左端）に表示されている文字及びそれ近接する近接領域である場合には、有効なタッチ入力であると判定する。また、近接領域とは、最初の文字の左端から、左右上下の一定距離内をいう。特に、タッチダウンした座標を、ブロックの左端（塗り始め）とする。

一方、操作検出部２２０は、ブロック表示領域に設定中のブロックが表示されている場合であって、既にタッチ操作が実行されている場合には、タッチ操作の速度変化の有無又はユーザのタッチアップ操作を検出する。

特に、操作検出部２２０は、所定の期間毎に検出したタッチ操作の操作速度の変化を検出した場合には、タイマー１９０から現在時間を取得し、当該現在時間を操作速度変更時間として検出する。また、操作検出部２２０は、このとき算出した操作速度を操作速度変更時間以降の速度に設定する。

例えば、操作検出部２２０は、操作速度の変化としては、単位時間あたりに塗られたピクセル数を検出する。

また、操作検出部２２０は、ユーザのタッチアップ操作を検出すると、音源データの再生開始からカウントを開始したタイマー１９０から現在時間を取得し、当該現在時間をタッチ操作終了時間として検出する。

再生制御部２３０は、カラオケ表示制御データ生成編集処理中に、再生部１２０を制御し、
（１）該当する音源データの再生制御、
（２）当該音源データの頭出し、
（３）現在再生されている再生位置から所定の時間前の再生位置に戻し、当該再生位置から音源データの再生制御
を実行する。

なお、再生制御部２３０は、ユーザの操作指示に基づいて、再生部１２０を制御して音源データの再生スピードを制御することができる構成を有している。

データ生成管理部２４０は、カラオケ表示制御データ生成編集処理の全体管理を行うとともに、当該カラオケ表示制御データ生成編集処理中に、
（１）表示部１４０のメイン表示領域へのブロック毎の歌詞データの表示制御
（２）表示部１４０のブロック表示領域への該当するブロックの表示制御
（３）メイン表示領域における設定済みブロック、設定中のブロック及び未設定ブロックの表示制御（強調表示制御及びその切り換え）
（４）メイン表示領域における再生中の歌詞データのスクロールダウン及びスクロールアップ
（５）設定中のブロックにおける色替えタイミングを視覚化するためのブロック表示領域に表示されるスライドバーＷの移動及びそれに伴う色替え制御
（６）音源データの先頭からカラオケ表示制御データ生成編集処理をやり直す全部やり直し処理の実行
（７）カラオケ表示制御データ生成編集処理中、直前のブロックの表示制御データの設定をやり直す直前やり直し処理の実行
（８）操作検出部２２０と連動して操作時間情報及び速度情報を含む表示制御データテーブルの管理、及び、表示制御データの生成
を実行する。

［４］カラオケ表示制御データ生成編集処理
［４．１］メイン処理
次に、図５及び図６を用いて本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理のメイン処理ついて説明する。なお、図５及び図６は、本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理のメイン処理の動作を示すフローチャートである。

本動作において、ユーザによって対象となる音源データが音源データ記録部１６３に既に記録されているとともに、当該音源データにおける歌詞データが情報提供サーバ装置３０から取得され、同様に、音源データ記録部１６３に記録されているものとする。また、当該歌詞データには、複数のスペースが設けられており、スペースの前後でブロックが分割されて一以上の文字がテキストとして保持されているものとする。

まず、データ生成管理部２４０は、操作部１７０を介して入力されたユーザの開始指示を検出すると（ステップＳ１０１）、ワークメモリその他の初期化などカラオケ表示制御データ生成編集処理のメイン処理を開始するにあたって必要な処理（以下、「事前処理」という。）を実行する（ステップＳ１０２）。例えば、このとき、データ生成管理部２４０は、タイマー１９０をリセットし、ＲＡＭ１６４に表示制御データテーブルの記録領域を確保する。

次いで、データ生成管理部２４０は、表示制御部１５０と連動し、音源データ記録部１６３に記録されている歌詞データをブロック毎に先頭から最終部分までＲＡＭ１６４に展開するとともに、先頭から一部のブロック（先頭から６ブロックまでのブロック）に属する歌詞を表示部１４０のメイン表示領域に表示し、先頭のブロックをブロック表示領域に表示する（ステップＳ１０３）。このとき、データ生成管理部２４０は、メイン表示領域に表示される先頭のブロックについては、現在設定中のブロックとして、強調表示を行う。

次いで、再生制御部２３０は、再生部１２０と連動して音源データ記録部１６３に記録されている音源データの再生を開始させる（ステップＳ１０４）。このとき、データ生成管理部２４０は、タイマー１９０にカウントを開始させるとともに、操作検出部２２０と連動して、ユーザのタッチダウン操作の検出を待機する。

次いで、操作検出部２２０は、ユーザのタッチダウン操作を検出すると（ステップＳ１０５）、当該検出したタッチ操作の位置を示す位置情報を取得し、当該位置情報によって特定される位置が表示部１４０上に形成されている所定の領域内であるか否かを判断する（ステップＳ１０６）。

なお、ステップＳ１０６の処理において、例えば、操作検出部２２０は、表示部１４０上に形成されたブロック表示領域内であって、当該ブロック表示領域内に先頭（例えば、左端）に表示されている文字及びそれ近接する近接領域であるか否かであるかを判断する。

このとき、操作検出部２２０が、取得した位置情報に基づいて、ユーザのタッチ操作が表示部１４０上の所定の領域内であると判定した場合には、ステップＳ１１０の処理に移行し、当該ユーザのタッチ操作が表示部１４０上の所定の領域内でないと判定した場合には、ステップＳ１０５の処理に戻る。

次いで、操作検出部２２０が、取得した位置情報に基づいて、ユーザのタッチ操作が表示部１４０上の所定の領域内であると判定した場合には、タイマー１９０から、カウント開始からタッチ操作を検出した時までの時間をタッチ操作開始時間として検出する（ステップＳ１１０）。なお、スライドバーＷは、ユーザのタッチダウンから歌詞をなぞる方向へのタッチ操作に追従して、色替えの位置を示す。

次いで、操作検出部２２０は、タッチダウン操作が実行された位置から、所定の期間の連続的なタッチ操作を検出し、ブロック表示領域にあるブロック内の歌詞をなぞる方向に検出したタッチ操作の操作速度（すなわち、操作速度）を検出する（ステップＳ１１１）。このとき、データ生成管理部２４０は、表示制御部１５０と連動し、表示部１４０のブロック表示領域に表示されたスライドバーＷの移動の速度を検出した操作速度に設定する。なお、本実施形態においては、例えば、データ生成管理部２４０は、単位時間当たりに塗ったピクセル数によって移動速度を設定する。

次いで、データ生成管理部２４０は、操作検出部２２０によって検出されたタッチ操作開始時間又は操作速度変更時間と、操作速度と、を時間情報及び速度情報としてＲＡＭ１６４の表示制御データテーブルに記録する（ステップＳ１１２）。すなわち、データ生成管理部２４０は、時間情報及び速度情報に基づく表示制御データテーブルを更新する。

次いで、データ生成管理部２４０は、所定の時間（例えば、１６ミリ秒）待機し（ステップＳ１１３）、当該予め定められた時間が経過する毎に、操作検出部２２０において、タッチ操作の速度変化の有無又はユーザのタッチアップ操作が検出された否かを判定する（ステップＳ１１４及びＳ１１５）。

なお、操作検出部２２０は、速度変化の有無としては、所定の期間の連続的なタッチ操作、すなわち歌詞をなぞる方向へのタッチ操作の移動量に基づいてタッチ操作の操作速度を検出する。例えば、本実施形態においては、上述のように、データ生成管理部２４０は、単位時間当たりに塗ったピクセル数によって移動速度を設定する。

このとき、操作検出部２２０は、ユーザのタッチ操作の速度変化を検出したと判定した場合にはステップＳ１２１の処理に移行し、ユーザのタッチアップ操作を検出したと判定した場合にはステップＳ１３１の処理に移行し、いずれのタッチ操作も検出していないと判定した場合には、ステップＳ１１３に処理に戻り、ステップＳ１１３〜Ｓ１１５の処理を繰り返す。

次いで、データ生成管理部２４０は、ステップＳ１１４の処理において、操作検出部２２０がユーザのタッチ操作の速度変化を検出したと判定すると、タイマー１９０から、カウント開始から操作速度の変化を検出した時までの時間を操作速度変更時間として検出する（ステップＳ１２１）。

次いで、データ生成管理部２４０は、ステップＳ１１４において操作検出部２２０によって検出された操作速度の速度変化した後の操作速度として決定し（ステップＳ１２２）、ステップＳ１１２の処理に移行する。

一方、データ生成管理部２４０は、ステップＳ１１５の処理において、操作検出部２２０がユーザのタッチアップ操作を検出したと判定すると、タイマー１９０から、カウント開始からタッチアップ操作を検出した時までの時間をタッチ操作終了時間として検出する（ステップＳ１３１）。このとき、データ生成管理部２４０は、表示制御部１５０と連動し、表示部１４０のブロック表示領域に表示されたスライドバーＷの移動を停止する。

次いで、データ生成管理部２４０は、操作検出部２２０によって検出されたタッチ操作終了時間と操作速度「０」とを操作時間情報及び速度情報として、ＲＡＭ１６４の表示制御データテーブルに記録する（ステップＳ１３２）。

次いで、データ生成管理部２４０は、次のブロックの有無を判定し（ステップＳ１３３）、次のブロックが有ると判定した場合には、表示制御部１５０と連動し、表示部１４０のブロック表示領域に該当するブロックを表示するとともに、メイン表示領域の各ブロックの表示を切り替え（ステップＳ１３４）、ステップＳ１０５の処理に移行する。

具体的には、表示制御部１５０は、表示部１４０のメイン表示領域においては該当するブロックについて強調表示をし、設定が終了したブロックを設定が終了した旨を示すマーキング表示に切り替える。そして、表示制御部１５０は、必要に応じてメイン表示領域において表示されている各ブロックのスクロールを実行する。

他方、データ生成管理部２４０は、次のブロックが無いと判定した場合には、ＲＡＭ１６４に記録された表示制御データテーブルを読み出して表示制御データとして表示制御データ記録部１６２に記録する（ステップＳ１３５）。

最後に、データ生成管理部２４０は、表示部１４０における所定画像の表示など事後処理を実行し（ステップＳ１３６）、本動作を終了させる。

［４．２］割り込み処理
［４．２．１］全部やり直し処理
次に、図７を用いて本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理の全部やり直し処理ついて説明する。なお、図７は、本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理の全部やり直し処理の動作を示すフローチャートである。

本動作において、カラオケ表示制御データ生成編集処理のメイン処理が動作しているものとする。

まず、データ生成管理部２４０は、操作部１７０における全部やり直しボタンへの操作を検出すると（ステップＳ２０１）、メイン処理の動作を終了させるとともに再生制御部２３０によって音源データの再生を終了させるための終了指示を行う（ステップＳ２０２）。なお、データ生成管理部２４０は、ステップＳ２０１の処理については、所定のタイミング毎（例えば１６ミリ秒毎）に検出を行う。

次いで、データ生成管理部２４０は、ＲＡＭ１６４に記録されている表示制御データテーブルを消去し（ステップＳ２０３）、メイン処理を再起動させつつ、当該メイン処理のステップＳ１０２の処理に割り込みをして（ステップＳ２０４）、本動作を終了させる。

［４．２．２］直前やり直し処理
次に、図８を用いて本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理の直前やり直し処理ついて説明する。なお、図８は、本実施形態の携帯用通信端末装置１０におけるカラオケ表示制御データ生成編集処理の直前やり直し処理の動作を示すフローチャートである。

本動作において、カラオケ表示制御データ生成編集処理のメイン処理が動作しているものとする。

まず、データ生成管理部２４０は、操作部１７０における直前やり直しボタンへの操作を検出すると（ステップＳ３０１）、メイン処理の動作を停止させる（ステップＳ３０２）。なお、データ生成管理部２４０は、ステップＳ３０１の処理については、所定のタイミング毎（例えば１６ミリ秒毎）に検出を行う。

次いで、データ生成管理部２４０は、ＲＡＭ１６４に直前に記録されているブロックの表示制御データテーブルの操作時間情報及び速度情報を消去し（ステップＳ３０３）、再生制御部２３０は、再生部１２０を制御して、現在再生されている再生位置から、最後に記録されているブロックの塗り終了時間から一定時間前（例えば１秒）の再生位置に戻し（再生位置の変更）、当該再生位置から音源データの再生を開始する（ステップＳ３０４）。

次いで、データ生成管理部２４０は、表示制御部１５０と連動し、表示部１４０のブロック表示領域に直前に設定が終了したブロックを表示するとともに、メイン表示領域の各ブロックの表示を切り替える（ステップＳ３０５）。

具体的には、表示制御部１５０は、表示部１４０のメイン表示領域においては直前に設定が終了したブロックについて強調表示をし、設定中のブロックの表示を待機表示に切り替える。そして、表示制御部１５０は、必要に応じてメイン表示領域において表示されている各ブロックのスクロールアップを実行する。

最後に、データ生成管理部２４０は、メイン処理のステップＳ１０５の処理に割り込みをして（ステップＳ３０６）、本動作を終了させる。

以上、本実施形態の携帯用通信端末装置１０は、ユーザのタッチ操作に基づいて歌詞がカラオケ装置（図示せず）や通信端末装置１０の表示部１４０に表示される際の色替えタイミングを示す表示制御データを生成及び編集することができるので、特別な機能を有する装置を用いることなく、スマートフォン又はタブレット型情報通信端末装置などの装置を用いて気軽にテロップなどのテキストデータを表示制御するための表示制御データを生成及び編集することができる。

［４］変形例
［４．１］変形例１
上記実施形態においては、情報提供サーバ装置３０から歌詞データを取得しているが、携帯用通信端末装置１０に既に記憶されている歌詞データ又は他の通信装置から取得した歌詞データに基づいて、表示制御データを生成及び編集を行ってもよい。

また、上記実施形態においては、携帯用通信端末装置１０に既に記憶されている音源データを用いているが、情報提供サーバ装置３０又は他の通信装置から取得した音源データ、ストリーミング再生用の音源データ、又は、ユーザが所有するＣＤその他の記録媒体から取り込んだ音源データを用いてもよい。

［４．２］変形例２
上記実施形態においては、コンテンツを音、特にカラオケ用の音に用いた場合のシステムについて説明したが、映画とその字幕、又は、語学学習用の発音に関する音データと当該発音された文字のテキストを用いてもよい。

［４．３］変形例３
上記実施形態の歌詞データは、予めブロック毎に「スペース」を設け、複数のブロックに分割され、ブロック毎に一文字以上のテキストを有しているが、「スペース」に代えて所定のマーキングでもよい。

［４．４］変形例４
上記実施形態においては、操作時間情報として、タッチ操作が開始された際のタッチ操作開始時間、当該タッチ操作が終了された際のタッチ操作終了時間、及び、当該タッチ操作の操作速度が変化した操作変更時間などの時間情報を用いているが、これらに代えて、又は、これらととともに、歌詞をなぞる方向へタッチ操作が行われず、一か所に留まった状態でのタッチ操作（タッチダウンとタッチアップのみ）を検出し、タッチダウン時に操作開始時間、タッチアップ時に操作終了時間として表示制御データを生成及び編集してもよい。

この場合には、操作速度は一定と判断し、歌詞の色替わりが一定速度で行われる。また、これに代えて、ユーザが表示部１４０を一瞬タッチした時の操作時間を、タッチ操作開始時間とし、その後に再度表示部１４０を一瞬タッチした時の操作時間を、タッチ終了時間として、検出して表示制御データを生成及び編集してもよい。

例えば、タッチダウン及びアップのみで塗りを作成する場合は、タッチダウンの時間をタッチ操作開始時間にし、（タッチダウンとアップの差分時間）／ブロックのピクセル数を操作速度とすることで、塗りのタイミングデータとなる。

［４．５］変形例５
上記実施形態においては、時間情報の他にタッチ操作の開始位置を認識するために、タッチ操作の操作位置を位置情報として取得し、かつ、タッチ操作の有効性の判断に用いているが、基準となる位置情報が定まっていることを前提に、タッチ操作の終了位置、タッチ操作の操作速度の変更位置、タッチ操作が行われている範囲におけるタッチ操作の有効性の判断に用いてもよい。

この場合においては、データ生成管理部２４０は、タッチ操作の終了位置、タッチ操作の操作速度の変更位置又はタッチ操作が行われている範囲が無効であると判定した場合には、例えば、処理の中止、又は、当該ブロックのやり直し処理を実行するになっている。

また、これらの位置情報を、操作時間情報に代えて、タッチ情報として表示制御手段の生成又は編集に用いてもよい。

具体的には、データ生成管理部２４０は、ブロック表示領域に表示されているブロックの各テキストの位置と当該テキスト位置と対応するタッチ操作の位置を識別可能になっていることを前提に、データ生成管理部２４０は、検出した位置情報をブロックの先頭から最終部分までのテキストの長さに当てはめつつ、各位置情報に対応するタイミングを表示制御データとして生成及び編集してもよい。

この場合には、タッチ操作開始時間を認識することができれば、位置情報と各位置情報のタイミングによって歌詞の色替えを実現することができる。

なお、上記に代えて、データ生成管理部２４０は、検出した位置情報と各位置情報に対応するタイミングに基づいて、タッチ操作開始時間、タッチ操作終了時間、操作速度変更時間、及び、操作速度を算出し、当該算出された各時間及び速度に基づいて、表示制御データを生成及び編集してもよい。

［４．５］変形例６
上記の実施形態において、操作検出部２２０によって、左右への振れ、ブロック表示領域の上若しくは下への移動、又は、複数のユーザの指によるタッチ（マルチタッチ）など、タッチ操作中の予め定められた動作が検出された場合には、すなわち、テキストデータの先頭から最終部分に向かって連続的に実行されるタッチ操作と異なる方向に又は複数のタッチが操作される動作が検出された場合には、データ生成管理部２４０は、当該検出した予め定められた動作に基づいて、色替えに関する表示制御を生成又は編集する表示制御データに追加してもよい。

例えば、表示制御データに追加する項目としては、当該操作が検出されたテキストにおける太字、濃さ又は色の変更などを含む強調表示にするための情報、又は、カラオケなどにおけるデュエットであることをしめす情報、コーラス部分であることを示す情報など、が含まれる。

なお、本明細書においては、時間を時分秒で表示しているが、西暦、月又は日などの日時を含めた時間であってもよい。

Ｂ … バス
１ … 情報提供システム
１０ … 携帯用通信端末装置
２０ … ネットワーク
３０ … 情報提供サーバ装置
４０ … データベース
１１０ … ネットワーク通信部
１２０ … 再生部
１３０ … 電力増幅器
１４０ … 表示部
１５０ … 表示制御部
１６０ … 記録部
１６１ … アプリケーション記録部
１６２ … 表示制御データ記録部
１６３ … 音源データ記録部
１７０ … 操作部
１８０ … 端末管理制御部
１９０ … タイマー
２００ … アプリケーション実行部
２１０ … データ取得部
２２０ … 操作検出部
２３０ … 再生制御部
２４０ … データ生成管理部

Claims (11)

1. コンテンツデータの再生中に、テキストが表示手段に表示される際のテキスト表示制御データを生成又は編集するデータ生成編集装置であって、
   前記コンテンツデータの再生に伴って表示手段に表示されるテキストデータを取得するテキストデータ取得手段と、
   前記コンテンツデータを再生する再生手段と、
   前記コンテンツデータの再生に伴って前記テキストデータによって構成されるテキストを表示手段に表示する表示制御手段と、
   前記表示手段に表示されたテキストに対してタッチ操作を受け付ける受付手段と、
   前記受け付けられたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方の情報を取得するタッチ情報取得手段と、
   前記取得されたタッチ情報に基づいて、前記コンテンツデータの再生中に表示された前記テキストの色替えタイミングを示す前記表示制御データを生成又は編集する生成編集手段と、
   を備えることを特徴とするデータ生成編集装置。
2. 請求項１に記載のデータ生成編集装置において、
   前記操作時間情報には、前記タッチ操作が開始された際の開始時間、当該タッチ操作が終了された際の終了時間、当該タッチ操作が行われている時間の長さを示す時間長、当該タッチ操作の操作速度が変化した時間、及び、当該タッチ操作速度が一定の場合の時間長の少なくともいずれ一方の情報が含まれる、データ生成編集装置。
3. 請求項１又は２に記載のデータ生成編集装置において、
   前記タッチ情報取得手段が、前記受け付けられたタッチ操作の移動速度を取得し、
   前記生成編集手段が、前記取得した移動速度を含む前記タッチ情報に基づいて、前記色替えタイミングを示す前記表示制御データを生成又は編集する、データ生成編集装置。
4. 請求項１から３に記載のデータ生成編集装置において、
   前記位置情報には、前記タッチ操作が開始された開始位置、当該タッチ操作が終了した終了位置、当該タッチ操作が行われている範囲、及び、当該タッチ操作の操作速度が変化した位置の少なくともいずれか一方の情報が含まれる、データ生成編集装置。
5. 請求項１〜４のいずれか１項に記載のデータ生成編集装置において、
   前記表示手段に表示されたテキスト上を、前記テキストデータの先頭から最終部分に向かって、連続的に実行されるタッチ操作を受け付ける、データ生成編集装置。
6. 請求項１〜５のいずれか１項に記載のデータ生成編集装置において、
   前記タッチ情報取得手段が、前記受け付けられたタッチ操作に基づいて、テキストデータのテキストが複数に分割されたブロック毎に、前記操作時間情報、及び、位置情報の少なくともいずれか一方の情報を取得する、データ生成編集装置。
7. 請求項１〜６のいずれか１項に記載のデータ生成編集装置において、
   前記タッチ情報取得手段によって、前記タッチ操作中の予め定められた動作が検出された場合には、
   前記生成編集手段が、当該検出した予め定められた動作に基づいて、前記色替えに関する表示制御を前記生成又は編集する前記表示制御データに追加する、データ生成編集装置。
8. 請求項７に記載のデータ生成編集装置において、
   前記予め定められた動作には、前記テキストデータの先頭から最終部分に向かって連続的に実行されるタッチ操作と異なる方向に操作される動作を含み、
   前記色替えに関する表示制御には、前記色替えを行う際の他の部分と異なることを示す表示を行う制御が含まれる、データ生成編集装置。
9. 請求項１〜６のいずれか１項に記載のデータ生成編集装置において、
   前記取得手段が、更に前記表示制御データを取得し、
   前記生成編集手段が、前記取得された操作時間情報又は前記変化時間情報に基づいて、前記取得された表示制御データの編集を実行する、データ生成編集装置。
10. コンピュータによって、コンテンツデータの再生中に、テキストが表示手段に表示される際のテキスト表示制御データを生成又は編集するプログラムであって、
    前記コンピュータを、
    前記コンテンツデータの再生に伴って表示手段に表示されるテキストデータを取得するテキストデータ取得手段と、
    前記コンテンツデータを再生する再生手段と、
    前記コンテンツデータの再生に伴って前記テキストデータによって構成されるテキストを表示手段に表示する表示制御手段と、
    前記表示手段に表示されたテキストに対してタッチ操作を受け付ける受付手段と、
    前記受け付けられたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方の情報を取得するタッチ情報取得手段と、
    前記取得されたタッチ情報に基づいて、前記コンテンツデータの再生中に表示された前記テキストの色替えタイミングを示す前記表示制御データを生成又は編集する生成編集手段と、
    として機能させることを特徴とするプログラム。
11. コンテンツデータの再生中に、テキストが表示手段に表示される際のテキスト表示制御データを生成又は編集するデータ生成編集方法であって、
    前記コンテンツデータの再生に伴って表示手段に表示されるテキストデータを取得するテキストデータ取得工程と、
    前記コンテンツデータの再生に伴って前記テキストデータによって構成されるテキストを表示手段に表示する表示制御工程と、
    前記表示手段に表示されたテキストに対してタッチ操作を受け付ける受付工程と、
    前記受け付けられたタッチ操作に基づく時間情報を示す操作時間情報、及び、当該タッチ操作の位置を示す位置情報の少なくともいずれか一方の情報を取得するタッチ情報取得工程と、
    前記取得されたタッチ情報に基づいて、前記コンテンツデータの再生中に表示された前記テキストの色替えタイミングを示す前記表示制御データを生成又は編集する生成編集工程と、
    を含むことを特徴とするデータ生成編集方法。

Images