JP2006267835A - Karaoke system and program - Google Patents
Karaoke system and program Download PDFInfo
- Publication number
- JP2006267835A JP2006267835A JP2005088258A JP2005088258A JP2006267835A JP 2006267835 A JP2006267835 A JP 2006267835A JP 2005088258 A JP2005088258 A JP 2005088258A JP 2005088258 A JP2005088258 A JP 2005088258A JP 2006267835 A JP2006267835 A JP 2006267835A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- remote control
- communication
- karaoke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、カラオケシステムにおいてリモコン端末によって歌詞、背景画像等の表示及びカラオケ演奏の出力を行うための技術に関する。 The present invention relates to a technique for displaying lyrics and background images and outputting karaoke performances with a remote control terminal in a karaoke system.
従来、カラオケ装置において楽曲のカラオケ演奏に合わせてモニタなどの表示装置に歌詞を表示させるとともに、リモコン端末においても液晶モニタ等の表示装置に楽曲の歌詞及び背景画像を表示させるよう構成されたカラオケシステムが知られている。 Conventionally, a karaoke system is configured to display lyrics on a display device such as a monitor in accordance with the karaoke performance of the music in the karaoke device, and to display lyrics and background images of the music on the display device such as a liquid crystal monitor in the remote control terminal. It has been known.
このようなカラオケ装置においては、歌詞データ及び背景画像データをカラオケ装置本体からリモコン端末へ無線LAN等の無線通信によって送信する。そして、リモコン端末は、送信されたデータを受信しながら同時に再生を行うストリーミング処理によって、歌詞及び背景画像を表示装置に表示する。 In such a karaoke apparatus, lyrics data and background image data are transmitted from the karaoke apparatus body to the remote control terminal by wireless communication such as wireless LAN. Then, the remote control terminal displays the lyrics and the background image on the display device by streaming processing that simultaneously reproduces while receiving the transmitted data.
上述のような無線通信によってデータを送受信する場合、通信帯域幅(ここでは、通信速度と同義とする。)は、無線アクセスポイントに同時に接続しているリモコン端末の数や、無線アクセスポイントとリモコン端末との距離、他の電子機器等から発生するノイズ等の影響により刻々と変化する。即ち、無線アクセスポイントに多数のリモコン端末が同時に接続している場合や、無線アクセスポイントとリモコン端末との距離が遠い場合、他の電子機器等からノイズが発生している場合等の通信状況の影響により通信帯域幅が減少することがある。このような状況においては、歌詞及び背景画像を適切に表示するために伝送すべきデータ量に見合った通信速度を確保できない可能性がある。 When data is transmitted and received by wireless communication as described above, the communication bandwidth (here, synonymous with communication speed) is the number of remote control terminals that are simultaneously connected to the wireless access point, the wireless access point and the remote control. It changes every moment due to the influence of the distance from the terminal, noise generated from other electronic devices, and the like. That is, when there are many remote control terminals connected to the wireless access point at the same time, when the distance between the wireless access point and the remote control terminal is long, or when noise is generated from other electronic devices, etc. The communication bandwidth may decrease due to the influence. In such a situation, there is a possibility that the communication speed corresponding to the amount of data to be transmitted in order to appropriately display the lyrics and the background image may not be ensured.
一方、特許文献1には、複数の画像情報を表示する際の通信負荷や表示処理の負荷を軽減するため、各画像をユーザの関心度に応じて画像の表示品質を変化させる技術が記載されている。つまり、関心度が高い画像は高い表示品質で表示を行い、関心度の低い画像は低い表示品質で表示を行うことで、通信負荷や表示処理の負荷を軽減している。
しかし、上記従来技術では、ネットワークの通信状況に応じて刻々と変化する通信帯域幅の影響については配慮されておらず、通信状況の影響によって通信帯域幅が小さくなるような状況においては、必要な通信速度が得られない可能性がある。したがって、上述のようなカラオケ装置の場合、楽曲のカラオケ演奏中にリモコン端末の表示装置に歌詞及び背景画像を表示できなくなる可能性がある。 However, the above prior art does not consider the influence of the communication bandwidth that changes every moment according to the communication situation of the network, and is necessary in a situation where the communication bandwidth becomes smaller due to the influence of the communication situation. Communication speed may not be obtained. Therefore, in the case of the karaoke apparatus as described above, there is a possibility that the lyrics and the background image cannot be displayed on the display device of the remote control terminal during the karaoke performance of the music.
また、カラオケ装置の表示においては、歌唱に必須な表示である歌詞と、歌唱に必須な表示ではない(表示がなくても歌唱が可能である)背景画像とを同一画面上に表示している。つまり、歌唱にとっての重要度の異なる表示が同一画面に表示されている。このような場合、データ伝送時の通信負荷を軽減するために表示品質を一様に低下させた場合、歌唱に必須ではない(即ち、重要度が低い)表示である背景画像とともに歌唱に必須な(即ち、重要度が高い)表示である歌詞の表示品質も一様に低下してしまう。あるいは通信帯域幅等の通信状況の影響によってはデータ送信不能となる可能性もある。このような場合、背景画像の表示品質が低下するだけでなく、歌唱にとって重要な表示であるはずの歌詞も見づらかったり表示されなかったりすることで歌唱できなくなってしまう可能性がある。 Moreover, in the display of a karaoke apparatus, the lyrics which are indispensable displays for singing and the background image which is not indispensable for singing (can be sung without display) are displayed on the same screen. . In other words, displays having different degrees of importance for singing are displayed on the same screen. In such a case, when the display quality is uniformly reduced in order to reduce the communication load during data transmission, it is essential for singing together with a background image that is not essential for singing (ie, less important). The display quality of the lyrics that are the display (that is, the degree of importance is high) is also lowered uniformly. Alternatively, data transmission may be disabled depending on the influence of the communication status such as the communication bandwidth. In such a case, not only the display quality of the background image is deteriorated, but there is a possibility that the lyrics that should be important for the singing are difficult to see or are not displayed, so that the singing cannot be performed.
本発明は、上記のような問題に鑑みなされており、データの重要度を加味した表示品質の変更を通信状況に応じて行うことで、歌詞データ、背景画像データ等をカラオケ装置からリモコン端末へと伝送し、リモコン端末において歌詞及び背景画像等を滞りなく表示することができるカラオケシステムを提供することを目的とする。 The present invention has been made in view of the above problems, and by changing display quality in consideration of the importance of data in accordance with the communication status, lyrics data, background image data, and the like are transferred from the karaoke device to the remote control terminal. It is an object of the present invention to provide a karaoke system capable of displaying lyrics and background images and the like on a remote control terminal without delay.
上記問題を解決するためになされた請求項1に記載のカラオケシステムは、通信状況データに基づき判定した通信速度に応じて、背景画像データを間引いてリモコン端末へデータを送信することで歌詞画像データを優先的にリモコン端末へ送信することを特徴とする。
The karaoke system according to
具体的に、上記カラオケシステムは、選曲された楽曲の演奏データに基づいてカラオケ演奏を行うカラオケ装置と、使用者からの指示を受け付け、この受け付けた指示をカラオケ装置に通知する通知機能を有するリモコン端末とを備えており、カラオケ装置とリモコン端末との間でデータ通信可能に構成されている。 Specifically, the karaoke system includes a karaoke apparatus that performs karaoke performance based on performance data of a selected music piece, and a remote controller that receives an instruction from a user and notifies the karaoke apparatus of the received instruction. A terminal, and is configured to allow data communication between the karaoke apparatus and the remote control terminal.
このうちカラオケ装置は、楽曲の歌詞を示す文字及びこの文字の表示色が一方から他方へ所定幅ずつ変化する色変わりを表示するための歌詞画像データと、背景画像を表示するための背景画像データとを記憶する記憶手段と、リモコン端末が備えるリモコン側通信部との間でデータを送受信するカラオケ装置側通信部と、記憶手段に記憶されている歌詞画像データ及び背景画像データをカラオケ装置側通信部を介してリモコン端末へ送信するデータ送信手段とを備えている。 Among these, the karaoke device includes a lyric image data for displaying a character indicating the lyrics of the music and a color change in which the display color of the character changes from one to the other by a predetermined width, and a background image data for displaying a background image. A karaoke device side communication unit that transmits and receives data between a storage unit that stores data and a remote control side communication unit included in the remote control terminal, and a karaoke device side communication unit that stores lyrics image data and background image data stored in the storage unit And data transmission means for transmitting to the remote control terminal.
なお、ここでの背景画像データとは、例えば、複数の静止画像(フレーム)を連続的に表示することで映像を動画として構成するための画像データ等のことをいう。具体的には、例えば通常状態でのフレームレートが8fpsの画像データ等が用いられる。また、歌詞画像データは、歌詞を示す文字及びこの文字に対する色変わりを、上記の背景画像データと同様形式の画像データで記録したものである。 The background image data here refers to, for example, image data for configuring a video as a moving image by continuously displaying a plurality of still images (frames). Specifically, for example, image data having a frame rate of 8 fps in a normal state is used. The lyric image data is obtained by recording a character indicating the lyric and a color change with respect to the character as image data in the same format as the background image data.
一方、リモコン端末は、カラオケ装置が備えるカラオケ装置側通信部との間でデータを送受信するリモコン側通信部と、カラオケ装置側から送信されてきた歌詞画像データ及び背景画像データをリモコン側通信部を介して受信するデータ受信手段と、データ受信手段が受信したデータの受信状況に基づいて通信状況データを生成し、この通信状況データをリモコン側通信部を介してカラオケ装置へ送信する通信状況データ送信手段と、画像を表示する表示部と、データ受信手段によって受信した歌詞画像データ及び背景画像データで示される歌詞及び背景画像を表示部に表示させる表示制御手段とを備えている。 On the other hand, the remote control terminal has a remote control side communication unit that transmits / receives data to / from the karaoke device side communication unit included in the karaoke device, and a remote control side communication unit that transmits lyrics image data and background image data transmitted from the karaoke device side. Communication status data transmission that generates communication status data based on the data reception status received via the data reception means and transmits the communication status data to the karaoke device via the remote control side communication unit Means, a display unit for displaying an image, and a display control unit for displaying the lyrics and the background image indicated by the lyrics image data and the background image data received by the data receiving unit on the display unit.
更にカラオケ装置は、リモコン端末側から送信されてきた通信状況データに基づいて通信速度を判定する通信速度判定手段と、データ送信手段によって歌詞画像データ及び背景画像データを送信する際に、通信速度判定手段によって判定された通信速度に基づいて、単位時間当たりに送信すべきデータ量が判定された通信速度より小さくなるようなデータ量の背景画像データを送信する背景画像データとして選択する選択処理を実行するデータ選択手段、及び、通信速度判定手段によって判定された通信速度に基づいて、送信する背景画像データを所定の割合で間引く間引き処理を実行するデータ間引き手段の少なくとも何れかの手段とを備えている。 Further, the karaoke apparatus determines the communication speed when transmitting the lyrics image data and the background image data by the communication speed determining means for determining the communication speed based on the communication status data transmitted from the remote control terminal side, and the data transmitting means. Based on the communication speed determined by the means, a selection process is performed for selecting background image data with a data amount such that the data amount to be transmitted per unit time is smaller than the determined communication speed as background image data to be transmitted. And at least one of data thinning means for performing thinning processing for thinning background image data to be transmitted at a predetermined rate based on the communication speed determined by the communication speed determining means. Yes.
なお、ここでいう通信状況データとは、例えばデータ受信手段が受信した一回あたりの受信データ量や画像データのフレームごとの受信所要時間等、通信速度を推定するのに用いる種々の情報を含むデータである。 The communication status data here includes various information used for estimating the communication speed, such as the amount of received data received by the data receiving means and the required time for each frame of image data. It is data.
また、上記のように通信速度判定手段によって判定された通信速度に基づいて、単位時間当たりに送信すべきデータ量が判定された通信速度より小さくなるようなデータ量の背景画像データを送信する背景画像データとして選択するには、単位時間当たりに送信すべきデータ量(ビットレートともいう)が異なる複数の背景画像データを予め記憶手段に記憶しておき、その中から送信する背景画像データを選択するようにすればよい。 Further, based on the communication speed determined by the communication speed determination means as described above, the background for transmitting the background image data having a data amount such that the data amount to be transmitted per unit time is smaller than the determined communication speed. In order to select as image data, a plurality of background image data with different amounts of data to be transmitted per unit time (also referred to as bit rate) is stored in advance in a storage means, and the background image data to be transmitted is selected from among them. You just have to do it.
本発明のカラオケシステムによれば、通信状況データに基づき判定した通信速度に応じて、単位時間当たりに送信すべきデータ量が通信速度より小さくなるような背景画像データをビットレートが異なる複数の背景画像データの中から選択したり、送信する背景画像データを間引いたりして、この背景画像データ及び歌詞画像データをリモコン端末へ送信する。具体的には、何らかの事情で通信帯域幅が狭まり通信速度が低下した場合、その通信速度に応じて、送信する背景画像データをビットレートが大きい背景画像データから、よりビットレートが小さい背景画像データへ切り替えたり、送信する背景画像データを間引いたりする(即ち、送信するデータ量を低減する)ことで、その通信速度に見合ったデータ量で歌詞画像データ及び背景画像データをリモコン端末へ送信する。即ち、通常時よりも帯域幅が狭く通信速度が遅い状況においては、カラオケの歌唱にとって重要度が低い背景画像の表示品質を低下させ、重要度がより高い歌詞表示については表示品質を低下させることなく表示することができる。また、通信速度の低下の度合いによっては、背景画像データのすべてを間引いて(即ち、背景画像データを送信しない。)歌詞画像データのみを送信するといった対応も可能である。反対に、通信帯域幅が広くなり、伝送容量が十分に確保できるまでに通信速度が回復した場合には、送信する背景画像データをビットレートが小さいものからビットレートが大きいものへ切り替える、もしくは、背景画像データを間引くことなくリモコン端末へ送信してもよい。 According to the karaoke system of the present invention, according to the communication speed determined based on the communication status data, the background image data such that the amount of data to be transmitted per unit time is smaller than the communication speed is converted into a plurality of backgrounds having different bit rates. The image data is selected from the image data, or the background image data to be transmitted is thinned out, and the background image data and the lyrics image data are transmitted to the remote control terminal. Specifically, when the communication bandwidth is narrowed for some reason and the communication speed is lowered, the background image data to be transmitted is changed from the background image data having a higher bit rate to the background image data having a lower bit rate according to the communication speed. The lyric image data and the background image data are transmitted to the remote control terminal with a data amount corresponding to the communication speed by switching to the above or thinning out the background image data to be transmitted (that is, reducing the amount of data to be transmitted). That is, in a situation where the bandwidth is narrower and the communication speed is slower than usual, the display quality of the background image that is less important for karaoke singing is reduced, and the display quality is lowered for the lyrics that are more important. Can be displayed. Further, depending on the degree of decrease in the communication speed, it is possible to deal with the case where all the background image data is thinned out (that is, the background image data is not transmitted) and only the lyrics image data is transmitted. On the other hand, when the communication bandwidth is widened and the communication speed is recovered until the transmission capacity can be sufficiently secured, the background image data to be transmitted is switched from the one with the low bit rate to the one with the high bit rate, or The background image data may be transmitted to the remote control terminal without being thinned out.
このようにすることで、通信速度に応じて送信する背景画像データのデータ量を低減し、歌詞画像データを優先してこれらのデータをカラオケ装置からリモコン端末へと送信し、リモコン端末において歌詞及び背景画像を滞りなく表示することができる。 By doing so, the amount of background image data to be transmitted is reduced according to the communication speed, and the lyrics image data is preferentially transmitted from the karaoke device to the remote control terminal. A background image can be displayed without delay.
ところで、通信帯域幅が狭まることで通信速度が著しく低下し、背景画像データを送信することのみならず歌詞画像データを単独で送信することすらできなくなるような事態も考えられる。このような事態に備えて、以下のような対策を講じることが考えられる。 By the way, the communication speed is remarkably lowered by narrowing the communication bandwidth, and there may be a situation in which not only background image data but also lyrics image data cannot be transmitted alone. In preparation for such a situation, the following measures can be taken.
まず、楽曲の歌詞を示すテキストデータ及びこのテキストデータで示される文字の色変わりを制御するための制御データ等からなる「歌詞テキストデータ」を記憶手段に記憶させておく。そして、通信速度が著しく低下し、歌詞画像データを送信することができない場合、データ送信手段は、この歌詞画像データの代わりに歌詞テキストデータをリモコン端末へ送信する。 First, “lyric text data” including text data indicating the lyrics of music and control data for controlling the color change of characters indicated by the text data is stored in the storage means. If the communication speed is significantly reduced and the lyrics image data cannot be transmitted, the data transmission means transmits the lyrics text data to the remote control terminal instead of the lyrics image data.
上記の歌詞テキストデータは、歌詞の文字をテキスト形式で示し、更に歌詞の色変わりを、色変わりの位置や時間等を規定する制御データによって示している。このようなテキストデータ及び制御データからなる歌詞テキストデータは、歌詞の文字及び色変わりを画像形式で示している歌詞画像データと比較して、データ量が大幅に少ない(一般的には、数十〜数百分の一程度)。したがって、通信速度が低下して歌詞画像データを送信できない場合、データ量の少ない歌詞テキストデータ送信することで、リモコン端末側で歌詞表示を継続することができる。ただし、この歌詞テキストデータは、リモコン端末側でデータから画像を再生する際に必要な処理の量が歌詞画像データの場合よりも多い。その結果、リモコン端末側の処理負荷が増大してしまう。 The above-mentioned lyrics text data indicates the characters of the lyrics in a text format, and further indicates the color change of the lyrics by control data defining the color change position and time. The lyric text data composed of such text data and control data has a significantly smaller amount of data than the lyric image data showing the character and color change of the lyrics in an image format (generally, several tens to Hundreds of times). Therefore, when the communication speed decreases and the lyrics image data cannot be transmitted, the lyrics display can be continued on the remote control terminal side by transmitting the lyrics text data with a small data amount. However, this lyric text data requires more processing than the lyric image data when the remote control terminal side reproduces an image from the data. As a result, the processing load on the remote control terminal side increases.
そこで、通信帯域幅が広く、歌詞画像データを送信するのに十分な通信速度を確保することができる状況においては、歌詞画像データをリモコン端末へ送信すれば、リモコン端末側で画像を表示する際の処理負荷を減らすことができる。一方、通信帯域幅が狭く、歌詞画像データを送信するのに十分な通信速度を確保することができない状況においては、歌詞テキストデータをリモコン端末側へ送信することで、通信速度が著しく低下した状況であってもリモコン端末側での歌詞表示を継続することができる。 Therefore, in a situation where the communication bandwidth is wide and the communication speed sufficient to transmit the lyrics image data can be secured, if the lyrics image data is transmitted to the remote control terminal, the image is displayed on the remote control terminal side. The processing load can be reduced. On the other hand, when the communication bandwidth is narrow and the communication speed sufficient to transmit the lyrics image data cannot be secured, the transmission speed is significantly reduced by transmitting the lyrics text data to the remote control terminal side. Even so, the lyrics display on the remote control terminal can be continued.
また、上述のデータ間引き手段が行う間引き処理の具体例としては、請求項2に記載のカラオケシステムのように、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引く方法が挙げられる。例えば、間引き対象データ(背景画像データ又は歌詞画像データ)がデフォルトにて0.125秒間隔でフレームを切り替える8fpsの画像データであるならば、通信速度に応じて、0.25秒ごと(4fps)にフレームを抽出し、他のフレームを間引くといった具合に間引き処理を実行する。
Further, as a specific example of the thinning process performed by the data thinning unit, a method of extracting frame data for every predetermined time from thinning target data and thinning out other frame data as in the karaoke system according to
このようにすることで、等間隔でフレームを間引くことができ、表示品質を低下させても、画像を極力滑らかに表示することができる。
また、請求項3に記載のカラオケシステムのように、データ間引き手段が間引き対象である背景画像データから、シーンが変化する際のフレームデータを抽出し、他のフレームデータを間引くように構成されていてもよい。具体的には、記憶手段に記憶されている背景画像データに対して、背景画像のシーン(例えば、楽曲のタイトル表示、景色、時間等)が変化するフレームのデータにシーン変化フラグデータを予め付加しておき、データ間引き手段は、このシーン変化フラグデータが付加されたフレームデータを抽出し、他のフレームデータを間引くといった方法が挙げられる。
In this way, frames can be thinned out at equal intervals, and an image can be displayed as smoothly as possible even if the display quality is reduced.
Further, as in the karaoke system according to
このようにすることで、間引きされた背景画像データによって背景画像をシーンの変化ごとに表示することができ、背景画像におけるストーリー展開や演出等を重視した表示を行うことができる。 By doing in this way, the background image can be displayed for each scene change by the thinned background image data, and the display emphasizing story development and effects in the background image can be performed.
また、請求項4に記載のカラオケシステムのように、データ間引き手段が通信速度判定手段によって判定された通信速度に基づき、送信可能フレーム最大数を判定し、この判定した送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くように構成されていてもよい。具体的には、通信速度と1フレームあたりのデータ量とから算出した送信可能フレーム最大数が1秒間に7フレームである場合、間引き対象データがデフォルトで8fpsの画像データであれば、1秒あたり1フレームを間引くといった方法が挙げられる。このようなデータ間引き方法によれば、通信速度が徐々に低下するような状況であれば、その通信速度に応じて送信するフレーム数を徐々に減らすことがでる。また、低下した通信速度が徐々に回復していくような状況では、その通信速度に応じて送信するフレームの数を徐々に増やして、最終的にデフォルトの送信フレーム数(例えば、8fps)に戻すといった柔軟な対応が可能である。
Further, as in the karaoke system according to
なお、上記の間引き処理を実行する際には、間引き処理後の画像データにおけるフレームデータ同士の時間的な間隔がなるべく等しくなるようにフレームデータを間引くことが望ましい。このようにすれば、フレームデータを間引くことで表示品質を低下させても、画像を極力滑らかに画像を表示することができる。 When performing the above-described thinning process, it is desirable to thin out the frame data so that the time intervals between the frame data in the image data after the thinning process are as equal as possible. In this way, even if the display quality is reduced by thinning out the frame data, the image can be displayed as smoothly as possible.
ところで、何らかの事情で通信帯域幅が狭まり通信速度が著しく低下しているような状況においては、通信状況データをカラオケ装置へ送信できない可能性がある。また、通信状況データを送信することでその分の通信帯域を占有してしまうと、背景画像データ、歌詞画像データ等を送信するための通信帯域が不足してしまう可能性がある。 Incidentally, there is a possibility that the communication status data cannot be transmitted to the karaoke apparatus in a situation where the communication bandwidth is narrowed for some reason and the communication speed is significantly reduced. Moreover, if the communication bandwidth data is occupied by transmitting the communication status data, there is a possibility that the communication bandwidth for transmitting the background image data, the lyrics image data, and the like is insufficient.
そこで、請求項5に記載のカラオケシステムのように構成するとよい。つまり、カラオケ装置は、リモコン端末が備えるリモコン側第二通信部から送信されたデータを受信するカラオケ装置側第二側通信部を備えており、リモコン端末は、カラオケ装置が備えるカラオケ装置側第二通信部へデータを送信するリモコン側第二通信部を備えており、通信状況データ送信手段は、カラオケ装置から歌詞画像データを受信していないと判定した場合、リモコン側第二通信部を介して通信状況データをカラオケ装置側へ送信するように構成する。具体的には、カラオケ装置側通信部とリモコン側通信部とが、例えば「IEEE 802.11b」規格による無線LAN通信によって通信を行うのであれば、カラオケ装置側第二通信部及びリモコン側第二通信部は、例えば「IrDA」(登録商標)規格による赤外線通信によって通信を行うといった構成が挙げられる。
Then, it is good to comprise like the karaoke system of
本発明のカラオケシステムでは、通信速度に応じて、送信する背景画像データのデータ量を変化させることによって、歌詞画像データを優先的に送信するように構成されている。したがって、リモコン端末側で歌詞画像データを受信できないということは、優先的に送信すべき歌詞画像データすら送信できない程に通信帯域幅が狭まっている(即ち、通信速度が著しく低下している)と考えられる。このような状況において、リモコン端末側でリモコン側第二通信部を介して通信状況データをカラオケ装置側へ送信することで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、通信状況データを確実にカラオケ装置へ送信することができると共に、通信状況データを送信することでその分の通信帯域を占有してしまうことがない。 The karaoke system of the present invention is configured to preferentially transmit lyrics image data by changing the amount of background image data to be transmitted in accordance with the communication speed. Therefore, the fact that the lyrics image data cannot be received on the remote control terminal side means that the communication bandwidth is narrowed so that even the lyrics image data to be transmitted with priority cannot be transmitted (that is, the communication speed is significantly reduced). Conceivable. In such a situation, by transmitting communication status data to the karaoke device side via the remote control side second communication unit on the remote control terminal side, in a situation where the communication bandwidth is narrowed and the communication speed is significantly reduced, The communication status data can be reliably transmitted to the karaoke apparatus, and the communication bandwidth data is not occupied by transmitting the communication status data.
また、何らかの事情で通信帯域幅が狭まり通信速度が著しく低下しているような状況において、背景画像データ、歌詞画像データ、演奏データ等のあらゆるデータをリモコン端末へ送信することができない場合、カラオケ装置での演奏が始まっているにも関わらず、リモコン端末の表示部に何も表示されないのでは、「リモコン端末が故障している」といった使用者の誤解を招くおそれがある。 Also, in a situation where the communication bandwidth is narrowed for some reason and the communication speed is remarkably reduced, if any data such as background image data, lyrics image data, performance data cannot be transmitted to the remote control terminal, the karaoke device If nothing is displayed on the display unit of the remote control terminal even though the performance has started, there is a risk of misunderstanding of the user such as “the remote control terminal is out of order”.
そこで、請求項6に記載のカラオケシステムのように構成してもよい。つまり、リモコン端末は、データ受信手段がカラオケ装置側から所定時間以上データを受信していないか否かを判定する受信判定手段を備えており、受信判定手段によって所定時間以上データを受信していないと判定された場合、表示制御手段は、データを受信できない旨又は歌詞を表示できない旨を表示部に表示するように構成する。
Then, you may comprise like the karaoke system of
このようにすることで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、背景画像データ、歌詞画像データ、演奏データ等のあらゆるデータをリモコン端末へ送信することができない場合であっても、使用者の誤解を招くことを防止できる。 By doing so, in a situation where the communication bandwidth is narrowed and the communication speed is significantly reduced, all data such as background image data, lyrics image data, performance data, etc. cannot be transmitted to the remote control terminal. Even if it exists, it can prevent a user's misunderstanding.
なお、請求項7に示すように、請求項1ないし請求項6の何れか1項に記載のカラオケシステムにおける通信速度判定手段及びデータ間引き手段、又は通信状況データ送信手段は、コンピュータを機能させるためのプログラムによって実現できる。また、このようなプログラムの場合、FD、MO、DVD−ROM、CD−ROM、ハードディスク等のコンピュータによって読み取り可能な記録媒体としてこのプログラムを記録しておき、必要に応じてコンピュータにロードして起動することにより用いることができる。また、ROMやバックアップRAMに本プログラムを書き込んでおき、これらのROMやバックアップRAMをコンピュータに組み込んで用いてもよい。
In addition, as shown in
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、カラオケシステムの概略構成を示すブッロク図である。
図1に示すように、カラオケシステムはカラオケ装置1とリモコン端末2とがネットワーク100を介してデータ通信可能に構成されたものである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of the karaoke system.
As shown in FIG. 1, the karaoke system is configured such that a
[カラオケ装置1の構成の説明]
カラオケ装置1は、図1に示すように、カラオケ装置1全体の作動を制御する制御部12、カラオケ装置1をネットワーク100に接続するためのインタフェース部14、演奏データ、歌詞データ及び背景データ等のコンテンツデータを記憶するハードディスク(HDD)16、複数のキー・スイッチからなり、曲の予約操作等を行うための操作部18、リモコン端末2や携帯電話から送信された赤外線信号を赤外線通信規格(IrDA(登録商標))に従って受信するための赤外線通信部20、操作部18からの信号を処理する操作処理部22、マイクロフォン26、HDD16に記憶された演奏データ(MIDIデータ)に基づく演奏再生を行うMIDI音源30、MIDI音源30から出力されたデジタル信号から演奏楽曲のオーディオ信号(音響、音声に関する信号)を生成し、生成されたオーディオ信号及びマイクロフォン26から入力されたオーディオ信号を増幅してスピーカ28へ出力する音声制御部24、画像データを一時的に記憶するビデオRAM32、ビデオRAM32に記憶された画像データに基づく映像の再生を制御する映像再生部34、映像再生部34により再生される映像の表示部36での表示を制御する映像制御部38などを備えている。また、制御部12と音声制御部24とはUSB40によって接続されている。
[Description of configuration of karaoke apparatus 1]
As shown in FIG. 1, the
このうちHDD16は、演奏データと、歌詞データとしての歌詞画像データ及び歌詞テキストデータと、背景データとしての背景画像データ及び圧縮背景画像データとを記憶する。ここで演奏データとは、演奏楽曲の伴奏内容を示す情報のことをいう。また歌詞画像データとは、楽曲の歌詞をカラオケ装置1の表示部36やリモコン端末2の表示部58に表示させるための画像データである。具体的には、演奏楽曲の歌詞を示す文字情報及びこの文字が表示された際にその表示色を伴奏の流れに沿って一方から他方へ所定幅ずつ変更するためのいわゆる色変わりを示す情報を画像情報として構成したデータことをいう。また、歌詞テキストデータは、画像データである前記歌詞画像データとは異なるデータ形式で構成されており、歌詞の文字をテキスト形式で示し、更に歌詞の色変わりを、色変わりの位置や時間等を規定する制御データによって示す。なお、テキストデータ及び制御データからなる歌詞テキストデータは、歌詞の文字及び色変わりを画像情報として示している歌詞画像データと比較してデータ量が大幅に少ない(一般的には、数十〜数百分の一程度)。ただし、歌詞テキストデータは、データから画像を再生する際に必要な処理の量が歌詞画像データの場合よりも多く、歌詞画像データを再生処理する場合と比較して処理負荷が増大する。
Among these, the
また、背景画像データは、楽曲演奏時にカラオケ装置1の表示部36やリモコン端末2の表示部58に楽曲の歌詞画像とともに表示する背景画像を示す画像データである。そして、圧縮背景画像データは、背景画像データを更に高い圧縮率で圧縮して(即ち、画質を低下させて)データ量を低減したものである。なお、本実施形態では、HDD16に記憶されている背景画像データ、圧縮背景画像データ及び歌詞画像データはフレームレートが8fpsであるMPEG2形式の動画データである。また、本実施形態における各画像データのビットレートは、背景画像データで8Mbps、圧縮背景動画データで4Mbps、歌詞画像データで2Mbpsであり、各データのビットレートはデータテーブルとしてHDD16に記憶されている。
The background image data is image data indicating a background image to be displayed together with the lyrics image of the music on the display unit 36 of the
一方、制御部12は、ユーザ側から通知された演奏楽曲に対応する楽曲のカラオケ演奏をする際に、歌詞データ(以下、単に歌詞データと表記する場合は歌詞画像データ又は歌詞テキストデータのことを表す。)及び背景データ(以下、単に背景データと表記する場合は、背景画像データ又は圧縮背景画像データのことを表す。)をHDD16から読み出して、これらのデータをリモコン端末2へ無線アクセスポイント110を介して送信する機能を有する。
On the other hand, when performing the karaoke performance of the music corresponding to the performance music notified from the user side, the
また、制御部12は、無線アクセスポイント110を介してリモコン端末2へデータを送信する際に、ネットワーク100における通信状況に応じて、送信する背景データ及び歌詞データのデータ量を変更する処理を実行する機能を有する。具体的には、リモコン端末2から送信されてきた通信状況データ(後述)に基づき、通信速度を算出し、その算出した通信速度に応じて、送信する背景データを背景画像データからよりデータ量が小さい圧縮背景画像データに変更したり、更に圧縮背景画像データから通信速度に応じた所定の間引き割合によってフレームデータを間引いたり、送信する歌詞データを歌詞画像データからよりデータ量が小さい歌詞テキストデータに変更したりする。なお、これらの処理についての詳細な説明は後述する。
In addition, when transmitting data to the
なお、制御部12は特許請求の範囲におけるデータ送信手段、通信速度判定手段、データ選択手段及びデータ間引き手段に相当する。また、インタフェース部14はカラオケ装置側通信部に相当する。また、HDD16は記憶手段に相当する。また、赤外線通信部20はカラオケ装置側第二通信部に相当する。
The
[リモコン端末2の構成の説明]
リモコン端末2は、曲の予約等をするための操作を利用者から受け付け、その操作信号をカラオケ装置1に送信する機能を有すると共に、カラオケ装置1から受信した各種データに基づいて画像の表示等を行う機能も有する。
[Description of configuration of remote control terminal 2]
The
具体的にリモコン端末2は、図1に示すように、リモコン端末2全体の作動を制御する制御部52、赤外線通信規格(IrDA)に従ってカラオケ装置1に赤外線信号を送信する赤外線通信部54、各種情報を記憶するメモリ56、表示部58の表示領域に沿って設置されるタッチパネル及び複数のキー・スイッチからなり、利用者からの操作を受け付ける操作部60、操作部60からの信号を処理する操作処理部62、画像データを一時的に記憶するビデオRAM64、ビデオRAM64に記憶された画像データの表示部58での表示を制御する映像制御部66、ネットワーク100に接続された無線アクセスポイント110との間で無線LAN規格(例えば、IEEE802.11a/b/g規格,HomeRF規格,Bluetooth規格など)に従った無線通信を行うための無線LAN通信部68などを備えている。
Specifically, as shown in FIG. 1, the
このうち無線LAN通信部68は、カラオケ装置1から無線アクセスポイント110を介して送信された歌詞データ及び背景データを受信可能である。
また、制御部52は、無線LAN通信部68を介して受信した歌詞データ及び背景データがそれぞれ示す歌詞画像及び背景画像を表示部58に表示させる機能を有している。また、制御部52は、無線LAN通信部68を介してカラオケ装置1からデータを受信した際の受信状況に基づいて通信状況データを生成し、これを無線LAN通信部68又は赤外線通信部54を介してカラオケ装置1へ送信する機能を有する。これらの処理についての詳細な説明は後述する。
Among these, the wireless
The
なお、制御部52は特許請求の範囲におけるデータ受信手段、通信状況データ送信手段及び受信判定手段に相当する。赤外線通信部54はリモコン側第二通信部に相当する。また、無線LAN通信部68はリモコン側通信部に相当する。また、制御部52及び映像制御部66は表示制御手段に相当する。
The
[その他の構成の説明]
また、上述のネットワーク100には無線アクセスポイント110が接続されている。この無線アクセスポイント110は、インフラストラクチャモードによる無線通信で端末間を接続するための電波中継機であり、複数の端末と同時に通信を行う機能を有する。カラオケ装置1とリモコン端末2とは、この無線アクセスポイント110を中継することによって、ネットワーク100を介してデータ通信を行うことができ、カラオケ装置1からリモコン端末2へ演奏楽曲の歌詞データや背景データ等をストリーミングによって転送することで、リモコン端末2において楽曲の歌詞及び背景の表示を実現する。
[Description of other configurations]
A
なお、ネットワーク100には、複数台のカラオケ装置1や図示しないデータサーバ、各種端末等を接続することが可能である。つまり、カラオケ店内の全てのカラオケ装置やサーバ及び端末等をネットワーク100に接続することで、1つのネットワークとして構成することができる。
Note that a plurality of
[カラオケ装置1におけるデータ送信処理の説明]
以下、カラオケ装置1の制御部12が実行するデータ送信処理の処理手順について、図2に示すフローチャート及び図7に基づいて説明する。このデータ送信処理は、カラオケ演奏時において、その演奏中の楽曲の歌詞データ及び背景データをカラオケ装置1からリモコン端末2へ送信する際に実行される。
[Description of Data Transmission Processing in Karaoke Apparatus 1]
Hereinafter, the process procedure of the data transmission process which the
図2は、カラオケ装置1の制御部12が実行するデータ送信処理におけるメイン処理を示すフローチャートである。
まず、ステップ10(以下、単にS10と表記する。他のステップについても同様。)において、利用者からの演奏のリクエストがあるか否か、即ち、演奏すべき楽曲が利用者によって選曲されているか否かを判定する。ここで、選曲がされていると判定した場合(S10:YES)、選曲された順にその楽曲のカラオケ演奏を開始し(S20)、S30へ移行する。なお、S10において、選曲がされていないと判定した場合(S10:NO)、そのままS10の処理を繰り返す。
FIG. 2 is a flowchart showing a main process in the data transmission process executed by the
First, in step 10 (hereinafter simply referred to as S10; the same applies to other steps), whether there is a performance request from the user, that is, whether the music to be played has been selected by the user. Determine whether or not. Here, when it is determined that the music is selected (S10: YES), the karaoke performance of the music is started in the selected order (S20), and the process proceeds to S30. If it is determined in S10 that the music is not selected (S10: NO), the process of S10 is repeated as it is.
S30では、楽曲の演奏の進行と同期して画像1秒分ごとの背景画像データ及び歌詞画像データをHDD16から読み出し、読み出した画像データを1フレームごとに分割する。次に、フレームごとに分割した背景画像データ及び歌詞画像データを、1フレームずつインタフェース部14を介してリモコン端末2へ送信する(S40)。このとき、送信するデータの先頭に演奏楽曲の曲番号及び当該演奏曲におけるデータの送信回数を示すデータを付加して、リモコン端末2へデータを送信する。
In S30, the background image data and the lyric image data for every one second of the image are read from the
次に、カラオケ演奏が終了したか否かを判定する(S50)。ここで、カラオケ演奏が終了していないと判定した場合(S50:NO)は、前回送信したデータに対応する通信状況データをリモコン端末2から受信したか否かを判定する(S60)。 Next, it is determined whether or not the karaoke performance is completed (S50). If it is determined that the karaoke performance has not ended (S50: NO), it is determined whether communication status data corresponding to the previously transmitted data has been received from the remote control terminal 2 (S60).
ここで、通信状況データについて説明する。通信状況データは、S40においてインタフェース部14を介してカラオケ装置1からリモコン端末2へ送信されたデータを無線LAN通信部68を介してリモコン端末2が受信した際、受信した背景画像データ又は歌詞画像データの受信状況に基づいてリモコン端末2側で生成され、リモコン端末2からカラオケ装置1へ送信されるデータである。カラオケ装置1の制御部12は、この通信状況データに基づいて通信速度を算出する(後述)。なお、図7は、通信状況データの具体的な内容を示す模式図である。この図7に示すように、通信状況データは、演奏中の楽曲の番号(演奏曲番号)、カラオケ装置1からデータを送信した回数(カラオケ装置の送信回数)、カラオケ装置1から1回のデータ送信でリモコン端末2が受信したデータの量(1送信あたりの受信データ量)及び各フレームを受信するのに要した時間(各フレームの受信所要時間)を示す情報からなるデータである。
Here, the communication status data will be described. The communication status data is the background image data or lyric image received when the
図2のフローチャートの説明に戻る。S60において、前回送信したデータに対応する通信状況データをリモコン端末2から受信したと判定した場合(S60:YES)、この受信した通信状況データに基づき、前回のデータ送信時における通信速度を算出し(S90)、S100へ移行する。なお、通信速度についは、次の数式(1)により算出する。
通信速度(bps)=1送信あたりの受信データ量(bit)/各フレームの所要時間の合計(秒)…数式(1)
一方、S60において前回送信したデータに対応する通信状況データを受信していないと判定した場合(S60:NO)、S70へ移行する。S70では、次の画像1秒分の歌詞画像データをHDD16から読み出し、読み出した歌詞画像データを1フレームごとに分割する。そして、フレームごとに分割した歌詞画像データを、インタフェース部14を介して1フレームずつリモコン端末2へ送信し(S80)、S50へ移行する。このように、リモコン端末2から通信状況データを受信しない場合(S60:NO)、何らかの理由(例えば、無線通信が混雑している等)でカラオケ装置1とリモコン端末2間の通信が滞っている可能性があると考えられる。したがって、このような状況においては、歌唱にとって重要度が低くしかもデータ量が比較的大きい背景画像データを送信せずに、より重要度が高くデータ量が比較的小さい歌詞画像データのみを優先的にリモコン端末2送信することで、通信が滞っているような状況においてもリモコン端末2側で歌詞の表示だけでも維持できるようにしている。
Returning to the flowchart of FIG. If it is determined in S60 that the communication status data corresponding to the previously transmitted data has been received from the remote control terminal 2 (S60: YES), the communication speed at the time of the previous data transmission is calculated based on the received communication status data. (S90), the process proceeds to S100. Note that the communication speed is calculated by the following equation (1).
Communication speed (bps) = received data amount per transmission (bit) / total time required for each frame (seconds) (1)
On the other hand, when it determines with not having received the communication condition data corresponding to the data transmitted last time in S60 (S60: NO), it transfers to S70. In S70, the lyric image data for one second of the next image is read from the
次に、S100では、S90において算出した通信速度と、背景画像データ及び歌詞画像データの単位時間当たりのデータ量(ビットレート)の合計とを比較する。このとき、通信速度との比較対象となるビットレートの合計は、HDD16から読み出した次に送信する画像1秒分のデータから実際のビットレートを取得してもよいし、上述のビットレートのデータテーブルからビットレートの合計を取得してもよい。
Next, in S100, the communication speed calculated in S90 is compared with the sum of the data amount (bit rate) per unit time of the background image data and the lyrics image data. At this time, the sum of the bit rates to be compared with the communication speed may be obtained from the data for one second of the image read out next from the
ここで、背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下である判定した場合(S100:YES)、S30へ移行し、S30及びS40を経て次の画像1秒分の背景画像データ及び歌詞画像データをリモコン端末2へ送信する。つまり、この場合においては、通信速度が背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像1秒分の背景画像データ及び歌詞画像データをそのままリモコン端末2へ送信する。
Here, when it is determined that the sum of the bit rates of the background image data and the lyrics image data is equal to or lower than the communication speed (S100: YES), the process proceeds to S30, and the background image for the next image of 1 second passes through S30 and S40. Data and lyrics image data are transmitted to the
一方、背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合(S100:NO)、S110へ移行し、次の画像1秒分の背景画像データに相当する部分の圧縮背景画像データをHDD16から読み出す。つまり、この場合においては、背景画像データ及び歌詞画像データをリモコン端末2へ送信するためには通信速度が足りないため、背景画像データに代えて、よりデータ量が小さい圧縮背景画像データを送信用のデータとして用いることで送信するデータ量の低減を図る。
On the other hand, if it is determined that the sum of the bit rates of the background image data and the lyric image data is greater than the communication speed (S100: NO), the process proceeds to S110, and the portion corresponding to the background image data for the next one second is displayed. The compressed background image data is read from the
続いて、S90において算出した通信速度と、圧縮背景画像データ及び歌詞画像データの単位時間当たりのデータ量(ビットレート)の合計とを比較する(S120)。このとき、通信速度との比較対照となるビットレートの合計は、HDD16から読み出した次に送信する画像1秒分のデータから実際のビットレートを取得してもよいし、上述のビットレートのデータテーブルからビットレートの合計を取得してもよい。
Subsequently, the communication speed calculated in S90 is compared with the total amount of data (bit rate) per unit time of the compressed background image data and the lyrics image data (S120). At this time, as the total bit rate to be compared with the communication speed, the actual bit rate may be acquired from the data for one second of image to be transmitted next read from the
S120において、圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下であると判定した場合(S120:YES)、S30へ移行し、S30及びS40を経て次の画像1秒分の圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信する。つまり、この場合においては、通信速度が圧縮背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像1秒分の圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信する。
In S120, when it is determined that the sum of the bit rates of the compressed background image data and the lyrics image data is equal to or lower than the communication speed (S120: YES), the process proceeds to S30, and the next image for one second is passed through S30 and S40. The compressed background image data and the lyrics image data are transmitted to the
一方、圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合(S120:NO)、S130へ移行し、圧縮背景画像データの間引き処理を実行する。そして、S130における間引き処理では、圧縮背景画像データからフレームを適宜間引くことでデータ量を低減させる。つまり、この場合においては、圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信するためには通信速度が足りないため、圧縮背景画像データに間引き処理を施すことで、送信するデータのデータ容量の低減を図る。なお、この間引き処理についての詳細な説明は後述する。
On the other hand, when it is determined that the sum of the bit rates of the compressed background image data and the lyrics image data is larger than the communication speed (S120: NO), the process proceeds to S130, and the compression background image data is thinned out. In the thinning process in S130, the data amount is reduced by appropriately thinning frames from the compressed background image data. That is, in this case, since the communication speed is insufficient to transmit the compressed background image data and the lyric image data to the
続いて、S140では、S90において算出した通信速度と、間引き処理を施した圧縮背景画像データ及び歌詞画像データの単位時間当たりのデータ量(ビットレート)の合計とを比較する。ここで、間引き処理を施した圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下であると判定した場合(S140:YES)、S30へ移行し、S30及びS40を経て次の画像1秒分の間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信する。つまり、この場合においては、通信速度が間引き処理を施した圧縮背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像1秒分の間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信する。
Subsequently, in S140, the communication speed calculated in S90 is compared with the sum of the data amount (bit rate) per unit time of the compressed background image data and the lyric image data subjected to the thinning process. Here, when it is determined that the sum of the bit rates of the compressed background image data and the lyric image data subjected to the thinning processing is equal to or lower than the communication speed (S140: YES), the process proceeds to S30, and the next process is performed through S30 and S40. The compressed background image data and the lyric image data subjected to the thinning process for one second of the image are transmitted to the
一方、間引きした圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合(S140:NO)、S150へ移行する。そして、S90において算出した通信速度と、歌詞画像データのみでの単位時間当たりのデータ量(ビットレート)とを比較する(S150)。つまり、この場合においては、間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末2へ送信するためには通信速度が足りないため、背景画像データを送信せずに、優先して送信すべき歌詞画像データのみを送信する処理に切り替えることでデータ容量の低減を図る。
On the other hand, when it is determined that the sum of the bit rates of the compressed background image data and the lyric image data thinned out is higher than the communication speed (S140: NO), the process proceeds to S150. Then, the communication speed calculated in S90 is compared with the data amount (bit rate) per unit time using only the lyrics image data (S150). That is, in this case, since the communication speed is insufficient to transmit the compressed background image data and the lyric image data subjected to the thinning process to the
S150において、歌詞画像データのビットレートが、通信速度以下であると判定した場合(S150:YES)、S70へ移行し、S70及びS80を経て次の画像1秒分の歌詞画像データをリモコン端末2へ送信する。つまり、この場合においては、通信速度が歌詞画像データを送信するのに十分な大きさであるため、次の画像1秒分の歌詞画像データをリモコン端末2へ送信する。
In S150, when it is determined that the bit rate of the lyric image data is equal to or lower than the communication speed (S150: YES), the process proceeds to S70, and the lyric image data for one second of the next image is transferred to the
一方、歌詞画像データのビットレートが、通信速度より大きいと判定した場合(S150:NO)、S160へ移行し、次の画像1秒分の歌詞画像データに相当する部分の歌詞テキストデータをHDD16から読み出し、S90で算出した通信速度と、この読み出した背景テキストデータのビットレートとを比較する。つまり、この場合においては、歌詞画像データをリモコン端末2へ送信するためには通信速度が足りないため、歌詞画像データに代えて、よりデータ量が小さい歌詞テキストデータを送信用のデータとして用いることで送信するデータ量の低減を図る。
On the other hand, if it is determined that the bit rate of the lyric image data is greater than the communication speed (S150: NO), the process proceeds to S160, and the lyric text data of the portion corresponding to the lyric image data for the next one second is read from the
S160において、歌詞テキストデータのビットレートが、通信速度以下であると判定した場合(S160:YES)、S170へ移行し、次の画像1秒分の歌詞テキストデータをリモコン端末2へ送信する。つまり、この場合においては、通信速度が歌詞テキストデータを送信するのに十分な大きさであるため、次の画像1秒分の歌詞テキストデータをリモコン端末2へ送信する。
In S160, when it is determined that the bit rate of the lyric text data is equal to or lower than the communication speed (S160: YES), the process proceeds to S170, and the lyric text data for the next image of 1 second is transmitted to the
一方、歌詞テキストデータのビットレートが、通信速度より大きいと判定した場合(S160:NO)、リモコン端末2へデータの送信をせず(S180)、そのままS50の処理へ戻る。 On the other hand, when it is determined that the bit rate of the lyric text data is higher than the communication speed (S160: NO), the data is not transmitted to the remote control terminal 2 (S180), and the process returns to S50 as it is.
なお、制御部12は以上で説明した各処理をカラオケ演奏が終了するまで繰り返し実行し、S50においてカラオケ演奏が終了したと判定した場合(S50:YES)、演奏終了命令をリモコン端末2へ送信し(S190)、データ送信処理を終了する。
The
[リモコン端末2におけるデータ送受信処理の説明]
以下、リモコン端末2の制御部52が実行するデータ送受信処理の処理手順について、図3に示すフローチャートに基づいて説明する。このデータ送受信処理は、カラオケ装置1によるカラオケ演奏時において、その演奏中の楽曲の歌詞や背景画像をリモコン端末2側で表示するために、歌詞データ及び背景データをカラオケ装置1から受信する際に実行される。
[Description of Data Transmission / Reception Processing in Remote Control Terminal 2]
Hereinafter, the processing procedure of the data transmission / reception process executed by the
図3は、リモコン端末2の制御部52が実行するデータ送受信処理を示すフローチャートである。
まず、S200において、カラオケ装置1に対して利用者からの演奏のリクエストをしたか否か、即ち、利用者によって選曲された楽曲をカラオケ装置1へ通知したか否かを判定する。ここで、選曲された楽曲をカラオケ装置1へ通知したと判定した場合(S200:YES)、S210へ移行する。なお、S200において、選曲の通知をしていないと判定した場合(S200:NO)、そのままS200の処理を繰り返す。
FIG. 3 is a flowchart showing data transmission / reception processing executed by the
First, in S200, it is determined whether or not a performance request from the user has been made to the
次にS210において、無線LAN通信部68を介して歌詞画像データをカラオケ装置1から受信したか否かを判定する。ここで、カラオケ装置1から歌詞画像データを受信したと判定した場合(S210:YES)、歌詞データ識別フラグの値を1に設定し(S220)、受信した歌詞画像データをビデオRAM64に書き込む(S230)。
Next, in S210, it is determined whether or not lyrics image data has been received from the
続いて、無線LAN通信部68を介して背景画像データをカラオケ装置1から受信したか否かを判定する(S240)。ここで、背景画像データを受信したと判定した場合(S240:YES)、受信した背景画像データをビデオRAM64に書き込み(S250)、S310へ移行する。一方、背景画像データを受信しなかった場合(S240:NO)、そのままS310へ移行する。
Then, it is determined whether background image data is received from the
ところで、S210において、カラオケ装置1から歌詞画像データを受信していないと判定した場合(S210:NO)、歌詞データ識別フラグを0に設定し(S260)、S270へ移行する。ここでは、歌詞画像データの代わりに歌詞テキストデータを無線LAN通信部68を介してカラオケ装置1から受信したか否かを判定する。カラオケ装置1から歌詞テキストデータを受信したと判定した場合(S270:YES)、受信した歌詞テキストデータをそのデータの内容に沿って画面表示用歌詞データに変換して、この変換した画面表示用歌詞データをビデオRAMへ書き込み(S280)、S310へ移行する。
By the way, when it is determined in S210 that the lyrics image data is not received from the karaoke apparatus 1 (S210: NO), the lyrics data identification flag is set to 0 (S260), and the process proceeds to S270. Here, it is determined whether or not lyrics text data is received from the
一方、S270において、カラオケ装置1から歌詞テキストデータを受信していないと判定した場合(S270:NO)、データを受信していない状態が所定時間以上継続した(タイムアウト)か否かを判定する(S290)。ここで、タイムアウトと判定した場合(S290:YES)、データを受信できない旨のエラー表示(例えば、「歌詞情報を表示できません」等。)を表示部58に表示し(S300)、S340へ移行する。S290において、データを受信していない状態が所定時間以上継続していない(タイムアウトではない)と判定した場合(S290:NO)、S210の処理へ戻る。 On the other hand, when it is determined in S270 that the lyrics text data has not been received from the karaoke apparatus 1 (S270: NO), it is determined whether or not the state in which no data is received has continued for a predetermined time (timeout) ( S290). Here, when it is determined that a time-out has occurred (S290: YES), an error display indicating that data cannot be received (for example, “Lyrics information cannot be displayed”) is displayed on the display unit 58 (S300), and the process proceeds to S340. . If it is determined in S290 that no data has been received for a predetermined time or longer (no timeout) (S290: NO), the process returns to S210.
S310では、S230、S250、S280の各ステップでビデオRAM64に書き込まれた画像データ等を読み出し、続いてS320で背景画像データと歌詞データ(ここでは、歌詞画像データ又は画面表示用歌詞データ)とを重畳する。そして、重畳した画像データを表示部58に表示する(S330)ことで、リモコン端末2による歌詞とその色変わり表示及び背景画像の表示を実現する。
In S310, the image data and the like written in the video RAM 64 in each step of S230, S250, and S280 are read. Subsequently, in S320, background image data and lyric data (here, lyric image data or lyric data for screen display) are obtained. Superimpose. Then, the superimposed image data is displayed on the display unit 58 (S330), thereby realizing the lyrics, their color change display and the background image display by the
次に、歌詞データ識別フラグの値を判定する(S340)。ここで、歌詞データフラグの値が1である場合(S340:YES)、即ち、S210において歌詞画像データを受信している場合、背景画像データを受信した際の無線LAN通信部68による受信状況に基づいて、図7に示すような通信状況データを生成し、この生成した通信状況データを無線LAN通信部68を介してカラオケ装置1へ送信する(S350)。つまり、ここでは無線LAN通信部68を介して歌詞画像データを受信していることで、歌唱に必要な歌詞画像データを少なくとも伝送可能な程度の通信速度が確保されていると判断することができる。したがって、歌詞画像データを伝送可能な程度の通信速度が確保されていれば、比較的データ量が少ない通信状況データを無線LAN通信部68を介してカラオケ装置1へ送信しても、占有する帯域幅は僅かであるので、画像データの送信には差し支えないと考えられる。
Next, the value of the lyrics data identification flag is determined (S340). Here, when the value of the lyric data flag is 1 (S340: YES), that is, when the lyric image data is received in S210, the reception state by the wireless
一方、歌詞データフラグの値が0である場合(S340:NO)、即ち、S210において歌詞画像データを受信していない場合、背景画像データを受信した際の無線LAN通信部68による受信状況に基づいて、図7に示すような通信状況データを生成し、この生成した通信状況データを赤外線通信部54を介してカラオケ装置1へ送信する(S360)。つまり、ここでは無線LAN通信部68を介して歌詞画像データを受信していない(即ち、カラオケ装置1側から歌詞画像データが送信されない)ことから、歌唱に必要な歌詞画像データをできない程度にまで通信速度が低下していると判断することができる。したがって、歌詞画像データを無線LANとは通信形式が異なる赤外線通信を利用することで、通信状況データを確実にカラオケ装置1へ送信すると共に、無線LAN通信における通信帯域幅を占有しないようにすることができる。
On the other hand, when the value of the lyric data flag is 0 (S340: NO), that is, when the lyric image data is not received in S210, based on the reception status by the wireless
次に、S370において、演奏終了命令又は表示終了命令をカラオケ装置1から受信した又は操作部60を介して利用者から入力されたか否かを判定する。ここで、演奏終了命令又は表示終了命令を受信していないと判定した場合(S370:NO)、演奏開始から5分以上経過しているか否かを判定する(S380)。
Next, in S370, it is determined whether a performance end instruction or a display end instruction is received from the
ここで、S370及びS380の処理について説明する。楽曲演奏開始以降に無線LAN通信における通信帯域幅が狭まり、通信速度が著しく低下する等の変化があった場合、カラオケ装置1から送信された演奏終了命令をリモコン端末2が受信できない状況が考えられる。このような状況においては、カラオケ装置1の演奏が終了してもリモコン端末2は演奏状態を終了できない。そこで、本実施形態では、無線LAN通信における通信帯域幅が狭まり、通信速度が著しく低下した状況において、演奏終了命令をリモコン端末2が受信できない状況になっても(このとき、S370でNOが選択される)、所定のタイムアウト時間を設定する(即ち、S380の処理をプログラムに設定する。)ことによって、リモコン端末2の演奏状態を正常に終了させることができるように構成されている。なお、一般的にカラオケ演奏開始から終了までの1曲分の演奏時間は5分程度であることを考慮して、カラオケ分野においてはタイムアウト時間は5分に設定されていると好適である。
Here, the processing of S370 and S380 will be described. If the communication bandwidth in the wireless LAN communication is narrowed after the music performance starts and the communication speed is remarkably reduced, the
S380において演奏開始から5分以上経過していないと判定した場合(S380:NO)、S210の処理へ戻り、同様の処理を繰り返す。
なお、制御部52は以上で説明した各処理を演奏終了命令又は表示終了命令を受信するまで繰り返し実行し、S370において演奏終了命令又は表示終了命令を受信したと判定した場合(S370:YES)、又はS380において演奏開始から5分以上経過したと判定した場合(S380:YES)、データ送受信処理を終了する。
If it is determined in S380 that five minutes or more have not elapsed since the start of the performance (S380: NO), the process returns to S210 and the same process is repeated.
The
[カラオケ装置1における間引き処理の説明]
以下、カラオケ装置1の制御部12が実行する間引き処理について、図4〜6に示すフローチャート及び図8〜10に示す図に基づいて説明する。この間引き処理は、図2に示すデータ送信処理のフローチャートにおけるS130において実行される処理である。
[Description of thinning process in karaoke apparatus 1]
Hereinafter, the thinning process executed by the
(1)図4は、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引く間引き処理(1)を示すフローチャートである。
まず、間引き対象となる圧縮背景画像データの1秒分のフレームデータ(本実施形態では、8フレーム。)を読み出す(S400)。次に、読み出したフレームデータから0.25秒ごとのフレームデータを抽出し(4フレーム)、他のフレームデータを間引いて(S410)、間引き処理を終了する。
(1) FIG. 4 is a flowchart showing the thinning-out process (1) in which frame data is extracted every predetermined time from the thinning target data and other frame data is thinned out.
First, frame data for one second (in this embodiment, 8 frames) of compressed background image data to be thinned is read (S400). Next, frame data every 0.25 seconds is extracted from the read frame data (4 frames), other frame data is thinned out (S410), and the thinning process is terminated.
図8は、S410における処理を模式的に示した図である。図8に示すように、本実施形態では、間引き処理前の圧縮背景画像データはフレームレートが8fpsであり、各フレームの割り当て時間は、0.125秒間である。間引き処理によってこのデータから、例えば0.25秒ごとにフレームデータを抽出し(図8の例では、1、3、5、7フレーム)、残りのフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。 FIG. 8 is a diagram schematically showing the processing in S410. As shown in FIG. 8, in this embodiment, the compressed background image data before the thinning process has a frame rate of 8 fps, and the allocation time of each frame is 0.125 seconds. From this data, frame data is extracted from this data, for example, every 0.25 seconds (1, 3, 5, and 7 frames in the example of FIG. 8), and the remaining frames are thinned out. In this way, the amount of data to be transmitted can be reduced by thinning out the frame data from the default compressed background image data.
なお、間引き前の圧縮背景画像データからフレームデータを抽出する間隔については、上述の0.25秒間隔以外に、0.375秒間隔、0.5秒間隔等、種々の間隔であってもよい。また、通信速度に応じて、フレームデータを抽出する間隔を適宜変更するように構成してもよい。 The interval for extracting the frame data from the compressed background image data before thinning may be various intervals such as an interval of 0.375 seconds and an interval of 0.5 seconds, in addition to the above-described 0.25 seconds interval. . Further, the interval for extracting the frame data may be appropriately changed according to the communication speed.
(2)図5は、間引き対象データから、シーン変化フラグが付加されているフレームデータを抽出し、他のフレームデータを間引く間引き処理(2)を示すフローチャートである。 (2) FIG. 5 is a flowchart showing a thinning process (2) in which frame data to which a scene change flag is added is extracted from the thinning target data, and other frame data is thinned out.
まず、間引き対象となる圧縮背景画像データの1秒分のフレームデータ(本実施形態では、8フレーム。)を読み出す(S500)。なお、この間引き処理では、間引き対象となる圧縮背景画像データのフレームデータのうち、背景画像のシーンが変化する際の画像に相当するフレームにシーン変化フラグが予め付加されている。 First, frame data for one second (in this embodiment, 8 frames) of compressed background image data to be thinned is read (S500). In this thinning process, a scene change flag is added in advance to a frame corresponding to an image when a scene of the background image changes among frame data of compressed background image data to be thinned.
次に、読み出した1秒分のフレームデータの最初のフレームデータをセットし(S510)、このセットしたフレームデータについて、シーン変化フラグが付加されているか否かを判定する(S520)。ここで、フレームにシーン変化フラグが付加されていると判定した場合(S520:YES)、フラグが付加されているフレームデータを抽出し(S530)、S540へ移行する。一方、フレームデータにシーン変化フラグが付加されていないと判定した場合(S520:NO)、そのままS540へ移行する。 Next, the first frame data of the read frame data for one second is set (S510), and it is determined whether or not a scene change flag is added to the set frame data (S520). If it is determined that the scene change flag is added to the frame (S520: YES), the frame data to which the flag is added is extracted (S530), and the process proceeds to S540. On the other hand, when it is determined that the scene change flag is not added to the frame data (S520: NO), the process proceeds to S540 as it is.
S540では、次のフレームデータがあるか否かを判定し、次のフレームデータがあると判定した場合(S540:YES)、次のフレームをセットし(S550)、S520の処理へ戻る。このように、S500で読み出したフレームデータ全てに対して上記処理を繰り返した後、S540において次のフレームがないと判定した場合(S540:NO)、間引き処理を終了する。 In S540, it is determined whether there is next frame data. If it is determined that there is next frame data (S540: YES), the next frame is set (S550), and the process returns to S520. As described above, after the above process is repeated for all the frame data read in S500, if it is determined in S540 that there is no next frame (S540: NO), the thinning process is terminated.
図9は、間引き対象データからシーン変化フラグが付加されているフレームデータを抽出し、他のフレームデータを間引いた様子を模式的に示す図である。図9に示すように、間引き処理前の1秒分(8フレーム)の圧縮背景画像データにおいて、例えば1、4番目のフレームにシーン変化フラグが付加されているならば、間引き処理によってこのシーン変化フラグが付加されている1、4番目のフレームを抽出し、その他のフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。 FIG. 9 is a diagram schematically showing a state in which frame data to which a scene change flag is added is extracted from the thinning target data, and other frame data is thinned out. As shown in FIG. 9, in the compressed background image data for 1 second (8 frames) before the thinning process, for example, if a scene change flag is added to the first and fourth frames, this scene change is performed by the thinning process. The first and fourth frames to which the flag is added are extracted, and the other frames are thinned out. In this way, the amount of data to be transmitted can be reduced by thinning out the frame data from the default compressed background image data.
(3)図6は、1秒間に送信できるフレームの最大数である「送信可能フレーム最大数」を通信速度に基づいて算出し、間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引く間引き処理(3)を示すフローチャートである。 (3) In FIG. 6, the “maximum number of frames that can be transmitted” that is the maximum number of frames that can be transmitted per second is calculated based on the communication speed, and frame data for the maximum number of frames that can be transmitted is extracted from the thinning target data. 10 is a flowchart showing a thinning process (3) for thinning out other frame data.
まず、間引き対象となる圧縮背景画像データの1秒分のフレームデータ(本実施形態では、8フレーム。)を読み出す(S600)。次に、図2のS90において算出した通信速度に基づいて送信可能フレーム最大数を算出する(S610)。ここで、送信可能フレーム最大数については、次の数式(2)により算出する。
送信可能フレーム最大数=(通信速度(bps)−歌詞画像データのビットレート(bps))/1フレームあたりのデータ量(bit)…数式(2)
なお、本実施形態では、圧縮背景画像データのビットレートが4.0Mbps及びフレームレートが8fpsであるから、1フレームあたりのデータ量は、0.5Mbitであると考えられる。また、歌詞画像データのビットレートが2.0Mbpsである。例えば、図2のS90において算出した通信速度が4.5Mbpsであれば、送信可能フレーム最大数は下記の数式(3)より、5フレームである。
(4.5Mbps−2.0Mbps)/0.5Mbit=5.0…数式(3)
次にS610において算出した送信可能フレーム最大数に基づき間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引いて(S620)、間引き処理を終了する。
First, frame data for one second (in this embodiment, 8 frames) of compressed background image data to be thinned is read (S600). Next, the maximum number of transmittable frames is calculated based on the communication speed calculated in S90 of FIG. 2 (S610). Here, the maximum number of transmittable frames is calculated by the following formula (2).
Maximum number of frames that can be transmitted = (communication speed (bps) −bit rate of lyric image data (bps)) / data amount per frame (bit) (2)
In this embodiment, since the bit rate of the compressed background image data is 4.0 Mbps and the frame rate is 8 fps, the data amount per frame is considered to be 0.5 Mbit. The bit rate of the lyrics image data is 2.0 Mbps. For example, if the communication speed calculated in S90 of FIG. 2 is 4.5 Mbps, the maximum number of frames that can be transmitted is 5 frames according to the following equation (3).
(4.5 Mbps-2.0 Mbps) /0.5 Mbit = 5.0 Formula (3)
Next, frame data for the maximum number of transmittable frames is extracted from the thinning target data based on the maximum number of transmittable frames calculated in S610, and other frame data is thinned (S620), and the thinning process is terminated.
図10(a)は、間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引いた様子を模式的に示す図である。この図10(a)では、送信可能フレーム最大数が5フレームである場合について示している。 FIG. 10A is a diagram schematically illustrating a state in which frame data corresponding to the maximum number of transmittable frames is extracted from the thinning target data and other frame data is thinned out. FIG. 10A shows a case where the maximum number of transmittable frames is 5.
図10(a)に示すように、間引き処理前の1秒分(8フレーム)の圧縮背景画像データから1、2、4、5、7番目のフレームデータを抽出し、その他のフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。 As shown in FIG. 10A, the first, second, fourth, fifth and seventh frame data are extracted from the compressed background image data for one second (8 frames) before the thinning process, and the other frames are thinned out. In this way, the amount of data to be transmitted can be reduced by thinning out the frame data from the default compressed background image data.
なお、間引き対象データからフレームを抽出する際は、なるべくフレーム同士が等間隔になるようにフレームデータを抽出した方が、画像をリモコン端末2の表示部58に表示する際に滑らかに表示することができる。そこで、図10(b)に示すように、送信可能フレーム最大数に応じて、理想的なフレーム間隔に近い間隔でフレームデータを抽出するように、送信可能フレーム最大数ごとに抽出するフレーム番号を予めデータテーブルとして記憶させておくとよい。
When extracting frames from the thinning target data, the frame data is extracted so that the frames are equally spaced as much as possible, so that the images are displayed more smoothly when displayed on the
以上、図2のS130における間引き処理について、上記間引き処理(1)〜(3)の間引き方法を説明したが、本実施形態のカラオケ装置1においては、間引き処理(1)〜(3)の間引き方法の何れを採用してもよい。あるいは、状況に応じて間引き処理(1)〜(3)の間引き方法を選択可能に構成してもよい。
As described above, the thinning method (1) to (3) has been described for the thinning process in S130 of FIG. 2, but in the
[効果]
本実施形態のカラオケシステムによれば、以下のような効果を奏する。
(1)本実施形態のカラオケ装置1は、何らかの事情で通信帯域幅が狭まり通信速度が低下した場合、その通信速度に応じて、送信する背景画像データをビットレートが大きい背景画像データから、よりビットレートが小さい圧縮背景画像データへ切り替えたり、更に圧縮背景画像データを間引いたりすることで、その通信速度に見合ったデータ量で歌詞画像データ及び背景データをリモコン端末2へ送信する。このようにして歌詞画像データを優先してカラオケ装置1からリモコン端末2へと送信することができ、通信速度が低下した場合でもリモコン端末2側で重要度の高い歌詞を滞りなく表示することができる。
[effect]
According to the karaoke system of the present embodiment, the following effects can be obtained.
(1) The
(2)本実施形態のカラオケ装置1では、通信帯域幅が広く、歌詞画像データを送信するのに十分な通信速度を確保することができる状況においては、表示処理にかかる負荷が小さい歌詞画像データをリモコン端末2へ送信するので、リモコン端末2側で画像を表示する際の処理負荷を減らすことができる。一方、通信帯域幅が狭く、歌詞画像データを送信するのに十分な通信速度を確保することができない状況においては、データ量の小さい歌詞テキストデータをリモコン端末2側へ送信するので、通信速度が著しく低下した状況であってもリモコン端末2側での歌詞表示を継続することができる。
(2) In the
(3)カラオケ装置1の制御部12が実行する間引き処理(1)において、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引くことで等間隔にフレームを間引くことができ、表示品質を低下させても、画像を極力滑らかに表示することができる。
(3) In the thinning-out process (1) executed by the
(4)カラオケ装置1の制御部12が実行する間引き処理(2)において、間引き対象データから、シーンが変化する際の画像に相当するフレームデータを抽出し、他のフレームデータを間引くことで、間引きされた圧縮背景画像データによって背景画像をシーンの変化ごとに表示することができ、背景画像におけるストーリー展開や演出等を重視した表示を行うことができる。
(4) In the thinning process (2) executed by the
(5)カラオケ装置1の制御部12が実行する間引き処理(3)において、通信速度に基づいて送信可能フレーム最大数を算出し、この送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くことで、通信速度が徐々に低下するような状況であれば、その通信速度に応じて送信するフレーム数を徐々に減らすことができる。また、低下した通信速度が徐々に回復していくような状況では、その通信速度に応じて送信するフレームの数を徐々に増やして、最終的にデフォルトの送信フレーム数(8fps)に戻すといった柔軟な対応が可能である。
(5) In the thinning process (3) executed by the
(6)通信が混雑し通信速度が低下する等の理由でリモコン端末2側で歌詞画像データを受信できない場合、リモコン端末2側で赤外線通信部54を介して通信状況データをカラオケ装置1へ送信することで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、通信状況データを確実にカラオケ装置1へ送信することができると共に、通信状況データを送信することでその分の通信帯域を占有してしまうことが無い。
(6) If the lyrics image data cannot be received on the
(7)リモコン端末2の制御部52が、所定時間以上歌詞データを受信していないと判定した場合、制御部52は、データを受信できない旨又は歌詞を表示できない旨を表示部58に表示することで、通信速度の不足によりカラオケ装置1からリモコン端末2へデータを送信することができないような状況であっても、使用者の誤解を招くことを防止できる。
(7) When the
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明の実施形態は上記の実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り様々な態様にて実施することが可能である。
[Other Embodiments]
Although the embodiments of the present invention have been described above, the embodiments of the present invention are not limited to the above embodiments, and can be implemented in various modes as long as they belong to the technical scope of the present invention. It is.
例えば、カラオケ装置でのカラオケ演奏が開始する前に、リモコン端末側で事前に楽曲を試聴できるようにすると共にその楽曲歌詞及び背景画像を表示できるように構成することが考えられる。このような構成において、ストリーミングによるデータ伝送のように、楽曲の試聴中に当該楽曲の演奏データ、歌詞データ、背景データがリアルタイムに送信・再生される場合においても、本発明の技術思想を用いることができる。即ち、例えば送信するデータの優先順位を高い方から演奏データ、歌詞テキストデータ、歌詞画像データ、背景画像データの順に設定すれば、演奏データを最優先に送信し、通信状況に応じて他のデータの送信データ量を低減することができる。したがって、たとえカラオケ装置とリモコン端末間の通信速度が低下した場合でも、最優先で送信された演奏データをリモコン端末側で受信することによって、リモコン端末側で演奏を継続することができるという効果がある。 For example, it is conceivable that the karaoke apparatus can be configured so that the music piece can be previewed in advance on the remote control terminal side and the lyrics of the music piece and the background image can be displayed before the karaoke performance is started on the karaoke apparatus. In such a configuration, the technical idea of the present invention is used even when performance data, lyric data, and background data of the music are transmitted / reproduced in real time during the trial listening of the music, such as data transmission by streaming. Can do. That is, for example, if the priority of the data to be transmitted is set in the order of performance data, lyrics text data, lyrics image data, and background image data from the highest priority, the performance data is transmitted with the highest priority, and other data depending on the communication status The amount of transmission data can be reduced. Therefore, even if the communication speed between the karaoke device and the remote control terminal decreases, the performance data transmitted with the highest priority can be received on the remote control terminal side, so that the performance can be continued on the remote control terminal side. is there.
1…カラオケ装置、2…リモコン端末、12…制御部、14…インタフェース部、16…ハードディスク(HDD)、18…操作部、20…赤外線通信部、22…操作処理部、24…音声制御部、26…マイクロフォン、28…スピーカ、30…MIDI音源、32…ビデオRAM、34…映像再生部、36…表示部、38…映像制御部、40…USB、52…制御部、54…赤外線通信部、56…メモリ、58…表示部、60…操作部、62…操作処理部、64…ビデオRAM、66…映像制御部、68…無線LAN通信部、100…ネットワーク、110…無線アクセスポイント
DESCRIPTION OF
Claims (7)
前記カラオケ装置は、
楽曲の歌詞を示す文字及びこの文字の表示色が一方から他方へ所定幅ずつ変化する色変わりを表示するための歌詞画像データと、背景画像を表示するための背景画像データとを記憶する記憶手段と、
前記リモコン端末が備えるリモコン側通信部との間でデータを送受信するカラオケ装置側通信部と、
前記記憶手段に記憶されている歌詞画像データ及び背景画像データを前記カラオケ装置側通信部を介して前記リモコン端末へ送信するデータ送信手段とを備えており、
前記リモコン端末は、
前記カラオケ装置が備えるカラオケ装置側通信部との間でデータを送受信するリモコン側通信部と、
前記カラオケ装置側から送信されてきた歌詞画像データ及び背景画像データを前記リモコン側通信部を介して受信するデータ受信手段と、
前記データ受信手段が受信したデータの受信状況に基づいて通信状況データを生成し、この通信状況データを前記リモコン側通信部を介して前記カラオケ装置へ送信する通信状況データ送信手段と、
画像を表示する表示部と、
前記データ受信手段によって受信した歌詞画像データ及び背景画像データで示される歌詞及び背景画像を前記表示部に表示させる表示制御手段とを備えており、
更に前記カラオケ装置は、
前記リモコン端末側から送信されてきた通信状況データに基づいて通信速度を判定する通信速度判定手段と、
前記データ送信手段によって前記歌詞画像データ及び背景画像データを送信する際に、前記通信速度判定手段によって判定された通信速度に基づいて、単位時間当たりに送信すべきデータ量が前記判定された通信速度より小さくなるようなデータ量の背景画像データを送信する背景画像データとして選択する選択処理を実行するデータ選択手段、及び、前記通信速度判定手段によって判定された通信速度に基づいて、送信する前記背景画像データを所定の割合で間引く間引き処理を実行するデータ間引き手段の少なくとも何れかの手段とを備えること
を特徴とするカラオケシステム。 A karaoke apparatus that performs karaoke performance based on performance data of a selected music piece, and a remote control terminal that has a notification function of receiving an instruction from a user and notifying the received instruction to the karaoke apparatus, A karaoke system configured to be capable of data communication between the remote control terminal and the remote control terminal,
The karaoke device
Storage means for storing lyrics image data for displaying characters indicating the lyrics of the music and color changes in which the display color of the characters changes from one to the other by a predetermined width, and background image data for displaying the background image ,
A karaoke device side communication unit that transmits and receives data to and from a remote control side communication unit provided in the remote control terminal;
Data transmission means for transmitting lyrics image data and background image data stored in the storage means to the remote control terminal via the karaoke device side communication unit,
The remote control terminal is
A remote control side communication section for transmitting and receiving data to and from the karaoke apparatus side communication section provided in the karaoke apparatus;
Data receiving means for receiving lyrics image data and background image data transmitted from the karaoke device side via the remote control side communication unit;
Communication status data transmitting means for generating communication status data based on the reception status of the data received by the data receiving means, and transmitting the communication status data to the karaoke device via the remote control side communication unit;
A display for displaying an image;
Display control means for displaying the lyrics and background image indicated by the lyric image data and background image data received by the data receiving means on the display unit;
Furthermore, the karaoke device
A communication speed determining means for determining a communication speed based on communication status data transmitted from the remote control terminal side;
When the lyric image data and the background image data are transmitted by the data transmission unit, the amount of data to be transmitted per unit time is determined based on the communication rate determined by the communication rate determination unit. Data selection means for executing selection processing for selecting background image data having a data amount that is smaller as background image data to be transmitted, and the background to be transmitted based on the communication speed determined by the communication speed determination means A karaoke system comprising: at least one of data thinning means for performing thinning processing for thinning image data at a predetermined rate.
前記データ間引き手段は、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引くこと
を特徴とするカラオケシステム。 The karaoke system according to claim 1,
The karaoke system characterized in that the data thinning means extracts frame data at regular intervals from thinning target data and thins out other frame data.
前記データ間引き手段は、間引き対象である背景画像データから、シーンが変化する際のフレームデータを抽出し、他のフレームデータを間引くこと
を特徴とするカラオケシステム。 The karaoke system according to claim 1,
The karaoke system characterized in that the data thinning means extracts frame data when a scene changes from background image data to be thinned, and thins out other frame data.
前記データ間引き手段は、前記通信速度判定手段によって判定された通信速度に基づき、送信可能フレーム最大数を判定し、この判定した送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くこと
を特徴とするカラオケシステム。 The karaoke system according to claim 1,
The data thinning means determines the maximum number of transmittable frames based on the communication speed determined by the communication speed determination means, and thins out frame data from the thinning target data according to the determined maximum number of transmittable frames. A characteristic karaoke system.
前記カラオケ装置は、前記リモコン端末が備えるリモコン側第二通信部から送信されたデータを受信するカラオケ装置側第二側通信部を備えており、
前記リモコン端末は、前記カラオケ装置が備えるカラオケ装置側第二通信部へデータを送信するリモコン側第二通信部を備えており、
前記通信状況データ送信手段は、前記カラオケ装置から前記歌詞画像データを受信していないと判定した場合、前記リモコン側第二通信部を介して前記通信状況データを前記カラオケ装置側へ送信すること
を特徴とするカラオケシステム。 The karaoke system according to any one of claims 1 to 4,
The karaoke device includes a karaoke device side second side communication unit that receives data transmitted from the remote control side second communication unit provided in the remote control terminal,
The remote control terminal includes a remote control side second communication unit that transmits data to a karaoke device side second communication unit included in the karaoke device,
The communication status data transmission means transmits the communication status data to the karaoke device side via the remote control side second communication unit when it is determined that the lyrics image data is not received from the karaoke device. A characteristic karaoke system.
前記リモコン端末は、
前記データ受信手段が前記カラオケ装置側から所定時間以上データを受信していないか否かを判定する受信判定手段を備えており、
前記受信判定手段によって所定時間以上データを受信していないと判定された場合、前記表示制御手段は、データを受信できない旨又は歌詞を表示できない旨を前記表示部に表示すること
を特徴とするカラオケシステム。 A karaoke system according to any one of claims 1 to 5,
The remote control terminal is
The data receiving means includes a reception determining means for determining whether or not data has been received from the karaoke apparatus side for a predetermined time or more,
When the reception determining means determines that data has not been received for a predetermined time or more, the display control means displays on the display section that the data cannot be received or that the lyrics cannot be displayed. system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005088258A JP4270146B2 (en) | 2005-03-25 | 2005-03-25 | Karaoke system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005088258A JP4270146B2 (en) | 2005-03-25 | 2005-03-25 | Karaoke system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006267835A true JP2006267835A (en) | 2006-10-05 |
JP4270146B2 JP4270146B2 (en) | 2009-05-27 |
Family
ID=37203854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005088258A Expired - Fee Related JP4270146B2 (en) | 2005-03-25 | 2005-03-25 | Karaoke system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4270146B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010181876A (en) * | 2008-01-17 | 2010-08-19 | Seiko Epson Corp | Image display device, storage medium, image display system and network setup method |
JP2010258724A (en) * | 2009-04-24 | 2010-11-11 | Panasonic Corp | Camera, video transmitting apparatus, video receiving device and video communication system |
JP2011232622A (en) * | 2010-04-28 | 2011-11-17 | Brother Ind Ltd | Karaoke network system and karaoke device |
JP2014209155A (en) * | 2013-03-29 | 2014-11-06 | 株式会社第一興商 | Error prevention system at time of digital music broadcast reception |
JP2015143762A (en) * | 2014-01-31 | 2015-08-06 | ブラザー工業株式会社 | Karaoke system and karaoke device |
-
2005
- 2005-03-25 JP JP2005088258A patent/JP4270146B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010181876A (en) * | 2008-01-17 | 2010-08-19 | Seiko Epson Corp | Image display device, storage medium, image display system and network setup method |
US8725884B2 (en) | 2008-01-17 | 2014-05-13 | Seiko Epson Corporation | Image display device, storage device, image display system and network setup method |
JP2010258724A (en) * | 2009-04-24 | 2010-11-11 | Panasonic Corp | Camera, video transmitting apparatus, video receiving device and video communication system |
JP2011232622A (en) * | 2010-04-28 | 2011-11-17 | Brother Ind Ltd | Karaoke network system and karaoke device |
JP2014209155A (en) * | 2013-03-29 | 2014-11-06 | 株式会社第一興商 | Error prevention system at time of digital music broadcast reception |
JP2015143762A (en) * | 2014-01-31 | 2015-08-06 | ブラザー工業株式会社 | Karaoke system and karaoke device |
Also Published As
Publication number | Publication date |
---|---|
JP4270146B2 (en) | 2009-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4270146B2 (en) | Karaoke system and program | |
JP2010232760A (en) | Image supplying device, image supplying system, image supplying method, program, and recording medium | |
JP4706278B2 (en) | Information processing system, playback terminal device and playback method, information processing device and method, and program | |
WO2011070720A1 (en) | Reproduction device, display device, av network system, reproduction method, program, and integrated circuit | |
JP3797360B2 (en) | AV system, amplification apparatus, content reproduction apparatus, amplification apparatus, and operation program for content reproduction apparatus | |
US9780750B2 (en) | Audio signal output device and audio output system | |
EP2254123A2 (en) | Recording and playback apparatus and method, program storage medium, and program | |
JP2006186867A (en) | Speech processing apparatus | |
JP2007128589A (en) | Reproducing equipment | |
JP2005223451A (en) | Reproducing device, data transmitting/receiving system, and reproducing method | |
JPWO2007123014A1 (en) | Image output device | |
JP2004354677A (en) | Information processing device, method therefor, program therefor, recording medium recorded with he program, and reproducing device | |
JP5126627B2 (en) | Karaoke equipment | |
JP5213630B2 (en) | Video signal playback device | |
WO2005104125A1 (en) | Record reproducing device, simultaneous record reproduction control method and simultaneous record reproduction control program | |
JP6601615B2 (en) | Movie processing system, movie processing program, and portable terminal | |
JP2006332773A (en) | Control apparatus and method, and program | |
WO2012029854A1 (en) | Apparatus for controlling compression of moving pictures, apparatus for recording moving pictures, apparatus for recording and reproducing moving pictures, method for controlling compression of moving pictures and recording medium | |
JP2010197957A (en) | Image and sound supplying device, image and sound output device, image and sound supplying method, image and sound output method and program | |
JP2005123947A (en) | Receiver | |
JP2013174882A (en) | Content reproduction device and content processing method | |
JP2012109816A (en) | Image recording device and control method of image recording device | |
JP6051066B2 (en) | Singing video playback system for karaoke | |
JP2003224801A (en) | Reproduction apparatus system, information processing apparatus, and control method for the information processing apparatus | |
JP4748330B2 (en) | Transmission apparatus, transmission system, program, and information storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4270146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |