JP2008112014A - Karaoke device provided with display control system - Google Patents

Karaoke device provided with display control system Download PDF

Info

Publication number
JP2008112014A
JP2008112014A JP2006295300A JP2006295300A JP2008112014A JP 2008112014 A JP2008112014 A JP 2008112014A JP 2006295300 A JP2006295300 A JP 2006295300A JP 2006295300 A JP2006295300 A JP 2006295300A JP 2008112014 A JP2008112014 A JP 2008112014A
Authority
JP
Japan
Prior art keywords
display
image
unit
angle
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006295300A
Other languages
Japanese (ja)
Other versions
JP4557952B2 (en
Inventor
Makoto Umeda
誠 梅田
Naotaka Nomura
直孝 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2006295300A priority Critical patent/JP4557952B2/en
Publication of JP2008112014A publication Critical patent/JP2008112014A/en
Application granted granted Critical
Publication of JP4557952B2 publication Critical patent/JP4557952B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily and efficiently embody to simultaneously display and not to display in the same screen of word telop without needing complicated operation by a user concerning a karaoke device provided with a display control system performing display and non-display of the word telop on a background video synchronized with performance in karaoke. <P>SOLUTION: A direction display part 13 displays a first image 41 viewed in a first angle range θ1 of one of upper and lower directions on a display face, simultaneously separately displays second images 41, 42 viewed in a second angle range θ2 of the other of the upper and lower directions, and makes display control for displaying word telop data 42 of a performance object by a word display control means in the second images of either one of the first image and the second images. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、カラオケにおける演奏に同期した背景映像上での歌詞テロップの表示、非表示を行わせる表示制御システムを備えるカラオケ装置に関する。   The present invention relates to a karaoke apparatus including a display control system for displaying and hiding lyrics telop on a background video synchronized with performance in karaoke.

近年、カラオケ装置においては、演奏される楽曲に関連した映像が表示され、当該表示中に歌唱楽曲の歌詞をも表示させることが一般化している。このような中で、歌唱者の歌唱技術の向上、満足性を向上させる新たな付加価値を備えたものが望まれる。   In recent years, in a karaoke apparatus, an image related to a musical piece to be played is displayed, and it is common to display lyrics of a singing musical piece during the display. Under such circumstances, it is desired to have a new added value that improves the singing technique and satisfaction of the singer.

所定の楽曲を歌唱する場合に歌詞を総て記憶しておくことで感情移入し易くなることから、カラオケ装置の利用による歌唱においても歌詞を見ないで歌唱したいと望む利用者も多く、歌詞を記憶する利用者も増えてきている。また、一方で複数人によるカラオケ装置の利用の場合には歌唱者以外の傍聴者に対して歌詞を表示させることで演奏中での一体感を演出させたい場合もある。逆に、歌唱者において歌詞テロップの表示で歌詞を覚えながら歌唱することを望む一方で、傍聴者には映像の雰囲気を与えるために歌詞テロップを非表示とさせたい場合もある。   When you sing a given song, remembering all the lyrics makes it easier to empathize, so many users want to sing without seeing the lyrics even when singing using the karaoke device. The number of users who memorize is increasing. On the other hand, in the case of using a karaoke device by a plurality of people, it may be desired to produce a sense of unity during performance by displaying lyrics to a listener other than the singer. On the other hand, while the singer desires to sing while learning the lyrics by displaying the lyrics telop, the listener may want to hide the lyrics telop to give the viewer an atmosphere of video.

一方、歌詞テロップの表示、非表示について、以下の特許文献に提案されているものがある。特許文献1には、カラオケ装置で楽音データに基づいて演奏曲が演奏されるときに、歌唱者による歌詞表示選択手段で歌詞テロップの非表示が選択されたときに、歌詞テロップの表示が行われず、非表示モードであることの表示を行わせることが提案されている。   On the other hand, there are some proposed in the following patent documents regarding the display and non-display of the lyrics telop. In Patent Document 1, when a performance piece is played based on musical tone data in a karaoke device, when the lyric display selection means by the singer is selected to hide the lyrics telop, the lyrics telop is not displayed. It has been proposed to display the non-display mode.

また、特許文献2には、歌唱者の任意の選択で歌詞テロップを表示させないようにするために、パネルの歌詞表示切替ボタンが設けられて、当該歌詞表示切替ボタンが押されてマイクに設けられているカンニングボタンが押されていないときに歌詞を非表示とさせることが提案されている。   Further, in Patent Document 2, in order to prevent the lyrics telop from being displayed by the singer's arbitrary selection, a lyrics display switching button on the panel is provided, and the lyrics display switching button is pressed and provided on the microphone. It has been proposed to hide the lyrics when the cheat button is not pressed.

ところで、同一画面で見る角度により表示内容を異ならせるディスプレイとして、以下の特許文献3で提案されているものがある。特許文献3には、第1の方向に沿った第1の画像を表示し、第1の方向とは異なる第2の方向の沿った第2の画像を表示させるために、第1の画像の角度範囲(a1)が第2の画像の角度範囲(a2)と異なるように、第1の画像及び第2の画像を表示するように適合させる対称マルチプルビュー方向ディスプレイが提案されている。   By the way, there is a display proposed in Patent Document 3 below as a display for changing display contents depending on an angle viewed on the same screen. In Patent Document 3, in order to display the first image along the first direction and display the second image along the second direction different from the first direction, A symmetrical multiple view direction display adapted to display the first image and the second image has been proposed so that the angular range (a1) is different from the angular range (a2) of the second image.

特開平09−114476号公報JP 09-114476 A 特許第3423137号公報Japanese Patent No. 3423137 特開2005−078076号公報Japanese Patent Laying-Open No. 2005-078076

しかしながら、特許文献1、2で提案されている何れの手法であっても、利用者によるボタン操作が必要であることから、専ら利用者自身の判断でマニュアル操作に頼らざるを得ず、利用者にとって煩わしさが残るという問題がある。また、カラオケ装置においては、同一画面で歌詞テロップの表示、非表示を同時提供させるという発想性は、特許文献1,2やその他カラオケ装置に関する先行技術の創作過程からは関連性が見いだせない。   However, any of the methods proposed in Patent Documents 1 and 2 requires a button operation by the user, so the user has to rely solely on manual operation at the user's own discretion. There is a problem that bothersomeness remains. In addition, in the karaoke apparatus, the idea of simultaneously providing the display and non-display of the lyrics telop on the same screen cannot be found from Patent Documents 1 and 2 and other prior art creation processes related to the karaoke apparatus.

そこで、本発明は上記課題に鑑みなされたもので、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化する表示制御システムを備えるカラオケ装置を提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and easily and efficiently embodies the simultaneous display and non-display of lyrics telop on the same screen without requiring a troublesome operation by the user. An object of the present invention is to provide a karaoke apparatus including a display control system.

上記課題を解決するために、請求項1の発明では、カラオケにおける演奏に同期した歌詞テロップの表示、非表示を行わせる表示制御システムを備えるカラオケ装置であって、方向性表示部と、歌詞表示制御手段とを有し、前記方向性表示部は、表示面上で、垂直方向における上下の何れか一方の第1の角度範囲内で視認させる第1の画像を表示すると共に、他方の第2の角度範囲内で視認させる第2の画像を同時に別表示するものであり、前記歌詞表示制御手段は、演奏対象の歌詞テロップを前記第1の画像又は第2の画像の何れかに表示させることを制御する、構成とする。   In order to solve the above-mentioned problems, the invention of claim 1 is a karaoke apparatus comprising a display control system for displaying and hiding lyrics telops synchronized with performance in karaoke, comprising a directional display unit and lyrics display The directional display unit displays a first image to be visually recognized within a first angular range on either the upper or lower side in the vertical direction on the display surface, and the other second The second image to be visually recognized within the angle range is separately displayed at the same time, and the lyric display control means causes the lyric telop to be played to be displayed on either the first image or the second image. It is set as the structure which controls.

請求項2の発明では、さらに、仰角駆動部と、表示部角度調整部とを備え、前記仰角駆動部は、前記方向性表示部の表示面を仰角方向に回転させるものであり、前記表示部角度調整部は、前記仰角を特定して前記仰角駆動部を制御する、構成である。   The invention according to claim 2 further includes an elevation angle drive unit and a display unit angle adjustment unit, wherein the elevation angle drive unit rotates the display surface of the directional display unit in the elevation angle direction, and the display unit An angle adjustment part is the structure which specifies the said elevation angle and controls the said elevation angle drive part.

請求項3の発明では、さらに、検出位置特定手段を備え、前記検出位置特定手段は、所定の検出対象を検出して高さ位置を特定し、前記表示部角度調節部は、前記検出位置特定手段で特定された検出位置が、前記第1の角度範囲内または前記第2の角度範囲内の何れかに含まれるように、仰角回転方向及び仰角回転角度を特定して前記仰角駆動部を制御する、構成である。   According to a third aspect of the present invention, the apparatus further comprises detection position specifying means, wherein the detection position specifying means detects a predetermined detection target and specifies a height position, and the display unit angle adjustment section specifies the detection position specification. The elevation angle rotation direction and the elevation angle rotation angle are specified and the elevation angle drive unit is controlled so that the detection position specified by the means is included in either the first angle range or the second angle range. It is a configuration.

請求項1の本発明によれば、方向性表示部は、表示面上で、上下方向の一方の第1の角度範囲内で視認させる第1の画像を表示すると共に、上下方向の他方の第2の角度範囲内で視認させる第2の画像を同時に別表示するものであり、歌詞表示制御手段が演奏対象の歌詞テロップを第1の画像又は第2の画像の何れかに表示させることの表示制御を行う構成とすることにより、歌唱者に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   According to the first aspect of the present invention, the directionality display unit displays a first image to be visually recognized within one first vertical angle range on the display surface and the other one in the vertical direction. The second image to be visually recognized within the angle range of 2 is separately displayed at the same time, and the lyrics display control means displays the lyrics telop to be played on either the first image or the second image. By making it the structure which performs control, while making a singer visually recognize the 1st image or 2nd image of the display or non-display of a lyrics telop, the 1st non-display or display of a lyrics telop is made to a listener. This makes it possible to easily and efficiently embody the simultaneous display and non-display of the lyrics telop on the same screen without requiring troublesome operations by the user. It is something that can be done.

請求項2の発明によれば、さらに、仰角駆動部が方向性表示部の表示面を仰角方向に回転させるものであり、表示部角度調整部が仰角を特定して仰角駆動部を制御する構成とすることにより、歌唱者の視認位置に対して確実に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   According to the invention of claim 2, the elevation angle drive unit further rotates the display surface of the directional display unit in the elevation direction, and the display unit angle adjustment unit controls the elevation angle drive unit by specifying the elevation angle. By doing so, the first image or the second image of the display or non-display of the lyrics telop is surely viewed at the viewing position of the singer, while the reverse display or non-display of the lyrics telop is made to the listener. Because the first image or the second image is visually recognized, the display and non-display of the lyrics telop on the same screen can be realized easily and efficiently without requiring a troublesome operation by the user. It can be made.

請求項3の発明によれば、さらに、検出位置特定手段を備え、前記検出位置特定手段は、所定の検出対象を検出して高さ位置を特定し、前記表示部角度調節部は、前記検出位置特定手段で特定された検出位置が、前記第1の角度範囲内または前記第2の角度範囲内の何れかに含まれるように、仰角回転方向及び仰角回転角度を特定して前記仰角駆動部を制御する構成とすることにより、歌唱者の視認位置に対して自動的かつ確実に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   According to the invention of claim 3, further comprising detection position specifying means, wherein the detection position specifying means specifies a height position by detecting a predetermined detection target, and the display unit angle adjustment unit is configured to detect the detection. The elevation angle drive unit is configured to identify an elevation angle rotation direction and an elevation angle rotation angle so that the detection position identified by the position identification means is included in either the first angle range or the second angle range. By controlling the position of the singers, the first or second display of the lyrics telop is automatically or reliably displayed with respect to the singer's viewing position, while the lyric telop is displayed to the listener. Since the first image or the second image that is not displayed or displayed in reverse is visually recognized, the display and non-display of the lyrics telop on the same screen can be simultaneously displayed without requiring a troublesome operation by the user. Easily and efficiently It is those that can be.

以下、本発明の最良の実施形態を図により説明する。
図1に、本発明に係る表示制御システムを備えるカラオケ装置の第1実施形態のブロック構成図を示す。図1において、カラオケ装置11は、カラオケ本体12と、当該カラオケ本体12に接続されるものとして、方向性表示部13、ミキシングアンプ14、マイク15、スピーカ16及び操作パネル17を備える。また、カラオケ本体12は、バス21、中央制御部22、ROM23、RAM24、映像DB25、楽曲DB26、音楽曲出力部27、映像再生制御部28、入力部29及び歌詞表示制御手段30を適宜備える。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケ装置においても大部分が適用可能であることを示すために、装置全体を説明する。
Hereinafter, the best embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a block diagram of a first embodiment of a karaoke apparatus provided with a display control system according to the present invention. In FIG. 1, the karaoke apparatus 11 includes a karaoke main body 12, a directional display unit 13, a mixing amplifier 14, a microphone 15, a speaker 16, and an operation panel 17 that are connected to the karaoke main body 12. The karaoke main body 12 includes a bus 21, a central control unit 22, a ROM 23, a RAM 24, a video DB 25, a music DB 26, a music song output unit 27, a video reproduction control unit 28, an input unit 29, and a lyrics display control unit 30 as appropriate. In addition, even if it is an element part which is not directly related to the summary of this invention about each said structure, in order to show that most can be applied also in the conventional karaoke apparatus, the whole apparatus is demonstrated.

上記方向性表示部13は、図2で示すが、表示面上で、垂直方向における上下の何れか一方の第1の角度範囲内で視認させる第1の画像を表示すると共に、他方の第2の角度範囲内で視認させる第2の画像を同時に別表示するディスプレイであり、このようなディスプレイとして前述の特許文献3に提案されているディスプレイを採用することができる。操作パネル17は、エコーや左右バランス、スピーカ16からの出力音量のボリウム等を備えることを基本として、ここでは歌詞テロップを第1の画像又は第2の画像の何れかに選択的に表示させるための選択ボタンを備える。なお、上記選択的表示を操作パネル17からではなく、予め歌詞表示制御手段30に設定しておくこととしてもよい。   As shown in FIG. 2, the directional display unit 13 displays a first image that is visually recognized within one of the upper and lower first angle ranges in the vertical direction on the display surface, and the other second one. The second image to be visually recognized within the angle range is displayed separately at the same time, and the display proposed in the above-mentioned Patent Document 3 can be adopted as such a display. The operation panel 17 is basically provided with an echo, a left / right balance, a volume of the output volume from the speaker 16 and the like, and here, in order to selectively display the lyrics telop on either the first image or the second image. The selection button is provided. The selective display may be set in advance in the lyrics display control means 30 instead of from the operation panel 17.

中央制御部22は、このシステム及び装置を統括的に処理制御する物理的なCPUであり、ROM23に記憶されているプログラムに基づくアルゴリズム処理を行う。上記RAM24は、種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。   The central control unit 22 is a physical CPU that performs overall process control of the system and apparatus, and performs algorithm processing based on a program stored in the ROM 23. The RAM 24 serves as a work area for developing and executing various programs. The RAM 24 is a concept that includes, for example, a semiconductor memory and is virtually built on a hard disk.

上記映像DB25は、演奏される楽曲に対応した背景映像が、当該楽曲の楽曲コードに対応した映像ファイルとして所定数格納したデータベースである。また、上記楽曲DB25は、演奏データ(MIDIデータ)及び歌詞テロップデータが同期されて構成される楽曲データ(ファイル)について楽曲コードをファイル名としてそれぞれ格納したデータベースである。演奏データはそれぞれの楽曲の演奏をデジタル的に表現したデータであり、歌詞テロップデータは演奏データに同期された楽曲の歌詞文字データである。   The video DB 25 is a database in which a predetermined number of background videos corresponding to music to be played are stored as video files corresponding to the music code of the music. The music DB 25 is a database that stores music codes as file names for music data (files) configured by synchronizing performance data (MIDI data) and lyrics telop data. The performance data is data that digitally represents the performance of each piece of music, and the lyrics telop data is the lyrics character data of the music synchronized with the performance data.

上記音楽曲出力部27は、楽曲コードで楽曲DB26より抽出された演奏データをデジタル再生し、アナログ変換してミキシングアンプ14に出力する電子回路である。当該ミキシングアンプ14は、マイク15より入力した歌唱者の歌唱音声と、当該音楽曲出力部27より送られてくる演奏データをミキシングし、増幅してスピーカ16より出力させるものである。   The music tune output unit 27 is an electronic circuit that digitally reproduces performance data extracted from the music DB 26 using music codes, converts the performance data into analog data, and outputs the result to the mixing amplifier 14. The mixing amplifier 14 mixes the singing voice of the singer input from the microphone 15 and the performance data sent from the music tune output unit 27, amplifies it, and outputs it from the speaker 16.

上記映像再生制御部28は、選択された楽曲に対応する上記映像DB25より抽出された背景映像のみを再生し、又は当該背景映像上に楽曲対応の上記楽曲DB26より抽出された歌詞テロップを表示させることを基本として、ここでは後述の歌詞表示制御手段30からの歌詞テロップの表示、非表示の制御信号により表示制御を行うもので、詳しくは前述の特許文献3で示される。   The video reproduction control unit 28 reproduces only the background video extracted from the video DB 25 corresponding to the selected music, or displays the lyrics telop extracted from the music DB 26 corresponding to the music on the background video. Based on this, here, the display control is performed by the control signal for displaying / not displaying the lyrics telop from the lyrics display control means 30 to be described later.

上記入力部29は、上記操作パネル17からの通常の信号を入力するもので、ここではさらに歌詞テロップを第1の画像又は第2の画像の何れかに選択的に表示させるための選択ボタンからの選択信号を歌詞表示制御手段30に送出する。そして、歌詞表示制御手段30は、演奏対象の歌詞テロップを第1の画像又は第2の画像の何れかに表示させることを制御するプログラムであり、RAM24に展開されて実行される。   The input unit 29 inputs a normal signal from the operation panel 17, and here, from a selection button for selectively displaying a lyrics telop on either the first image or the second image. The selection signal is sent to the lyrics display control means 30. The lyric display control means 30 is a program for controlling display of the lyric telop to be played on either the first image or the second image, and is expanded in the RAM 24 and executed.

ここで、図2に、図1の方向性表示部による歌詞テロップ制御表示の説明図を示す。図2(A)において、方向性表示部13は側面状態を示したものである。ここでは、当該方向性表示部13を視認する歌唱者31が立って歌唱するものとし、他の傍聴者32が着座して視認し、傍聴するものとしている。これに応じて、方向性表示部13は、水平面に対する垂直方向の上下方向における上方側の第1の角度範囲(当該方向性表示部13の上下方向中央部からの角度として表す)θ1を視認角度とする表示領域(視認領域)に第1の画像を表示させ、下方側の第2の角度範囲(同様に、当該方向性表示部13の上下方向中央部からの角度として表す)θ2を視認角度とする表示領域(視認領域)に第2の画像を表示させる。   Here, FIG. 2 shows an explanatory diagram of the lyrics telop control display by the directional display unit of FIG. In FIG. 2 (A), the direction display part 13 shows a side surface state. Here, it is assumed that a singer 31 who visually recognizes the directionality display unit 13 stands and sings, and another listener 32 sits down and visually observes and listens. In response to this, the directionality display unit 13 displays the first angle range on the upper side in the vertical direction perpendicular to the horizontal plane (expressed as an angle from the central portion in the vertical direction of the directionality display unit 13) θ1 as the viewing angle. The first image is displayed in the display area (viewing area), and the second angle range on the lower side (similarly, expressed as an angle from the center in the vertical direction of the directional display unit 13) θ2 is the viewing angle. The second image is displayed in the display area (viewing area).

通常のカラオケ装置では、演奏される楽曲に対応する背景映像41を表示し、当該背景映像41上に歌詞テロップ(歌詞テロップデータ)42を表示するものであり、本発明では、例えば、歌唱者31には背景映像41のみを視認させ、傍聴者には背景映像41と歌詞テロップ42とを視認させるものとして、第1の画像に背景映像41のみを表示させ(図2(B))、第2の画像に背景映像41と歌詞テロップ42とを表示させている(図2(C))。   In a normal karaoke apparatus, a background video 41 corresponding to a musical piece to be played is displayed, and a lyrics telop (lyric telop data) 42 is displayed on the background video 41. In the present invention, for example, a singer 31 Only the background video 41 is visually recognized, and the background image 41 and the lyrics telop 42 are visually recognized by the observer. Only the background video 41 is displayed on the first image (FIG. 2B), and the second The background video 41 and the lyrics telop 42 are displayed on the image (FIG. 2C).

そこで、図3に、図1の歌詞テロップ制御表示の処理フローチャートを示す。図3において、まず、操作パネル17より歌詞テロップ表示を利用者側に選択させ、選択された歌詞テロップ表示の選択信号を入力部29で入力することで、歌詞表示制御手段30に設定される(ステップ(S)1)。続いて、利用者より歌唱楽曲の要求信号が、例えば操作パネル17等より入力されると(S2)、中央制御部22のアルゴリズムにより、楽曲DB26より歌唱楽曲の楽曲データが抽出されて音楽曲出力部27に送出され、歌詞テロップデータ42と、映像DBより抽出された歌唱楽曲の背景映像データ41とが映像再生制御部28に送出される(S3)。   FIG. 3 shows a processing flowchart of the lyrics telop control display of FIG. In FIG. 3, first, the user selects the lyrics telop display from the operation panel 17 and inputs the selected lyrics telop display selection signal at the input unit 29, so that the lyrics display control means 30 is set ( Step (S) 1). Subsequently, when a request signal for a song is input from the user, for example, from the operation panel 17 or the like (S2), the song data of the song is extracted from the song DB 26 by the algorithm of the central control unit 22 and the music song is output. The lyrics telop data 42 and the background video data 41 of the song song extracted from the video DB are sent to the video playback control unit 28 (S3).

歌詞表示制御手段30では、設定された歌詞テロップ表示の選択信号に従い、歌詞テロップデータ42を第2の画像に表示させる制御信号を映像再生制御部28に送出する(S4)。そして、映像再生制御部28では、方向性表示部13に、背景映像41のみの第1の画像を表示させると共に、当該背景映像41及び歌詞データの歌詞テロップ42の第2の画像を表示させるものである(S5)。   The lyrics display control means 30 sends a control signal for displaying the lyrics telop data 42 on the second image to the video reproduction controller 28 in accordance with the set lyrics telop display selection signal (S4). The video reproduction control unit 28 causes the directionality display unit 13 to display the first image of only the background video 41 and the second image of the background video 41 and the lyrics telop 42 of the lyrics data. (S5).

なお、上記実施形態では、歌唱者31には演奏楽曲の背景映像41のみを視認させ、傍聴者32には背景映像41及び歌詞テロップ42を表示させる場合を示したが、逆に、傍聴者32には演奏楽曲の背景映像41のみを視認させ、歌唱者31には背景映像41及び歌詞テロップ42を表示させる場合であってもよい(すなわち、第1の画像と第2の画像が図上で逆転されることを意味する)。これによって、傍聴者32には、歌唱者31が歌詞を記憶していなくともあたかも歌詞テロップ42を見ないで歌唱しているように思わせることもできる。このことは、以下の実施形態においても同様である。   In the above embodiment, the singer 31 is allowed to visually recognize only the background image 41 of the musical composition, and the listener 32 is displayed with the background image 41 and the lyrics telop 42. May be a case where only the background image 41 of the performance music is visually recognized and the background image 41 and the lyrics telop 42 are displayed on the singer 31 (that is, the first image and the second image are shown in the figure). Meaning it will be reversed). Thereby, it is possible to make the listener 32 feel as if the singer 31 is singing without looking at the lyrics telop 42 even if the singer 31 does not memorize the lyrics. The same applies to the following embodiments.

このように、歌唱者31に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   Thus, while making the singer 31 visually recognize the first image or the second image of the lyrics telop displayed or hidden, the listener can make the first image or the first image hidden or displayed opposite to the lyrics telop displayed. 2 allows the user to easily and efficiently embody the simultaneous display and non-display of the lyrics telop on the same screen without requiring troublesome operations by the user. is there.

次に、図4に、本発明に係る表示制御システムを備えるカラオケ装置の第2実施形態のブロック構成図を示す。図4に示すカラオケ装置11は、図1に示す構成に、さらに仰角駆動部51及び表示部角度調整部52を備えさせたものである。上記仰角駆動部51は、方向性表示部13の表示面を仰角方向に回転させる機構であり、回転は表示部角度調整部52により制御される。上記表示部角度調整部52は、仰角を特定して仰角駆動部51を制御するプログラムであり、RAM24に展開されて実行されるものである。   Next, FIG. 4 shows a block diagram of a second embodiment of the karaoke apparatus provided with the display control system according to the present invention. The karaoke apparatus 11 shown in FIG. 4 is obtained by further adding an elevation angle driving unit 51 and a display unit angle adjusting unit 52 to the configuration shown in FIG. The elevation angle driving unit 51 is a mechanism for rotating the display surface of the directional display unit 13 in the elevation angle direction, and the rotation is controlled by the display unit angle adjusting unit 52. The display unit angle adjusting unit 52 is a program for specifying the elevation angle and controlling the elevation angle driving unit 51, and is developed in the RAM 24 and executed.

そこで、図5に、図4の表示部角度調整の説明図を示す。図5(A)、(B)において、方向性表示部13は、側面状態を示したものである。すなわち、図5(A)では、方向性表示部13の表示面を垂直方向の下方側に仰角として所定角度(θ3)で回転(図上、反時計方向)させて傾かせたもので、表示面を下方向に向かせた場合である。この状態においても第1の画像(背景映像41のみ)と第2の画像(背景映像41及び歌詞テロップ42)とが同時に別表示される。   FIG. 5 is an explanatory diagram of the display unit angle adjustment of FIG. 5A and 5B, the directional display unit 13 shows a side surface state. That is, in FIG. 5A, the display surface of the directional display unit 13 is tilted by rotating at a predetermined angle (θ3) as an elevation angle in the vertical downward direction (counterclockwise in the figure). This is a case where the surface is directed downward. Even in this state, the first image (only the background video 41) and the second image (the background video 41 and the lyrics telop 42) are displayed separately at the same time.

また、図5(B)では、逆に、方向性表示部13の表示面を垂直方向の上方側に仰角として所定角度(θ4)で回転(図上、時計方向)させて傾かせたもので、表示面を上方向に向かせた場合である。この状態においても第1の画像(背景映像41のみ)と第2の画像(背景映像41及び歌詞テロップ42)とが同時に別表示される。   In FIG. 5B, conversely, the display surface of the directional display unit 13 is tilted by rotating (clockwise in the figure) at a predetermined angle (θ4) as an elevation angle upward in the vertical direction. This is a case where the display surface is directed upward. Even in this state, the first image (only the background video 41) and the second image (the background video 41 and the lyrics telop 42) are displayed separately at the same time.

上記方向性表示部13の回転は、仰角駆動部51に対する表示部角度調整部52の制御信号によるものであり、角度の制御信号は、例えば操作パネル17より利用者が適宜設定することとすればよい。このような方向性表示部13の回転を、例えば歌唱者31の身長や、当該歌唱者31の歌唱場所(例えば、ステージ壇上)に応じさせることに有意義である。   The rotation of the directional display unit 13 is based on a control signal of the display unit angle adjustment unit 52 with respect to the elevation drive unit 51, and the angle control signal is appropriately set by the user from the operation panel 17, for example. Good. It is meaningful to make such rotation of the directionality display unit 13 correspond to, for example, the height of the singer 31 and the singing place of the singer 31 (for example, on the stage platform).

このように、歌唱者31の視認位置に対して確実に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者32に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   In this way, the first or second image of the lyrics telop is displayed or hidden reliably with respect to the viewing position of the singer 31 while the listener 32 reversely hides the lyrics telop or Since the first image or the second image displayed is visually recognized, it is easy and efficient to simultaneously display whether or not to display the lyrics telop on the same screen without requiring a troublesome operation by the user. It can be embodied.

次に、図6に、本発明に係る表示制御システムを備えるカラオケ装置の第3実施形態のブロック構成図を示す。図6に示すカラオケ装置11は、図4に示すカラオケ装置11に、さらに検出センサ53及び検出位置特定手段54を備えさせたものである。検出センサ53は、例えばCCDセンサや3Dセンサ等で実現することができ、例えば方向性表示部13の垂直方向の中央部付近に配置される(図8(A)参照)。   Next, in FIG. 6, the block block diagram of 3rd Embodiment of the karaoke apparatus provided with the display control system which concerns on this invention is shown. The karaoke apparatus 11 shown in FIG. 6 is obtained by adding a detection sensor 53 and a detection position specifying means 54 to the karaoke apparatus 11 shown in FIG. The detection sensor 53 can be realized by, for example, a CCD sensor, a 3D sensor, or the like, and is disposed, for example, near the central portion in the vertical direction of the directional display unit 13 (see FIG. 8A).

上記検出位置特定手段54は、検出センサ53からの検出情報に基づいて所定の検出対象の高さ位置を特定して歌唱者31の視認位置を特定するプログラムであり、RAM24に展開されて実行される。検出対象として、ここでは歌唱者31が持つマイク15(例えば、マイクのウインドスクリーン若しくはグリルボール)とし、この画像データが予め登録される。位置特定の処理としては、一例として、検出センサ53からの例えば画像データ中のマイク15(上記ウインドスクリーン若しくはグリルボール)を抽出して特定し、検出センサ53からの画像データの、例えば中央位置を基準として特定した上記検出対象の高さを特定することで、歌唱者31の視認位置を特定することができるものである。なお、検出対象は他のものでもよい。例えば、一般的な顔の特徴のデータを登録しておき、検出センサ53からの画像データよりそれぞれの顔特徴を認識し、一番高い位置の顔データで歌唱者31を特定して視認位置を特定させることもできる。   The detection position specifying means 54 is a program that specifies the height position of a predetermined detection target based on the detection information from the detection sensor 53 and specifies the visual position of the singer 31 and is developed and executed in the RAM 24. The Here, the microphone 15 of the singer 31 (for example, a windscreen of a microphone or a grill ball) is used as a detection target, and this image data is registered in advance. As an example of the position specifying process, for example, the microphone 15 (the above-described wind screen or grill ball) in the image data from the detection sensor 53 is extracted and specified, and for example, the center position of the image data from the detection sensor 53 is determined. The visual recognition position of the singer 31 can be specified by specifying the height of the detection target specified as the reference. Note that another detection target may be used. For example, general facial feature data is registered, each facial feature is recognized from the image data from the detection sensor 53, the singer 31 is identified by the highest face data, and the viewing position is determined. It can also be specified.

上記検出センサ53及び検出位置特定手段54の構成に対して、表示部角度調整部52は、検出位置特定手段54で特定された当該歌唱者31の視認位置から、ここでは歌唱者31に第1の画像を表示させるべく仰角を特定して仰角駆動部51を制御するものである。   In contrast to the configuration of the detection sensor 53 and the detection position specifying means 54, the display unit angle adjustment section 52 is the first to the singer 31 from the visual position of the singer 31 specified by the detection position specifying means 54. The elevation angle drive unit 51 is controlled by specifying the elevation angle to display the image.

そこで、図7に図6の歌詞テロップ制御表示の処理フローチャートを示すと共に、図8に図6の歌詞テロップ制御表示の説明図を示す。まず、検出センサ53は、図8(A)に示すように、方向性表示部13の側部であり、垂直方向の中央付近に配置される。なお、検出センサ53の配置位置は、床面に対して水平位置を保持させ、画像データの基準高さ(例えば水平中央部)を方向表示部13の基準高さ(例えば、水平中央位置)に対応させるようにしておくことで容易に検出対象の高さ位置の特定をすることができることから、方向性表示部13に対して上下左右の何れであってもよく、別の場所であってもよい。   FIG. 7 shows a processing flowchart of the lyrics telop control display of FIG. 6, and FIG. 8 shows an explanatory diagram of the lyrics telop control display of FIG. First, as shown in FIG. 8A, the detection sensor 53 is a side portion of the directional display unit 13 and is arranged near the center in the vertical direction. The arrangement position of the detection sensor 53 is kept horizontal with respect to the floor surface, and the reference height (for example, horizontal center portion) of the image data is set to the reference height (for example, horizontal center position) of the direction display unit 13. Since the height position of the detection target can be easily specified by making it correspond, it may be either up, down, left, or right with respect to the directionality display unit 13 or may be in another place. Good.

図7において、まず、検出センサ53で検出したデータ(例えば画像データ)が検出位置特定手段54に入力される(S11)。検出位置特定手段54では、検出データ中から、マイク15を認識し、当該マイク15の基準(水平位置)からの高さ位置を特定し、歌唱者の視認位置を特定する(S12)。表示部角度調整部52では、特定された歌唱者31の視認位置から歌唱者31に第1の画像が視認される方向性表示部13の仰角を決定して駆動制御信号を表示部角度調整部51に送出する(S13)。そして、仰角駆動部51が、表示部角度調整部52からの決定された仰角の駆動信号に応じて方向性表示部13を垂直方向に対して当該仰角まで回転駆動させるものである(S14)。   In FIG. 7, first, data (for example, image data) detected by the detection sensor 53 is input to the detection position specifying means 54 (S11). The detection position specifying means 54 recognizes the microphone 15 from the detection data, specifies the height position from the reference (horizontal position) of the microphone 15, and specifies the visual position of the singer (S12). The display unit angle adjustment unit 52 determines the elevation angle of the directional display unit 13 at which the first image is visually recognized by the singer 31 from the identified visual position of the singer 31 and displays the drive control signal as the display unit angle adjustment unit. 51 (S13). Then, the elevation angle drive unit 51 rotates the directional display unit 13 to the elevation angle with respect to the vertical direction according to the drive signal of the determined elevation angle from the display unit angle adjustment unit 52 (S14).

例えば、マイク15(例えば、上記ウインドスクリーン若しくはグリルボール)が、図8(B)に示すように、検出センサ53(方向性表示部13)の水平位置より下方にある場合には、歌唱者31の視認位置に第1の画像(背景映像41のみ)が表示される仰角θ5が決定されて、図上、反時計方向に方向性表示部13を回転させる。また、マイク15(例えば、上記ウインドスクリーン若しくはグリルボール)が、図8(C)に示すように、検出センサ53(方向性表示部13)の水平位置より上方にある場合には、同様に歌唱者31の視認位置に第1の画像(背景映像41のみ)が表示される仰角θ6が決定されて、図上、時計方向に方向性表示部13を回転させるものである。   For example, when the microphone 15 (for example, the wind screen or the grill ball) is located below the horizontal position of the detection sensor 53 (directional display unit 13) as shown in FIG. The elevation angle θ5 at which the first image (only the background image 41) is displayed at the viewing position is determined, and the directionality display unit 13 is rotated counterclockwise in the drawing. In addition, when the microphone 15 (for example, the wind screen or the grill ball) is above the horizontal position of the detection sensor 53 (directional display unit 13) as shown in FIG. The elevation angle θ6 at which the first image (only the background image 41) is displayed at the visual recognition position of the person 31 is determined, and the directionality display unit 13 is rotated clockwise in the drawing.

このように、歌唱者31の視認位置に対して自動的かつ確実に歌詞テロップの表示又は非表示の第1の画像又は第2の画像を視認させる一方で、傍聴者32に歌詞テロップの逆の非表示又は表示の第1の画像又は第2の画像を視認させることから、利用者による煩わしい操作を必要とせずに、歌詞テロップの同一画面での表示、非表示を同時表示することを容易かつ効率的に具現化することができるものである。   In this manner, the first or second image of the lyrics telop is automatically or reliably displayed with respect to the viewing position of the singer 31 while the listener 32 reverses the lyrics telop. Since the first image or the second image that is not displayed or displayed is visually recognized, it is easy and simultaneous to display and hide the lyrics telop on the same screen without requiring troublesome operations by the user. It can be realized efficiently.

本発明の表示制御システムを備えるカラオケ装置は、カラオケ装置に歌詞テロップの表示、非表示を行わせるカラオケ産業上に利用可能である。   The karaoke apparatus provided with the display control system of the present invention can be used on the karaoke industry in which the karaoke apparatus displays and hides the lyrics telop.

本発明に係る表示制御システムを備えるカラオケ装置の第1実施形態のブロック構成図である。It is a block block diagram of 1st Embodiment of a karaoke apparatus provided with the display control system which concerns on this invention. 図1の方向性表示部による歌詞テロップ制御表示の説明図である。It is explanatory drawing of the lyrics telop control display by the directionality display part of FIG. 図1の歌詞テロップ制御表示の処理フローチャートである。It is a processing flowchart of the lyrics telop control display of FIG. 本発明に係る表示制御システムを備えるカラオケ装置の第2実施形態のブロック構成図である。It is a block block diagram of 2nd Embodiment of a karaoke apparatus provided with the display control system which concerns on this invention. 図4の表示部角度調整の説明図である。It is explanatory drawing of the display part angle adjustment of FIG. 本発明に係る表示制御システムを備えるカラオケ装置の第3実施形態のブロック構成図である。It is a block block diagram of 3rd Embodiment of a karaoke apparatus provided with the display control system which concerns on this invention. 図6の歌詞テロップ制御表示の処理フローチャートである。FIG. 7 is a processing flowchart of lyrics telop control display in FIG. 6. FIG. 図6の歌詞テロップ制御表示の説明図である。It is explanatory drawing of the lyrics telop control display of FIG.

符号の説明Explanation of symbols

11 カラオケ装置
12 カラオケ本体
13 方向性表示部
25 映像DB
26 楽曲DB
28 映像再生制御部
30 歌詞表示制御手段
31 歌唱者
32 傍聴者
41 第1の画像
42 第2の画像
51 仰角駆動部
52 表示部角度調整部
53 検出センサ
54 検出位置特定手段
11 Karaoke device 12 Karaoke body 13 Directional display unit 25 Video DB
26 Music DB
28 video reproduction control unit 30 lyrics display control means 31 singer 32 observer 41 first image 42 second image 51 elevation angle drive unit 52 display unit angle adjustment unit 53 detection sensor 54 detection position specifying unit

Claims (3)

カラオケにおける演奏に同期した歌詞テロップの表示、非表示を行わせる表示制御システムを備えるカラオケ装置であって、
方向性表示部と、歌詞表示制御手段とを有し、
前記方向性表示部は、表示面上で、垂直方向における上下の何れか一方の第1の角度範囲内で視認させる第1の画像を表示すると共に、他方の第2の角度範囲内で視認させる第2の画像を同時に別表示するものであり、
前記歌詞表示制御手段は、演奏対象の歌詞テロップを前記第1の画像又は第2の画像の何れかに表示させることを制御する、
ことを特徴とする表示制御システムを備えるカラオケ装置。
A karaoke apparatus comprising a display control system for displaying and hiding lyrics telop synchronized with performance in karaoke,
A directional display section and lyrics display control means;
The directional display unit displays a first image to be visually recognized within one of the upper and lower first angle ranges in the vertical direction on the display surface and is visually recognized within the other second angle range. The second image is displayed separately at the same time,
The lyric display control means controls the display of the lyric telop to be played on either the first image or the second image.
A karaoke apparatus comprising a display control system characterized by that.
請求項1記載の表示制御システムを備えるカラオケ装置であって、
さらに、仰角駆動部と、表示部角度調整部とを備え、
前記仰角駆動部は、前記方向性表示部の表示面を仰角方向に回転させるものであり、
前記表示部角度調整部は、前記仰角を特定して前記仰角駆動部を制御する、
ことを特徴とする表示制御システムを備えるカラオケ装置。
A karaoke apparatus comprising the display control system according to claim 1,
Furthermore, an elevation angle drive unit and a display unit angle adjustment unit are provided,
The elevation drive unit rotates the display surface of the directional display unit in the elevation direction.
The display unit angle adjustment unit controls the elevation drive unit by specifying the elevation angle;
A karaoke apparatus comprising a display control system characterized by that.
請求項2記載の表示制御システムを備えるカラオケ装置であって、
さらに、検出位置特定手段を備え、
前記検出位置特定手段は、所定の検出対象を検出して高さ位置を特定し、
前記表示部角度調節部は、前記検出位置特定手段で特定された検出位置が、前記第1の角度範囲内または前記第2の角度範囲内の何れかに含まれるように、仰角回転方向及び仰角回転角度を特定して前記仰角駆動部を制御する、
ことを特徴とする表示制御システムを備えるカラオケ装置。
A karaoke apparatus comprising the display control system according to claim 2,
Furthermore, a detection position specifying means is provided,
The detection position specifying means detects a predetermined detection target and specifies a height position;
The display unit angle adjustment unit includes an elevation angle rotation direction and an elevation angle so that the detection position specified by the detection position specifying unit is included in either the first angle range or the second angle range. Identifying the rotation angle and controlling the elevation drive unit;
A karaoke apparatus comprising a display control system characterized by that.
JP2006295300A 2006-10-31 2006-10-31 Karaoke device with display control system Expired - Fee Related JP4557952B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006295300A JP4557952B2 (en) 2006-10-31 2006-10-31 Karaoke device with display control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006295300A JP4557952B2 (en) 2006-10-31 2006-10-31 Karaoke device with display control system

Publications (2)

Publication Number Publication Date
JP2008112014A true JP2008112014A (en) 2008-05-15
JP4557952B2 JP4557952B2 (en) 2010-10-06

Family

ID=39444550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006295300A Expired - Fee Related JP4557952B2 (en) 2006-10-31 2006-10-31 Karaoke device with display control system

Country Status (1)

Country Link
JP (1) JP4557952B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208387A (en) * 2011-03-30 2012-10-25 Xing Inc Karaoke machine

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171480A (en) * 1996-12-12 1998-06-26 Brother Ind Ltd Musical sound reproducing device
JPH1124684A (en) * 1997-07-08 1999-01-29 Daiichi Kosho:Kk Karaoke (sing-along music) amusement system
JP2000039895A (en) * 1998-07-24 2000-02-08 Ricoh Co Ltd Music reproduction device
JP2005073076A (en) * 2003-08-26 2005-03-17 Sharp Corp Display device
JP2005078076A (en) * 2003-08-30 2005-03-24 Sharp Corp Multiple view direction display
JP2006146254A (en) * 2005-12-12 2006-06-08 Fujitsu Ten Ltd Display device
JP2007206301A (en) * 2006-02-01 2007-08-16 Xing Inc Karaoke device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171480A (en) * 1996-12-12 1998-06-26 Brother Ind Ltd Musical sound reproducing device
JPH1124684A (en) * 1997-07-08 1999-01-29 Daiichi Kosho:Kk Karaoke (sing-along music) amusement system
JP2000039895A (en) * 1998-07-24 2000-02-08 Ricoh Co Ltd Music reproduction device
JP2005073076A (en) * 2003-08-26 2005-03-17 Sharp Corp Display device
JP2005078076A (en) * 2003-08-30 2005-03-24 Sharp Corp Multiple view direction display
JP2006146254A (en) * 2005-12-12 2006-06-08 Fujitsu Ten Ltd Display device
JP2007206301A (en) * 2006-02-01 2007-08-16 Xing Inc Karaoke device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208387A (en) * 2011-03-30 2012-10-25 Xing Inc Karaoke machine

Also Published As

Publication number Publication date
JP4557952B2 (en) 2010-10-06

Similar Documents

Publication Publication Date Title
JP2006174277A (en) Mobile terminal, stereo reproducing method, and stereo reproducing program
GB2324642A (en) Interactive control of audio outputs on a display screen
JP4916005B2 (en) Karaoke system
JP4557952B2 (en) Karaoke device with display control system
JP4509074B2 (en) Lyric telop display control system for karaoke equipment
WO2006011342A1 (en) Music sound generation device and music sound generation system
TWI595476B (en) A reference display device, a reference display method, and a program
JP4557953B2 (en) Karaoke device with display control system
JP2008076766A (en) Electronic chart book device
JP5116453B2 (en) Karaoke system with duplicate music selection notification function
JP6144552B2 (en) Karaoke system for singing by part
JP2011053276A (en) Karaoke system including background image variable display function
JP2006162916A (en) Music reproducing apparatus
JP2009122498A (en) Electronic picture book system and electronic picture book system controller
JP4916361B2 (en) Karaoke system
JP5477597B2 (en) Music performance device and music performance system
JP7377702B2 (en) karaoke equipment
JP2013003430A (en) Karaoke device
JPH09218690A (en) Musical tone reproducing device with choreography teaching function
CN113470602B (en) Method, device and system for controlling karaoke sound through audio playing
JP2010085481A (en) Karaoke apparatus
JP6547551B2 (en) Karaoke device, program
JP2010085482A (en) Karaoke apparatus and karaoke system
JP2007193150A (en) Karaoke device and program of karaoke information processing
JP2005293175A (en) User interface automatic adjustment method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100720

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees