JP2010256642A - Karaoke system with singer image taking function - Google Patents

Karaoke system with singer image taking function Download PDF

Info

Publication number
JP2010256642A
JP2010256642A JP2009107240A JP2009107240A JP2010256642A JP 2010256642 A JP2010256642 A JP 2010256642A JP 2009107240 A JP2009107240 A JP 2009107240A JP 2009107240 A JP2009107240 A JP 2009107240A JP 2010256642 A JP2010256642 A JP 2010256642A
Authority
JP
Japan
Prior art keywords
face image
singer
user
photographing
karaoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009107240A
Other languages
Japanese (ja)
Other versions
JP5325012B2 (en
Inventor
Hiroe Ozawa
裕恵 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2009107240A priority Critical patent/JP5325012B2/en
Publication of JP2010256642A publication Critical patent/JP2010256642A/en
Application granted granted Critical
Publication of JP5325012B2 publication Critical patent/JP5325012B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a Karaoke system capable of taking an image of a singer while following motion of the singer who selects and reserves music. <P>SOLUTION: The Karaoke system includes: a face image comparing means 50 for comparing a taken face image data 43b of the singer who is in a singer image taking area, when a Karaoke musical piece which is selected and reserved by relating it to a user ID is performed, and an image is taken by an image taking means 23, with registered face image data of the user, which is related to the user ID and stored beforehand; and an object following means 54 for matching an imaging direction of the imaging means 23 with the taken face image position of the singer, by operating a pan/tilt mechanism 23e following motion of the singer, when both face image data match. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、歌唱者を撮影する機能を有するカラオケシステムであって、選曲予約を行った歌唱者の動きに追従して当該歌唱者を撮影することを可能としたカラオケシステムに関するものである。   The present invention relates to a karaoke system having a function of photographing a singer and capable of photographing the singer in accordance with the movement of the singer who made a music selection reservation.

現在のカラオケシステムでは、カラオケ演奏装置を用いて歌唱を行っている歌唱者の映像を録画し、これをウェブサイトで公開するサービスが実用化されている。このサービスは、歌唱者の映像を撮影してサーバに記録し、インターネット接続したパーソナルコンピュータや携帯電話を用いて当該映像を視聴できるものである。このサービスにより、カラオケ演奏装置を用いた歌唱姿態を、歌唱者自らが楽しんだり、友人等に見せたりすることができ、カラオケ演奏装置を用いた歌唱の楽しさにバリエーションを持たせることができる。   In the current karaoke system, a service for recording a video of a singer who sings using a karaoke performance device and publishing it on a website has been put into practical use. In this service, a video of a singer is photographed and recorded on a server, and the video can be viewed using a personal computer or mobile phone connected to the Internet. This service allows the singer to enjoy the singing appearance using the karaoke performance device or show it to friends and the like, and can give variations to the joy of singing using the karaoke performance device.

カラオケルームのステージのように、歌唱者が歌唱を行う位置が決まっている場合には、その歌唱位置に向けて撮影装置を設置して歌唱者の映像を撮影すればよい。しかし、歌唱者が常にステージの中央で歌唱するとは限らず、ステージの隅で歌唱を行ったり、ステージ上を移動しながら歌唱を行ったりすることがある。このような状況において、撮影位置を固定した撮影装置によっては歌唱者の映像を適切に録画することはできない。   When the position where the singer sings is determined as in the stage of the karaoke room, a photographing device may be installed toward the singing position to shoot the video of the singer. However, the singer does not always sing at the center of the stage, and may sing at the corner of the stage or sing while moving on the stage. In such a situation, the video of the singer cannot be properly recorded by a photographing device with a fixed photographing position.

従来、ビデオカメラ等の撮影装置における被写体追尾装置が種々提案されている(特許文献1、特許文献2参照)。
特許文献1に記載された技術は、ビデオカメラなどの撮像手段と、撮像手段で撮影された画像面から特定の被写体像を検出する被写体認識手段と、被写体認識手段が検出した被写体像が画像の所定位置に収まるように撮像手段の撮像方向を変更する撮像方向変更手段とを備えている。そして、撮像方向変更手段は、可動範囲が狭く比較的高速で追従する第1の撮像方向変更手段と、可動範囲が広く比較的低速で追従する第2の撮像方向変更手段と、第1の撮像方向変更手段と第2の撮像方向変更手段とが協調して動作するように働く協調手段と、を備えている。これにより、追尾範囲が広く応答追従性に優れた被写体追尾装置を実現することができるとしている。
Conventionally, various subject tracking devices have been proposed for photographing devices such as video cameras (see Patent Documents 1 and 2).
The technique described in Patent Document 1 includes an imaging unit such as a video camera, a subject recognition unit that detects a specific subject image from an image plane captured by the imaging unit, and the subject image detected by the subject recognition unit is an image. Imaging direction changing means for changing the imaging direction of the imaging means so as to be within a predetermined position. The imaging direction changing means includes a first imaging direction changing means having a narrow movable range and following at a relatively high speed, a second imaging direction changing means having a wide movable range and following at a relatively low speed, and a first imaging. The direction changing means and the second imaging direction changing means are provided with cooperative means that operate so as to operate in a coordinated manner. As a result, it is possible to realize a subject tracking device having a wide tracking range and excellent response tracking.

また、特許文献2に記載された技術は、撮影視野内の画像を取り込み、その画像の特徴抽出を行う画像検出手段と、画像検出手段の特徴抽出結果に基づいて、撮影視野内において主被写体となる可能性のある候補領域を認識する画像認識手段と、画像認識手段が認識した候補領域を表示する表示手段と、表示手段により表示された候補領域の中から、主被写体が存在する主被写体領域として少なくとも1つを選択する主被写体領域選択手段と、主被写体領域手段により選択された主被写体領域の画像について画像検出手段が抽出した特徴を特徴基準として記憶する主被写体領域記憶手段とを備えている。これにより、記憶した特徴基準を用いれば、主被写体が移動しても、主被写体の移動に追従することができるとしている。   In addition, the technique described in Patent Document 2 captures an image in a shooting field of view, extracts an image feature of the image, and based on a feature extraction result of the image detection unit, An image recognizing unit for recognizing a potential candidate region, a display unit for displaying the candidate region recognized by the image recognizing unit, and a main subject region in which the main subject is present among the candidate regions displayed by the display unit Main subject area selecting means for selecting at least one of the main subject area, and main subject area storing means for storing the feature extracted by the image detecting means for the image of the main subject area selected by the main subject area means as a feature reference. Yes. Thus, using the stored feature reference, even if the main subject moves, it is possible to follow the movement of the main subject.

特開平11−215422号公報Japanese Patent Laid-Open No. 11-215422 特開2000−2833号公報JP 2000-2833 A

ところで、撮影機能を有するカラオケ演奏装置の本来の目的は、撮影を所望して選曲予約を行った歌唱者の映像を録画することにある。すなわち、カラオケルーム内に集合している利用者の中から選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画しなければならない。   By the way, the original purpose of a karaoke performance apparatus having a photographing function is to record an image of a singer who has made a reservation for music selection for photographing. That is, it is necessary to identify a singer who has made a reservation for music selection among the users gathered in the karaoke room, and to record the video of the singer.

しかしながら、上述した従来の技術では、撮影開始時にビデオカメラが向けられていた被写体を追尾することができるが、必ずしもその被写体が選曲予約を行った歌唱者であるとは限らない。例えば、カラオケ楽曲の演奏が開始された時点において、ビデオカメラ等の撮影装置がステージに向けられており、ステージ上の人物を捕捉していたとする。この場合に、ステージ上に司会者が立っており、演奏が開始されたカラオケ楽曲及び歌唱者の紹介を行った後にステージから去り、その後、ステージ上に歌唱者が立った場合には、演奏開始時点に合焦していた被写体である司会者の動きに追従して撮影が行われることになる。これでは、撮影を所望して選曲予約を行った歌唱者の映像を録画するという、本来の目的を達成することができない。また、ある程度、歌唱者撮影エリアが広く、歌唱者が歌唱者撮影エリア内を移動しながら歌唱を行った場合には、バランスの良い歌唱姿態の映像を得ることができない。   However, with the conventional technology described above, the subject to which the video camera is directed at the start of shooting can be tracked, but the subject is not necessarily the singer who made the music selection reservation. For example, it is assumed that when a performance of karaoke music is started, a photographing device such as a video camera is directed to the stage and a person on the stage is captured. In this case, if the presenter is standing on the stage and the karaoke music and the singer who started playing are introduced, then they leave the stage and then the performance starts when the singer stands on the stage. Shooting is performed following the movement of the presenter, who is the subject focused at the time. In this case, the original purpose of recording a video of a singer who desires to shoot and makes a music selection reservation cannot be achieved. In addition, when the singer shooting area is wide to some extent and the singer sings while moving in the singer shooting area, a well-balanced singing image cannot be obtained.

本発明は、上述した事情に鑑み提案されたもので、選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供することを目的とする。   This invention is proposed in view of the situation mentioned above, and it aims at providing the karaoke system which can track the motion of the singer who performed music selection reservation, and can image | photograph the said singer.

本発明の歌唱者画像撮影機能を有するカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の歌唱者画像撮影機能を有するカラオケシステムは、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、撮影機能制御手段と、報知制御手段と、被写体追従手段と、を備えている。   The karaoke system having a singer image photographing function of the present invention has the following features in order to achieve the above-described object. That is, the karaoke system having a singer image photographing function of the present invention includes a photographing means, a face image identification storage means, a user face image registration means, a face image comparison means, a photographing function control means, and a notification control means. And subject tracking means.

撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影するための手段である。顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶するための手段である。利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者IDに紐付けして利用者顔画像データベースに登録するための手段である。顔画像比較手段は、利用者IDに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段により撮影が行われている場合に、撮影顔画像データと、当該利用者IDに紐付けされた登録顔画像データとを比較するための手段である。被写体追従手段は、撮影顔画像データと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の撮影顔画像位置に一致させるための手段である。   The photographing means has a pan / tilt mechanism and is a means for photographing a singer's face image while playing an arbitrary karaoke piece. The face image identification storage means is a means for identifying the face image of the singer in the singer shooting area and storing the shot face image as shooting face image data in a predetermined storage unit. The user face image registration means is means for previously registering face image data for each user in the user face image database in association with the user ID. The face image comparing means, when a karaoke music piece reserved for music selection linked to a user ID is being played and being photographed by the photographing means, includes the photographed face image data and the user ID. This is a means for comparing the associated registered face image data. When the photographed face image data and the registered face image data match, the subject tracking means follows the movement of the singer and operates the pan / tilt mechanism to change the shooting direction of the photographic means. It is a means for making it correspond to a picked-up face image position.

このような構成からなる歌唱者画像撮影機能を有するカラオケシステムでは、利用者顔画像登録手段の機能により、予め、利用者毎の顔画像データを利用者IDに紐付けして利用者顔画像データベースに格納しておく。そして、利用者IDに紐付して選曲予約されたカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、顔画像比較手段の機能により、現に撮影手段により撮影している撮影顔画像データと、選曲予約を行った利用者の登録顔画像データとを比較する。   In a karaoke system having a singer image photographing function having such a configuration, a user face image database in which face image data for each user is linked to a user ID in advance by the function of the user face image registration means. Store it in. Then, when a karaoke piece of music that is associated with the user ID and reserved for music selection is played, and shooting is performed by the shooting unit, the photographed face image data actually shot by the shooting unit is obtained by the function of the face image comparison unit. And the registered face image data of the user who made the music selection reservation.

ここで、撮影顔画像データと登録顔画像データとが一致している場合、すなわち、選曲予約を行った歌唱者が被写体となっている場合には、被写体追従手段の機能により、歌唱者の移動に追従してパン・チルト機構を作動させることにより、選曲予約を行った歌唱者の顔画像位置に撮影手段の撮影方向を一致させ、当該歌唱者を撮影する。   Here, when the photographed face image data matches the registered face image data, that is, when the singer who made the music selection reservation is the subject, the movement of the singer is performed by the function of the subject tracking means. By operating the pan / tilt mechanism following the above, the photographing direction of the photographing means is made to coincide with the face image position of the singer who made the music selection reservation, and the singer is photographed.

本発明の歌唱者画像撮影機能を有するカラオケシステムによれば、選曲予約を行った利用者が被写体となっている場合には、撮影手段の撮影方向を当該利用者の移動に追従させる。したがって、撮影を所望して選曲予約を行った適正な歌唱者の画像を、その移動に追従させて撮影することにより、バランスの良い歌唱姿態の映像を得ることができる。   According to the karaoke system having the singer image photographing function of the present invention, when the user who made the music selection reservation is the subject, the photographing direction of the photographing means is made to follow the movement of the user. Therefore, by photographing an image of an appropriate singer who desires to shoot and makes a music selection reservation by following the movement, an image of a well-balanced singing state can be obtained.

本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置のブロック図。The block diagram of the karaoke performance apparatus which applies the karaoke system which has a singer image photographing function concerning the embodiment of the present invention. 本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャート。The flowchart which shows the singer follow-up control process in the karaoke system which has a singer image imaging | photography function which concerns on embodiment of this invention. 表示装置の表示画面に表示される警告メッセージの一例を示す模式図。The schematic diagram which shows an example of the warning message displayed on the display screen of a display apparatus.

以下、図面を参照して、本発明の歌唱者画像撮影機能を有するカラオケシステムの実施形態を説明する。本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムは歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備えている。また、撮影機能制御手段と、報知制御手段と、を含ませることが可能である。図1に、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置の構成を示す。   Hereinafter, an embodiment of a karaoke system having a singer image photographing function of the present invention will be described with reference to the drawings. A karaoke system having a singer image photographing function according to an embodiment of the present invention is a karaoke system for photographing a singer, and includes a photographing means, a face image identification storage means, a user face image registration means, and a face. Image comparison means and subject tracking means are provided. Moreover, it is possible to include a photographing function control unit and a notification control unit. FIG. 1 shows a configuration of a karaoke performance apparatus to which a karaoke system having a singer image photographing function according to an embodiment of the present invention is applied.

<カラオケ演奏装置>
本発明の実施形態に係るカラオケ演奏装置11は、図1に示すように、カラオケ本体21、カラオケリモコン装置22、撮影手段23、マイクロホン24、スピーカ25、ミキシングアンプ26、表示装置27を備えている。
<Karaoke performance device>
As shown in FIG. 1, the karaoke performance apparatus 11 according to the embodiment of the present invention includes a karaoke main body 21, a karaoke remote control device 22, a photographing unit 23, a microphone 24, a speaker 25, a mixing amplifier 26, and a display device 27. .

<カラオケリモコン装置>
カラオケリモコン装置22は、ユーザインタフェース機能を備えており、カラオケ本体21の送受信手段45に対して有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置22は、楽曲検索手段22aとして機能するプログラム、楽曲索引データベース22b、利用者ID取得手段22cとして機能する回路基板及びプログラム、データの送受信を行うための回路基板及びプログラム、フラッシュメモリ等からなる記憶手段(図示せず)を備えている。このカラオケリモコン装置22に付帯するスイッチ類や、入出力表示部(図示せず)に表示される各種のアイコン等を操作することにより、選曲操作、撮影指示操作等が行われる。
<Karaoke remote control device>
The karaoke remote control device 22 has a user interface function, and transmits / receives data to / from the transmission / reception means 45 of the karaoke main body 21 by a wired method or a wireless method. This karaoke remote control device 22 includes a program functioning as a music search means 22a, a music index database 22b, a circuit board and program functioning as a user ID acquisition means 22c, a circuit board and program for transmitting and receiving data, a flash memory, etc. The memory | storage means (not shown) consisting of these is provided. By operating switches attached to the karaoke remote control device 22 and various icons displayed on an input / output display unit (not shown), a music selection operation, a shooting instruction operation, and the like are performed.

<楽曲検索手段/楽曲索引データベース>
楽曲検索手段22aは、利用者の指示に基づき、楽曲索引データベース22bを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース22bは、カラオケ演奏装置11で演奏に供されるカラオケ楽曲についての属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。
<Music search means / music index database>
The music search means 22a is composed of a program for searching for music by referring to the music index database 22b based on a user instruction. The music index database 22b is a database in which attribute information about karaoke music used for performance by the karaoke performance device 11 is described. For example, the music number, song name, singer name, lyrics of the singing part, fashion season, music genre This includes various attribute information such as whether or not it is a category / duet song.

<利用者ID取得手段>
利用者ID取得手段22cは、利用者がカラオケ演奏装置11を利用する際に、利用者が所持するID媒体31から利用者IDを取得するための電子回路及びプログラムからなる。利用者ID取得手段22cで取得した利用者IDは、RAM43に一時的に記憶され、ログイン利用者管理手段47で管理される。ID媒体31は、例えば、非接触型のIDカード、携帯電話、携帯情報端末等からなり、利用者IDを記憶して、利用者ID取得手段22cとの間でデータの送受信を行うことができるようになっている。
<User ID acquisition means>
The user ID acquisition means 22c includes an electronic circuit and a program for acquiring a user ID from the ID medium 31 possessed by the user when the user uses the karaoke performance device 11. The user ID acquired by the user ID acquisition unit 22 c is temporarily stored in the RAM 43 and managed by the login user management unit 47. The ID medium 31 includes, for example, a non-contact type ID card, a mobile phone, a portable information terminal, and the like, can store a user ID, and can transmit and receive data to and from the user ID acquisition unit 22c. It is like that.

<撮影手段>
撮影手段23は、歌唱者を撮影するための手段で、例えば、主たる構成要素であるビデオカメラと、その付帯装置から構成される。ビデオカメラは、撮像レンズ23a、撮像素子23b、フォーカシング機構23c、ズーミング機構23dを備えており、付帯装置としてパン・チルト機構23eを備えている。本実施形態の撮像レンズ23aは、複数のレンズ群から構成されるズームレンズからなり、この撮像レンズ23aにより、被写体からの光線を撮像素子23b上に結像させてビデオ信号に変換する。このビデオ信号は、カラオケ本体21に送信される。
<Photographing means>
The photographing means 23 is means for photographing a singer, and is composed of, for example, a video camera that is a main component and an auxiliary device thereof. The video camera includes an imaging lens 23a, an imaging element 23b, a focusing mechanism 23c, and a zooming mechanism 23d, and a pan / tilt mechanism 23e as an accessory device. The imaging lens 23a of the present embodiment is composed of a zoom lens composed of a plurality of lens groups. The imaging lens 23a forms an image of a light beam from a subject on the imaging element 23b and converts it into a video signal. This video signal is transmitted to the karaoke main body 21.

フォーカシング機構23cは、被写体像を撮像素子23b上に合焦して結像させるための機構であり、オートフォーカス機構を備えていることが好ましい。オートフォーカス機構としては、例えば、適宜な間隔を隔てて設置した2つのセパレートレンズを用いて被写体を撮影し、被写体像を撮像素子23b上に結像させ、両画像の位相差に基づいて物体距離を検知する方式や、被写体上に赤外光を照射して、被写体からの拡散反射光をレンズで集光し、その結像位置に基づいて物体距離を検知する方式や、撮像素子23bから被写体のコントラスト情報を抽出し、結像状態を直接判定する方式等が知られている。なお、被写界深度の深いレンズからなる固定焦点の撮像レンズ23aを用いることによりフォーカシング機構23cを省略してもよい。   The focusing mechanism 23c is a mechanism for focusing the subject image on the image pickup device 23b to form an image, and preferably includes an autofocus mechanism. As an autofocus mechanism, for example, a subject is photographed using two separate lenses installed at an appropriate interval, a subject image is formed on the image sensor 23b, and the object distance is based on the phase difference between the two images. , A method of irradiating the subject with infrared light, condensing diffuse reflection light from the subject with a lens, and detecting an object distance based on the imaging position, or a subject from the image sensor 23b A method for extracting the contrast information and directly determining the imaging state is known. Note that the focusing mechanism 23c may be omitted by using a fixed-focus imaging lens 23a made of a lens having a deep depth of field.

ズーミング機構23dは、ビデオカメラの画角を変更するための機構で、広角端から望遠端に至る所定の範囲で連続的に画角を変更できるようになっており、画角の変更を行うために、ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構を備えている。ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構は、例えば、レンズを光軸に沿って移動可能に支持する支持機構、及びレンズを光軸に沿って移動させるアクチュエータ等からなる。本実施形態のズーミング機構23dは、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるように自動的に画角調整を行う。なお、歌唱者が移動した場合であっても、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるような環境に撮影手段23が設置されている場合には、ズーミング機構23dを省略することができる。さらに、利用者の所望に応じて画角調整を行うようにしてもよい。   The zooming mechanism 23d is a mechanism for changing the angle of view of the video camera, and can change the angle of view continuously within a predetermined range from the wide-angle end to the telephoto end. And a mechanism for moving each lens constituting the zoom lens group along the optical axis. The mechanism for moving each lens constituting the zoom lens group along the optical axis includes, for example, a support mechanism that supports the lens movably along the optical axis, and an actuator that moves the lens along the optical axis. Consists of. The zooming mechanism 23d of the present embodiment automatically adjusts the angle of view so that the size of the singer's face area is substantially equal to the preset area. Even when the singer moves, if the photographing means 23 is installed in an environment in which the size of the singer's face area is substantially equal to the preset area, the zooming mechanism 23d is used. Can be omitted. Further, the angle of view may be adjusted as desired by the user.

パン・チルト機構23eは、ビデオカメラをパン及びチルトさせるための機構であり、互いに直交する2軸方向にそれぞれ回転するパンテーブル及びチルトテーブルと、このパンテーブル及びチルトテーブルを互いに直交する2軸方向にそれぞれ回転駆動するステッピングモータと、ステッピングモータの駆動制御装置とを備えている。   The pan / tilt mechanism 23e is a mechanism for panning and tilting the video camera. The pan table and the tilt table rotate in two axial directions orthogonal to each other, and the biaxial direction in which the pan table and the tilt table are orthogonal to each other. Each of which includes a stepping motor that rotates and a stepping motor drive control device.

<カラオケ本体>
カラオケ本体21は、中央制御手段41、ROM42、RAM43、HDD44、送受信手段45、予約管理手段46、ログイン利用者管理手段47、顔画像識別記憶手段48、利用者顔画像登録手段49、顔画像比較手段50、撮影機能制御手段51、撮像データ受信手段52、撮影データ記憶手段53、被写体追従手段54、報知制御手段55、A/Dコンバータ56、音楽再生制御手段57、映像再生制御手段58を備えている。
<Karaoke body>
The karaoke main body 21 includes a central control means 41, ROM 42, RAM 43, HDD 44, transmission / reception means 45, reservation management means 46, login user management means 47, face image identification storage means 48, user face image registration means 49, face image comparison. Means 50, photographing function control means 51, imaging data receiving means 52, photographing data storage means 53, subject tracking means 54, notification control means 55, A / D converter 56, music reproduction control means 57, and video reproduction control means 58. ing.

<中央制御手段>
中央制御手段41は、カラオケ本体21を総合的に制御するための手段であり、例えばCPU及びその周辺機器により構成されており、CPU等がROM42等に記憶されたアプリケーションプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
<Central control means>
The central control means 41 is a means for comprehensively controlling the karaoke main body 21 and is constituted by, for example, a CPU and its peripheral devices. When the CPU or the like operates according to an application program stored in the ROM 42 or the like, The control function can be demonstrated.

<ROM/RAM>
ROM42は、カラオケ本体21を構成する各機器を制御するためのアプリケーションプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、RAM43は、アプリケーションプログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりRAM43を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なRAM43を構成してもよい。本実施形態では、RAM43に、予約待ち行列43a、撮影顔画像データ43b、撮影データ43cが記憶されるようになっている。
<ROM / RAM>
The ROM 42 is a device for storing application program data and numerical data for controlling each device constituting the karaoke main body 21, and is configured by a semiconductor memory, for example. The RAM 43 functions as a temporary storage area for temporarily storing application programs and various types of data, and is composed of, for example, a semiconductor memory. Note that the virtual RAM 43 may be configured by using a hard disk storage device or the like instead of configuring the RAM 43 by a physical semiconductor memory. In the present embodiment, a reservation queue 43a, photographed face image data 43b, and photographed data 43c are stored in the RAM 43.

<HDD>
HDD44は、大容量記憶装置として機能するもので、楽曲データベース44a、映像データベース44b、利用者顔画像データベース44c、警告メッセージ44dが格納されている。なお、HDD44に替えて、あるいはHDD44とともに、データを書き替え可能なDVD等の大容量記憶装置を用いてもよい。
<HDD>
The HDD 44 functions as a large-capacity storage device, and stores a music database 44a, a video database 44b, a user face image database 44c, and a warning message 44d. Note that a mass storage device such as a DVD capable of rewriting data may be used instead of the HDD 44 or together with the HDD 44.

楽曲データベース44aは、演奏データ(MIDI(登録商標)データ)及び歌詞テロップデータが同期されて構成される楽曲データについて、楽曲IDと対応付けてそれぞれ格納したデータベースである。演奏データは各楽曲の演奏データをデジタル化したものであり、歌詞テロップデータは演奏データに同期されたカラオケ楽曲の歌詞文字データである。なお、歌詞文字データには、歌詞文字の表示色データ、色変わりデータ等が含まれている。映像データベース44bは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲IDに対応させた映像ファイルとして所定数格納したデータベースである。   The music database 44a is a database that stores music data configured by synchronizing performance data (MIDI (registered trademark) data) and lyrics telop data in association with music IDs. The performance data is digitized performance data of each music piece, and the lyrics telop data is lyric character data of karaoke music synchronized with the performance data. The lyric character data includes lyric character display color data, color change data, and the like. The video database 44b is a database in which a predetermined number of background videos corresponding to karaoke music pieces to be played are stored as video files corresponding to the music IDs of the karaoke music pieces.

利用者顔画像データベース44cは、利用者顔画像登録手段49の機能により、利用者IDに紐付けされた利用者の顔画像データを複数格納したデータベースである。この利用者顔画像データベース44cに格納された登録顔画像データは、顔画像比較手段50において、撮影顔画像データとの比較に用いられる。警告メッセージ44dは、報知制御手段55の機能により報知制御を行う際に、表示装置27に表示する警告メッセージを作成するためのデータである。   The user face image database 44 c is a database that stores a plurality of user face image data associated with the user ID by the function of the user face image registration means 49. The registered face image data stored in the user face image database 44c is used for comparison with the photographed face image data in the face image comparison means 50. The warning message 44 d is data for creating a warning message to be displayed on the display device 27 when the notification control is performed by the function of the notification control means 55.

<送受信手段>
送受信手段45は、カラオケ本体21とカラオケリモコン装置22との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体21とカラオケリモコン装置22との間で、データの送受信が行われる。
<Transmitting / receiving means>
The transmission / reception means 45 includes an electronic circuit and a program for transmitting / receiving data between the karaoke main body 21 and the karaoke remote control device 22. In this embodiment, data transmission / reception is performed between the karaoke main body 21 and the karaoke remote control device 22 by infrared communication.

<予約管理手段>
予約管理手段46は、利用者により楽曲検索手段22aの機能を用いて選曲され、送受信手段45を介して受信した当該選曲者の利用者情報(例えば利用者ID)及び選曲された楽曲IDを対応付けて予約待ち行列43aとしてRAM43に格納し、管理するためのプログラムである。なお、楽曲選択の表示や予約待ち行列43aの表示は、カラオケリモコン装置22の入出力表示部(図示せず)及び表示装置27のいずれか一方、あるいは双方で行うことができる。
<Reservation management means>
The reservation management means 46 corresponds to the user information (for example, user ID) of the music selector selected by the user using the function of the music search means 22a and received via the transmission / reception means 45 and the selected music ID. A program for storing and managing the reservation queue 43a in the RAM 43 as a reservation queue 43a. The music selection display and the reservation queue 43a can be displayed on either or both of the input / output display unit (not shown) of the karaoke remote control device 22 and the display device 27.

<ログイン利用者管理手段>
ログイン利用者管理手段47は、現に当該カラオケ演奏装置11にログインしている利用者を、利用者IDに基づき特定して管理するためのプログラムからなる。すなわち、ログイン利用者管理手段47では、利用者ID取得手段22cにより利用者IDが取得された場合に、この利用者IDに基づいてカラオケ演奏装置11にログインしている利用者を特定して管理する。取得した利用者IDは、選曲予約や顔画像データの比較を行う際に利用される。
<Login user management means>
The login user management means 47 includes a program for specifying and managing a user who is currently logged into the karaoke performance apparatus 11 based on the user ID. That is, in the login user management means 47, when the user ID is acquired by the user ID acquisition means 22c, the user who has logged in to the karaoke performance apparatus 11 is specified and managed based on the user ID. To do. The acquired user ID is used when making a music selection reservation or comparing face image data.

<顔画像識別記憶手段>
顔画像識別記憶手段48は、歌唱者撮影エリア(例えば、ステージ)にいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データ43bとしてRAM43に記憶するためのプログラムからなる。歌唱者の顔画像データを識別するためには、例えば、特開2000−2833号公報(特許文献2)に記載されているように、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出する。そして、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を顔画像領域として認識する。続いて、顔画像領域内で、その輪郭、目、鼻、口の位置を利用して、被写体の顔画像の特徴を認識することにより、撮影した顔画像データを識別する。
<Face image identification storage means>
The face image identification storage unit 48 identifies a face image of a singer in a singer shooting area (for example, a stage) and stores the shot face image as shooting face image data 43b in the RAM 43. Become. In order to identify the singer's face image data, for example, as described in Japanese Patent Application Laid-Open No. 2000-2833 (Patent Document 2), the edge of the image existing in the field of view is extracted by edge detection. To do. And the area | region which has an area of a predetermined magnitude | size among the area | regions surrounded by the outline is recognized as a face image area | region. Subsequently, the captured face image data is identified by recognizing the features of the face image of the subject by using the positions of the contour, eyes, nose, and mouth in the face image region.

<利用者顔画像登録手段>
利用者顔画像登録手段49は、予め、利用者毎の顔画像データを利用者IDに紐付けして利用者顔画像データベース44cに登録するためのプログラムからなる。利用者の顔画像データは、例えば、撮影手段23の機能により取得することができる。撮影手段23の機能により取得された利用者の顔画像データは、利用者顔画像登録手段49の機能により、利用者IDに紐付けされて利用者顔画像データベース44cに登録される。なお、利用者IDは、利用者ID取得手段22cの機能により、ID媒体31から取得することができる。
<User face image registration means>
The user face image registration means 49 is composed of a program for previously registering face image data for each user in the user face image database 44c in association with the user ID. The user's face image data can be acquired by the function of the photographing means 23, for example. The user's face image data acquired by the function of the photographing unit 23 is associated with the user ID and registered in the user face image database 44c by the function of the user face image registration unit 49. The user ID can be acquired from the ID medium 31 by the function of the user ID acquisition unit 22c.

<顔画像比較手段>
顔画像比較手段50は、利用者IDに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段23により撮影が行われている場合に、撮影顔画像データ43bと、当該利用者IDに紐付けされた登録顔画像データとを比較するためのプログラムからなる。例えば、撮影を所望して選曲予約されたカラオケ楽曲が演奏されると、予約待ち行列43aに記録された利用者IDに基づいて、利用者顔画像データベース44cに登録された当該利用者の顔画像データを登録顔画像データとして取得する。そして、撮影手段23の機能により撮影されて、顔画像識別記憶手段48により識別された歌唱者の顔画像データ(撮影顔画像データ43b)と、利用者顔画像データベース44cから取得した登録顔画像データとを比較し、両者の一致・不一致を判別する。両者の比較は、顔画像領域内における顔の輪郭、目、鼻、口の位置に基づいて行われる。具体的には、撮影顔画像データ43bと、登録顔画像データとにおいて、顔画像領域内における顔の輪郭、目、鼻、口の位置を比較してその一致度を数値化し、一致度数が所定の閾値以下の場合に、両者は異なるデータであると判断する。一方、一致度数が所定の閾値を超えていれば、両者は同一のデータであると判断する。
<Face image comparison means>
The face image comparison means 50, when a karaoke piece of music selected and reserved with a user ID is being played, and when the photographing means 23 is photographing, the face image data 43b and the usage It consists of a program for comparing the registered face image data associated with the person ID. For example, when a karaoke piece reserved for music selection and played is selected, the face image of the user registered in the user face image database 44c based on the user ID recorded in the reservation queue 43a. Data is acquired as registered face image data. Then, the face image data (photographed face image data 43b) of the singer photographed by the function of the photographing means 23 and identified by the face image identification storage means 48, and the registered face image data acquired from the user face image database 44c. Are compared to determine whether the two match or not. The comparison between the two is performed based on the position of the face outline, eyes, nose, and mouth in the face image area. Specifically, in the captured face image data 43b and the registered face image data, the positions of the face contour, eyes, nose, and mouth in the face image area are compared to quantify the degree of coincidence, and the degree of coincidence is predetermined. If it is equal to or less than the threshold value, the two are determined to be different data. On the other hand, if the coincidence frequency exceeds a predetermined threshold, it is determined that both are the same data.

<撮影機能制御手段>
撮影機能制御手段51は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致しない場合には、撮影手段23の機能を停止させるためのプログラムからなる。すなわち、選曲予約を行った利用者が被写体となっていない場合には、撮影機能制御手段51の機能により、撮影手段23の機能が停止させられ、歌唱者画像の録画は行われない。
<Shooting function control means>
The photographing function control means 51 is for stopping the function of the photographing means 23 when the face image data of the singer who is currently photographed does not match the face image data of the user who made the music selection reservation. Consists of programs. That is, when the user who made the music selection reservation is not the subject, the function of the photographing unit 23 is stopped by the function of the photographing function control unit 51, and the recording of the singer image is not performed.

<報知制御手段>
報知制御手段55は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致せずに、撮影手段23の機能を停止させる旨の報知制御を行うためのプログラムからなる。この報知制御手段55における報知制御処理では、例えば、表示装置27の表示画面に警告を表示したり、カラオケ楽曲の演奏を中止したり、録音や録画を中止したりすることにより、選曲予約を行った利用者が被写体となっていない旨を報知する(図3参照)。
<Notification control means>
The notification control means 55 notifies that the function of the photographing means 23 is stopped when the face image data of the singer who is currently being photographed does not match the face image data of the user who made the music selection reservation. It consists of a program to do. In the notification control process in the notification control means 55, for example, a warning is displayed on the display screen of the display device 27, the performance of karaoke music is stopped, or recording or recording is stopped, thereby making a reservation for music selection. The user is notified that the user is not the subject (see FIG. 3).

<被写体追従手段>
被写体追従手段54は、撮影顔画像データ43bと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構23eを作動させて、撮影手段23の撮影方向を歌唱者の撮影顔画像位置に一致させるためのプログラムからなる。なお、本実施形態では、撮影手段23がズーミング機構23dを備えているため、被写体追従手段54による被写体追従処理において、パン・チルト機構23eだけではなく、ズーミング機構23dも制御して、ビデオカメラの撮像レンズ23aを被写体に向けるとともに、画角を一定に保つことが好ましい。
<Subject tracking means>
When the photographed face image data 43b and the registered face image data match, the subject follower 54 operates the pan / tilt mechanism 23e following the movement of the singer, and the photographing direction of the photographer 23 Is made up of a program for matching the photographed face image position of the singer. In the present embodiment, since the photographing unit 23 includes the zooming mechanism 23d, in the subject tracking process by the subject tracking unit 54, not only the pan / tilt mechanism 23e but also the zooming mechanism 23d is controlled to control the video camera. It is preferable to point the imaging lens 23a toward the subject and keep the angle of view constant.

この被写体追従手段54は、例えば、特開平11−215422号公報(特許文献1)、特開2000−2833号公報(特許文献2)に記載されている技術を用いることができる。すなわち、特開平11−215422号公報(特許文献1)に記載されているように、予め撮影対象となる被写体を認識して記憶し、この被写体が撮像画面中に常に存在するように、パン・チルト機構23e及びズーミング機構23dを制御することにより被写体を追尾すればよい。また、特開2000−2833号公報(特許文献2)に記載されているように、エッジ検出により、画像の輪郭を抽出し、抽出結果に基づいて、撮影視野内において被写体となる可能性のある領域、例えば、輪郭で囲まれた領域のうち顔領域として設定された面積を有する領域を顔画像領域として認識する。そして、認識した顔画像領域が撮像画面中に常に存在するように、パン・チルト機構23e及びズーミング機構23dを制御することにより被写体を追尾すればよい。   For this subject tracking means 54, for example, techniques described in Japanese Patent Application Laid-Open No. 11-215422 (Patent Document 1) and Japanese Patent Application Laid-Open No. 2000-2833 (Patent Document 2) can be used. That is, as described in Japanese Patent Application Laid-Open No. 11-215422 (Patent Document 1), a subject to be photographed is recognized and stored in advance, and pan / The subject may be tracked by controlling the tilt mechanism 23e and the zooming mechanism 23d. Further, as described in Japanese Patent Application Laid-Open No. 2000-2833 (Patent Document 2), an edge of an image is extracted by edge detection, and based on the extraction result, there is a possibility of becoming a subject within a shooting field of view. An area, for example, an area having an area set as a face area among areas surrounded by an outline is recognized as a face image area. Then, the subject may be tracked by controlling the pan / tilt mechanism 23e and the zooming mechanism 23d so that the recognized face image area always exists in the imaging screen.

<撮像データ受信手段/撮影データ記憶手段>
撮像データ受信手段52は、撮影手段23からのビデオ信号を受信するための回路基板及びプログラムからなる。また、撮影データ記憶手段53は、撮影手段23により撮影され、撮像データ受信手段52により受信したビデオ信号と、マイクロホン24から入力された音声入力信号と、音楽再生制御手段57によりデジタル再生される演奏とを同期させて撮影データ43cを作成し、RAM43に記憶させるためのプログラムからなる。
<Imaging data receiving means / imaging data storage means>
The imaging data receiving unit 52 includes a circuit board and a program for receiving a video signal from the imaging unit 23. The photographing data storage means 53 is a performance that is photographed by the photographing means 23 and received by the photographing data receiving means 52, an audio input signal input from the microphone 24, and a digital reproduction by the music reproduction control means 57. Is made up of a program for creating shooting data 43 c and storing it in the RAM 43.

RAM43に記憶された撮影データ43cは、DVDドライブ等の記録装置及び書込ソフトウェアを用いてDVD等の記憶媒体に記憶したり、インターネット回線を介してサーバに蓄積させることによりウェブ配信したりすることができる。なお、このような撮影サービスは、カラオケ演奏装置11を利用したカラオケ楽曲の歌唱という基本サービスに付加するサービスであるため、一般的に有料となっていることが多い。そこで、撮影データ記憶手段53による撮影データ43cの作成及び記憶は、利用者の指示があった場合のみに行う構成とすることが好ましい。すなわち、利用者がカラオケリモコン装置22を操作することにより撮影データ43cの作成及び記憶を指示した場合に、撮影データ記憶手段53の機能により、撮影データ43cの作成及び記憶が行われる。   The shooting data 43c stored in the RAM 43 is stored in a storage medium such as a DVD using a recording device such as a DVD drive and writing software, or distributed on the web by being stored in a server via an Internet line. Can do. In addition, since such a photography service is a service that is added to the basic service of singing karaoke music using the karaoke performance device 11, generally there is a charge. Therefore, it is preferable that the photographing data 43c is created and stored by the photographing data storage unit 53 only when a user gives an instruction. In other words, when the user operates the karaoke remote controller 22 to instruct the creation and storage of the photographic data 43c, the photographic data storage means 53 creates and stores the photographic data 43c.

<音楽再生制御手段>
音楽再生制御手段57は、楽曲IDに基づいて楽曲データベース44aから抽出された演奏データをデジタル再生するとともにアナログ変換してミキシングアンプ26に出力するための電子回路である。ミキシングアンプ26は、マイクロホン24から入力された歌唱者の歌唱音声信号と、音楽再生制御手段57から送出される演奏音声信号とをミキシングするとともに、アンプ機能により増幅してスピーカ25より出力させるための装置である。なお、本実施形態では、撮影データ記憶手段53において歌唱音声信号を利用するため、マイクロホン24からの歌唱音声信号がA/Dコンバータ56へ入力されている。
<Music playback control means>
The music reproduction control means 57 is an electronic circuit for digitally reproducing the performance data extracted from the music database 44a based on the music ID and converting it to analog and outputting it to the mixing amplifier 26. The mixing amplifier 26 mixes the singer's singing voice signal inputted from the microphone 24 and the performance voice signal sent from the music reproduction control means 57, and amplifies it by the amplifier function to output it from the speaker 25. Device. In the present embodiment, the singing voice signal from the microphone 24 is input to the A / D converter 56 in order to use the singing voice signal in the photographing data storage unit 53.

<映像再生制御手段>
映像再生制御手段58は、カラオケ楽曲の演奏中に、映像データベース44bから抽出した映像データ及び楽曲データベース44aから抽出した楽曲データのうちの歌詞テロップデータ(歌詞文字データ)を、当該カラオケ楽曲の演奏データに同期させて表示装置27に出力するための電子回路である。この際、カラオケ楽曲の演奏進行に従って、歌詞文字が色変わりして表示される。
<Video playback control means>
The video playback control means 58 uses the video data extracted from the video database 44b and the lyrics telop data (lyric character data) of the music data extracted from the music database 44a during the performance of the karaoke music, as performance data of the karaoke music. It is an electronic circuit for outputting to the display device 27 in synchronization with the. At this time, the lyric characters are displayed in different colors as the performance of the karaoke musical piece progresses.

<表示装置>
表示装置27は、カラオケ演奏時の映像、歌詞テロップ、警告メッセージ等を表示するための装置で、例えば、CRTディスプレイ、液晶ディスプレイ、プラズマディスプレイ等により構成される。
<Display device>
The display device 27 is a device for displaying a video, lyrics telop, warning message, etc. at the time of karaoke performance, and is composed of, for example, a CRT display, a liquid crystal display, a plasma display, or the like.

<歌唱者追従制御処理>
図2及び図3を参照して、本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を説明する。図2は、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャートである。また、図3は、表示装置の表示画面に表示される警告メッセージの一例を示す模式図である。
<Singer follow-up control processing>
With reference to FIG.2 and FIG.3, the singer follow-up control process in the karaoke system which has the singer image imaging | photography function of this embodiment is demonstrated. FIG. 2 is a flowchart showing a singer follow-up control process in a karaoke system having a singer image photographing function according to an embodiment of the present invention. FIG. 3 is a schematic diagram illustrating an example of a warning message displayed on the display screen of the display device.

歌唱者追従制御処理では、予め利用者顔画像登録手段49の機能により、利用者IDに紐付けされた利用者の顔画像データ(登録顔画像データ)が、利用者顔画像データベース44cに格納されているものとする。   In the singer follow-up control process, the user face image data (registered face image data) associated with the user ID is stored in the user face image database 44c in advance by the function of the user face image registration means 49. It shall be.

本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理は、図2に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し(S1)、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段23の機能により撮影が開始される(S2)。撮影開始時におけるビデオカメラは、ステージ等のデフォルト位置に存在する被写体を撮影するように、その向き及び画角が調整されている。なお、撮影開始時に、パン・チルト機構23e及びズーミング機構23dを作動させて、歌唱者撮影エリアにいる歌唱者を探し出して、以降の処理を行ってもよい。   In the singer follow-up control process in the karaoke system having the singer image photographing function of the present embodiment, as shown in FIG. 2, first, it is determined whether or not the performance of the karaoke music instructed to be photographed is started (S1). ), When the performance of the karaoke music instructed to be photographed is started, the photographing is started by the function of the photographing means 23 (S2). The direction and the angle of view of the video camera at the start of shooting are adjusted so that a subject existing at a default position such as a stage is shot. Note that at the start of shooting, the pan / tilt mechanism 23e and the zooming mechanism 23d may be operated to search for a singer in the singer shooting area, and the subsequent processing may be performed.

続いて、顔画像比較手段50の機能により、現に撮影手段23により撮影している歌唱者の顔画像データ(撮影顔画像データ43b)と、選曲予約を行った利用者の顔画像データ(登録顔画像データ)とを比較する(S3)。ところで、撮影開始直後には、ビデオカメラのデフォルト撮影位置であるステージ上に歌唱者がいるとは限らず、自らが選曲予約したカラオケ楽曲の演奏が開始されたことを認知した後にステージに上がったり、司会者に促されてステージに上がったりするため、撮影開始時(カラオケ楽曲の演奏開始時)には、歌唱者の顔画像データを取得することができない場合がある。そこで、撮影開始直後に顔画像データの比較を行うのではなく、所定時間経過後(例えば30秒経過後)に顔画像データの比較を行うことが好ましい。   Subsequently, by the function of the face image comparison means 50, the face image data (photographed face image data 43 b) of the singer that is actually photographed by the photographing means 23 and the face image data (registered face) of the user who made the music selection reservation The image data is compared (S3). By the way, immediately after the start of shooting, there is no guarantee that the singer is on the stage, which is the default shooting position of the video camera. Since the presenter is prompted to go up to the stage, the face image data of the singer may not be acquired at the start of shooting (when the performance of karaoke music starts). Therefore, it is preferable not to compare the face image data immediately after the start of photographing, but to compare the face image data after a lapse of a predetermined time (for example, after 30 seconds).

ここで、撮影顔画像データ43bと登録顔画像データの一致を確認し(S4)、撮影顔画像データ43bと利用者の顔画像データとが一致している場合には、被写体追従手段54の機能により、撮影対象となる歌唱者の移動に追従するように、パン・チルト機構23e及びズーミング機構23dを作動させて、選曲予約を行った歌唱者の顔画像位置に撮影手段23の撮影方向を一致させるとともに、画角を一定に保つ(S5)。そして、カラオケ楽曲の演奏が終了したか否かを判断し(S6)、カラオケ楽曲の演奏が終了するまでの間、上述した追従処理(S5)を実行する。   Here, the coincidence between the photographed face image data 43b and the registered face image data is confirmed (S4). When the photographed face image data 43b and the user's face image data coincide with each other, the function of the subject tracking means 54 is determined. Therefore, the pan / tilt mechanism 23e and the zooming mechanism 23d are operated so as to follow the movement of the singer to be photographed, and the photographing direction of the photographing means 23 is matched with the face image position of the singer who made the music selection reservation. And the angle of view is kept constant (S5). Then, it is determined whether or not the performance of the karaoke music has ended (S6), and the follow-up process (S5) described above is executed until the performance of the karaoke music is completed.

一方、撮影顔画像データ43bと登録顔画像データとが一致しない場合、すなわち、選曲予約を行った歌唱者が被写体となっていない場合には、報知制御手段55の機能により、その旨の報知を行うとともに(S7)、撮影機能制御手段51の機能により撮影手段23の機能を停止させて、撮影を中止する(S8)。なお、報知処理(S7)及び撮影中止処理(S8)は必須の処理ではなく、付随的な処理である。   On the other hand, if the photographed face image data 43b and the registered face image data do not match, that is, if the singer who made the music selection reservation is not a subject, a notification to that effect is given by the function of the notification control means 55. At the same time (S7), the function of the photographing function control means 51 stops the function of the photographing means 23 to stop photographing (S8). Note that the notification process (S7) and the shooting stop process (S8) are not essential processes but are incidental processes.

このように、本実施形態の歌唱者画像撮影機能を有するカラオケシステムでは、撮影を所望して選曲予約を行った歌唱者の適正な画像を録画することができる。すなわち、歌唱者がデフォルト位置から移動した場合であっても、その移動に追従して撮影手段23の撮影方向を変更することができるので、撮影した画像内の適正位置に歌唱者が存在し、撮影を所望した歌唱者の要求を十分に満足させることができる。   As described above, in the karaoke system having the singer image photographing function of the present embodiment, it is possible to record an appropriate image of the singer who has made a reservation for music selection for photographing. That is, even if the singer moves from the default position, the shooting direction of the shooting means 23 can be changed following the movement, so that the singer exists at an appropriate position in the shot image, It is possible to sufficiently satisfy the demands of the singer who desires to shoot.

<他の実施形態>
本発明の歌唱者画像撮影機能を有するカラオケシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。
<Other embodiments>
The devices and means constituting the karaoke system having the singer image photographing function of the present invention and its peripheral devices are not limited to those described above, and depending on the purpose of use, only necessary devices and means may be configured, or as appropriate. Other devices and means can be added. Further, each unit may be configured as a unit in which a plurality of functions are integrated, instead of being configured separately.

<ネットワークカラオケシステム>
また、上述した実施形態は、カラオケ演奏装置11をスタンドアロンで使用した例を示しているが、各カラオケ店舗等に設置されたカラオケ演奏装置11を端末装置とし、インターネット回線等を用いて、端末装置とホスト装置とをネットワーク接続した構成とすることもできる。この場合には、ホスト装置において、利用者IDや、これに紐付けされた利用者の顔画像データ等を集中管理することにより、ネットワーク接続された各カラオケ演奏装置11において同様のサービスを提供することができる。
<Network karaoke system>
Moreover, although embodiment mentioned above has shown the example which used the karaoke performance apparatus 11 stand-alone, the karaoke performance apparatus 11 installed in each karaoke store etc. is made into a terminal device, and a terminal device is used using an internet line etc. And a host device may be connected to the network. In this case, the host device centrally manages the user ID, the user's face image data associated with the user ID, etc., thereby providing the same service in each karaoke performance device 11 connected to the network. be able to.

11 カラオケ演奏装置
21 カラオケ本体
22 カラオケリモコン装置
22a 楽曲検索手段
22b 楽曲索引データベース
22c 利用者ID取得手段
23 撮影手段
23a 撮像レンズ
23b 撮像素子
23c フォーカシング機構
23d ズーミング機構
23e パン・チルト機構
24 マイクロホン
25 スピーカ
26 ミキシングアンプ
27 表示装置
31 ID媒体
41 中央制御手段
42 ROM
43 RAM
43a 予約待ち行列
43b 撮影顔画像データ
43c 撮影データ
44 HDD
44a 楽曲データベース
44b 映像データベース
44c 利用者顔画像データベース
44d 警告メッセージ
45 送受信手段
46 予約管理手段
47 ログイン利用者管理手段
48 顔画像識別記憶手段
49 利用者顔画像登録手段
50 顔画像比較手段
51 撮影機能制御手段
52 撮像データ受信手段
53 撮影データ記憶手段
54 被写体追従手段
55 報知制御手段
56 A/Dコンバータ
57 音楽再生制御手段
58 映像再生制御手段
DESCRIPTION OF SYMBOLS 11 Karaoke performance apparatus 21 Karaoke main body 22 Karaoke remote control apparatus 22a Music search means 22b Music index database 22c User ID acquisition means 23 Photographing means 23a Imaging lens 23b Imaging element 23c Focusing mechanism 23d Zooming mechanism 23e Pan / tilt mechanism 24 Microphone 25 Speaker 26 Mixing amplifier 27 Display device 31 ID medium 41 Central control means 42 ROM
43 RAM
43a Reservation queue 43b Photographed face image data 43c Photographed data 44 HDD
44a Music database 44b Video database 44c User face image database 44d Warning message 45 Transmission / reception means 46 Reservation management means 47 Login user management means 48 Face image identification storage means 49 User face image registration means 50 Face image comparison means 51 Photographing function control Means 52 Imaging data receiving means 53 Shooting data storage means 54 Subject tracking means 55 Notification control means 56 A / D converter 57 Music reproduction control means 58 Video reproduction control means

Claims (1)

歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備え、
前記撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影し、
前記顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶し、
前記利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者IDに紐付けして利用者顔画像データベースに登録し、
前記顔画像比較手段は、利用者IDに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、前記撮影手段により撮影が行われている場合に、前記撮影顔画像データと、当該利用者IDに紐付けされた登録顔画像データとを比較し、
前記被写体追従手段は、前記撮影顔画像データと前記登録顔画像データとが一致している場合には、歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の撮影顔画像位置に一致させる、
ことを特徴とする歌唱者画像撮影機能を有するカラオケシステム。
A karaoke system for photographing a singer, comprising a photographing means, a face image identification storage means, a user face image registration means, a face image comparison means, and a subject tracking means,
The photographing means has a pan / tilt mechanism and photographs a singer's face image during the performance of an arbitrary karaoke piece,
The face image identification storage means identifies a singer's face image in the singer shooting area, stores the shot face image as shot face image data in a predetermined storage unit,
The user face image registration means registers the face image data for each user in advance in the user face image database in association with the user ID,
The face image comparing means, when a karaoke song that has been reserved for music selection in association with a user ID is being played and is being shot by the shooting means, The registered face image data associated with the user ID,
When the photographed face image data and the registered face image data match, the subject tracking means operates the pan / tilt mechanism following the movement of the singer, and the photographing by the photographing means The direction is matched with the photographed face image position of the singer,
A karaoke system having a singer image photographing function.
JP2009107240A 2009-04-27 2009-04-27 Karaoke system with singer image shooting function Active JP5325012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009107240A JP5325012B2 (en) 2009-04-27 2009-04-27 Karaoke system with singer image shooting function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009107240A JP5325012B2 (en) 2009-04-27 2009-04-27 Karaoke system with singer image shooting function

Publications (2)

Publication Number Publication Date
JP2010256642A true JP2010256642A (en) 2010-11-11
JP5325012B2 JP5325012B2 (en) 2013-10-23

Family

ID=43317620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009107240A Active JP5325012B2 (en) 2009-04-27 2009-04-27 Karaoke system with singer image shooting function

Country Status (1)

Country Link
JP (1) JP5325012B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041198A (en) * 2011-08-19 2013-02-28 Brother Ind Ltd Portable terminal device, moving image posting method, and program
JP2016071185A (en) * 2014-09-30 2016-05-09 ブラザー工業株式会社 Karaoke device and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215422A (en) * 1998-01-28 1999-08-06 Sony Corp Tracking device for object to be photographed
JPH11282479A (en) * 1998-03-27 1999-10-15 Daiichikosho Co Ltd Karaoke device with addition of function for photographing and recording singing figure by video camera
JP2000002833A (en) * 1998-06-16 2000-01-07 Minolta Co Ltd Camera
JP2006101186A (en) * 2004-09-29 2006-04-13 Nikon Corp Camera
WO2007119355A1 (en) * 2006-03-15 2007-10-25 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2008286912A (en) * 2007-05-16 2008-11-27 Nec Corp Karaoke system
JP2009086178A (en) * 2007-09-28 2009-04-23 Brother Ind Ltd Karaoke system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215422A (en) * 1998-01-28 1999-08-06 Sony Corp Tracking device for object to be photographed
JPH11282479A (en) * 1998-03-27 1999-10-15 Daiichikosho Co Ltd Karaoke device with addition of function for photographing and recording singing figure by video camera
JP2000002833A (en) * 1998-06-16 2000-01-07 Minolta Co Ltd Camera
JP2006101186A (en) * 2004-09-29 2006-04-13 Nikon Corp Camera
WO2007119355A1 (en) * 2006-03-15 2007-10-25 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2008286912A (en) * 2007-05-16 2008-11-27 Nec Corp Karaoke system
JP2009086178A (en) * 2007-09-28 2009-04-23 Brother Ind Ltd Karaoke system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041198A (en) * 2011-08-19 2013-02-28 Brother Ind Ltd Portable terminal device, moving image posting method, and program
JP2016071185A (en) * 2014-09-30 2016-05-09 ブラザー工業株式会社 Karaoke device and program

Also Published As

Publication number Publication date
JP5325012B2 (en) 2013-10-23

Similar Documents

Publication Publication Date Title
JP4640456B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method, and program
US9013604B2 (en) Video summary including a particular person
JP5056061B2 (en) Imaging device
JP5328810B2 (en) Information display device and information display method
KR101444103B1 (en) Media signal generating method and apparatus using state information
US20120293686A1 (en) Video summary including a feature of interest
JP2010093713A (en) Display control device, display control method, and program
JP2007241496A (en) Image processor, image processing method, and program
JP2010062853A (en) Image processing apparatus, method and program
US20140211046A1 (en) Apparatus and Method for Processing Digital Image
JP2011082966A (en) Imaging apparatus
JP5325012B2 (en) Karaoke system with singer image shooting function
JP2010262072A (en) Digital television-compatible karaoke system
JP2008078836A (en) Camera, blog search system, and program
JP2010256643A (en) Karaoke system including imaging exclusion function of inappropriate action
JP4849330B2 (en) Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program
JP6110731B2 (en) Command input recognition system by gesture
JP4876736B2 (en) Document camera device
JP2004349832A (en) Photographing apparatus
JP4934871B2 (en) Shooting support system
JP7258441B2 (en) karaoke device
JP2011215222A (en) Karaoke singer video and singing sound recording system
JP2019096950A (en) Imaging apparatus, imaging method and imaging program
JP2014017570A (en) Index image creation system for karaoke song video
JP6146162B2 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130719

R150 Certificate of patent or registration of utility model

Ref document number: 5325012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250