JP2014126742A - Singing moving image generation system - Google Patents
Singing moving image generation system Download PDFInfo
- Publication number
- JP2014126742A JP2014126742A JP2012284279A JP2012284279A JP2014126742A JP 2014126742 A JP2014126742 A JP 2014126742A JP 2012284279 A JP2012284279 A JP 2012284279A JP 2012284279 A JP2012284279 A JP 2012284279A JP 2014126742 A JP2014126742 A JP 2014126742A
- Authority
- JP
- Japan
- Prior art keywords
- video
- singing
- karaoke
- parent
- main body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、通信デュエットの歌唱動画を生成する歌唱動画生成システムに関する。 The present invention relates to a singing moving image generating system for generating a singing moving image of a communication duet.
通信回線で接続されたカラオケ装置同士の間で行われる通信デュエットが知られている。この通信デュエットでは、通信遅延による演奏等の違和感が問題となっており、この違和感を解消する技術が提案されている。例えば、特許文献1のシステムでは、パケットに時刻情報を付与することで通信時の遅延時間を測定し、測定された遅延時間に基づいて複数のカラオケ装置に対する制御を行っている。簡単に説明すると、送信側のカラオケ装置Aと受信側のカラオケ装置Bとでセッションを行う場合、カラオケ装置Aは、カラオケ装置Bに対してバック演奏データの送信開始後、遅延時間分待機した後に演奏を開始する。これにより、遅延の影響を各カラオケ装置A,Bに分散させている。 A communication duet performed between karaoke apparatuses connected via a communication line is known. In this communication duet, uncomfortable feelings such as performance due to communication delays are a problem, and a technique for eliminating this uncomfortable feeling has been proposed. For example, in the system of Patent Document 1, a delay time during communication is measured by adding time information to a packet, and a plurality of karaoke apparatuses are controlled based on the measured delay time. Briefly, when a session is performed between the karaoke device A on the transmission side and the karaoke device B on the reception side, the karaoke device A waits for a delay time after starting transmission of back performance data to the karaoke device B. Start playing. Thereby, the influence of delay is distributed to each karaoke apparatus A and B.
また、近年は、ホスト装置に記録されたカラオケ歌唱の動画をカラオケ装置にダウンロードし、この動画の再生にあわせて合唱するコラボレーション歌唱が行われている。そして、特許文献2には、或るカラオケ歌唱の動画と別のカラオケ歌唱の動画とを合成(混成)し、新たな歌唱動画を生成するシステムが開示されている。
In recent years, a collaborative song is performed in which a moving image of a karaoke song recorded in a host device is downloaded to a karaoke device, and is sung along with the reproduction of the moving image.
今後は、コラボレーション歌唱と同様に、通信デュエットについても一方のカラオケ歌唱の動画と他方のカラオケ歌唱の動画とを合成し、デュエットの歌唱動画を生成する要望が生じると思われる。特許文献2の技術では、ホスト装置(中央装置)で合成を行うことから、一方のカラオケ歌唱の動画と他方のカラオケ歌唱の動画とを個別にホスト装置へアップロードすることとなる。このように、各カラオケ装置からホスト装置へ動画データをアップロードすると、その分だけ通信回線を占有することとなり、回線負荷の観点から好ましくない。
In the future, as with collaboration singing, it is likely that there will be a demand for generating a duet singing video by composing a video of one karaoke singing and a video of the other karaoke singing for a communication duet. In the technique of
本発明は、このような事情に鑑みてなされたものであり、その目的は、通信デュエットの歌唱動画を生成するに際し、回線負荷の上昇を抑えることにある。 This invention is made | formed in view of such a situation, The objective is to suppress the raise of a line load, when producing | generating the song animation of a communication duet.
前記目的を達成するため、本発明は、第1ビデオカメラを備える第1カラオケ装置と、第2ビデオカメラを備える第2カラオケ装置とを通信回線で接続し、前記第1カラオケ装置と前記第2カラオケ装置との間で開始信号の受信を契機に行われる通信デュエットについて、歌唱動画を生成する歌唱動画生成システムであって、前記第1カラオケ装置に備えられ、前記第1ビデオカメラで取得された第1歌唱映像、及び、前記第2ビデオカメラで取得されて前記通信回線を通じて受信された第2歌唱映像を、前記開始信号の受信を契機に記録する映像記録手段と、前記第1カラオケ装置に備えられ、前記映像記録手段に記録された前記第1歌唱映像と前記第2歌唱映像の時間差を補正して合成する歌唱映像合成手段とを有することを特徴とする。 In order to achieve the above object, according to the present invention, a first karaoke apparatus including a first video camera and a second karaoke apparatus including a second video camera are connected via a communication line, and the first karaoke apparatus and the second karaoke apparatus are connected. A singing video generation system for generating a singing video for a communication duet performed with reception of a start signal with a karaoke device, provided in the first karaoke device and acquired by the first video camera Video recording means for recording the first singing video and the second singing video acquired by the second video camera and received through the communication line, upon receiving the start signal, and the first karaoke device A singing video synthesizing unit configured to correct and synthesize a time difference between the first singing video and the second singing video recorded in the video recording unit.
本発明によれば、第1ビデオカメラで撮影された第1歌唱映像と第2ビデオカメラで撮影された第2歌唱映像とを、第1カラオケ装置に備えられた歌唱映像合成手段で合成するので、ホスト装置に対しては合成後の歌唱映像及び歌唱音声をアップロードすれば足りる。このため、回線負荷の上昇を抑えることができる。 According to the present invention, the first singing video shot by the first video camera and the second singing video shot by the second video camera are synthesized by the singing video synthesizing means provided in the first karaoke apparatus. For the host device, it is sufficient to upload the synthesized singing video and singing voice. For this reason, an increase in line load can be suppressed.
前述の歌唱動画生成システムにおいて、前記第2カラオケ装置に備えられ、前記開始信号の受信を契機に、前記第2ビデオカメラによる撮影を所定の短期間に亘って停止させる第2停止制御手段と、前記第1カラオケ装置に備えられ、前記映像記録手段に記録された前記第2歌唱映像の各フレームをスキャンし、前記第2ビデオカメラによる撮影が停止された部分を特定する停止部分特定手段を有し、前記歌唱映像合成手段は、前記停止部分特定手段によって特定された撮影停止部分に基づいて、前記映像記録手段に記憶された前記第1歌唱映像と前記第2歌唱映像の時間差を補正することが好ましい。 In the above-described singing video generation system, a second stop control means provided in the second karaoke device, which stops shooting by the second video camera for a predetermined short period of time when receiving the start signal, Provided in the first karaoke apparatus is a stop part specifying unit that scans each frame of the second singing video recorded in the video recording unit and specifies a part in which shooting by the second video camera is stopped. The singing video synthesizing unit corrects a time difference between the first singing video and the second singing video stored in the video recording unit based on the shooting stop part specified by the stop part specifying unit. Is preferred.
この構成では、第2停止制御手段が、開始信号の受信を契機に、第2ビデオカメラによる撮影を所定の短期間に亘って停止させるので、映像記録手段に記録された第2歌唱映像には、映像が記録されていない撮影停止部分が存在する。この撮影停止部分は、開始信号の受信を契機に作成されるため、第2カラオケ装置における開始信号の受信タイミングを示す。そして、第1歌唱映像における開始信号の受信タイミングは第1カラオケ装置で認識されているため、歌唱映像合成手段は、特定された撮影停止部分に基づいて第1歌唱映像と第2歌唱映像の時間差を補正することができる。 In this configuration, since the second stop control means stops the shooting by the second video camera for a predetermined short period of time when the start signal is received, the second song video recorded in the video recording means There is a shooting stop portion where no video is recorded. Since this shooting stop portion is created when the start signal is received, it indicates the reception timing of the start signal in the second karaoke apparatus. And since the reception timing of the start signal in the first singing video is recognized by the first karaoke device, the singing video synthesizing means determines the time difference between the first singing video and the second singing video based on the specified shooting stop portion. Can be corrected.
前述の歌唱動画生成システムにおいて、前記第1カラオケ装置に備えられ、前記開始信号の受信を契機に、前記第1ビデオカメラによる撮影を前記所定の短期間に亘って停止させる第1停止制御手段を有し、前記停止部分特定手段は、前記第1歌唱映像の各フレームをスキャンすることで、前記第1ビデオカメラによる撮影が停止された部分を特定し、前記歌唱映像合成手段は、前記第1歌唱映像における撮影停止部分の時間と前記第2歌唱映像における撮影停止部分の時間を揃えることで、前記時間差を補正することが好ましい。この構成では、第1歌唱映像の撮影停止部分と第2歌唱映像の撮影停止部分の時間を揃えることで各歌唱映像の時間が揃えられるので、第1歌唱映像と第2歌唱映像の時間差の補正精度を高めることができる。 In the above-described singing moving image generating system, a first stop control means provided in the first karaoke device, which stops shooting by the first video camera for the predetermined short period of time upon reception of the start signal. And the stop part specifying means specifies a part where shooting by the first video camera is stopped by scanning each frame of the first song video, and the song video synthesizing means includes the first song video synthesizing means. It is preferable to correct the time difference by aligning the time of the shooting stop portion in the singing video and the time of the shooting stop portion in the second singing video. In this configuration, the time of each singing video is aligned by aligning the times of the shooting stop portion of the first singing video and the shooting stop portion of the second singing video, so the time difference between the first singing video and the second singing video is corrected. Accuracy can be increased.
前述の歌唱動画生成システムにおいて、前記通信回線は、前記第1歌唱映像及び前記第2歌唱映像を送受信するための映像用通信回線と、歌唱音声を送受信するための音声用通信回線とを含むことが好ましい。この構成では、第1歌唱映像及び第2歌唱映像と歌唱音声とが別の通信回線で送受信されているので、歌唱映像よりも小容量の歌唱音声については、歌唱映像と処理を分けることができる。例えば、通信回線が高速化していることから、歌唱音声については時差を補正せずに合成することができる。このように、歌唱映像と歌唱音声とを別の回線で送受信することで、処理の効率化を図ることができる。 In the above singing video generation system, the communication line includes a video communication line for transmitting and receiving the first singing video and the second singing video, and an audio communication line for transmitting and receiving singing voice. Is preferred. In this configuration, the first singing video, the second singing video, and the singing voice are transmitted and received through different communication lines, so that the singing video and processing can be separated for singing voice having a smaller capacity than the singing video. . For example, since the communication line is speeded up, the singing voice can be synthesized without correcting the time difference. Thus, the efficiency of processing can be improved by transmitting and receiving the singing video and the singing voice through different lines.
本発明の歌唱動画生成システムによれば、第1ビデオカメラを備える第1カラオケ装置と、第2ビデオカメラを備える第2カラオケ装置とを通信回線で接続して行われる通信デュエットの歌唱動画に関し、カラオケ装置からのアップロード時における回線負荷の上昇を抑えることができる。 According to the singing moving image generating system of the present invention, it relates to a singing moving image of a communication duet performed by connecting a first karaoke device provided with a first video camera and a second karaoke device provided with a second video camera via a communication line. It is possible to suppress an increase in line load when uploading from a karaoke device.
以下、本発明の実施形態について説明する。図1に示すカラオケシステムは、ホスト装置1とカラオケ装置2とユーザー端末3とを有している。そして、これらが通信回線4を介して通信可能に接続されている。カラオケ装置2は、例えばカラオケ店KBの各カラオケルームRMに設置されている。そして、通信デュエットを行う場合、一対のカラオケ装置2,2は通信回線4を介して通信可能に接続される。後述するように、本実施形態のカラオケ装置2は、通信デュエットの歌唱動画を生成する機能を有しており、生成した歌唱動画をホスト装置1にアップロードする。ホスト装置1は、通信デュエットの歌唱動画をはじめ、多数の歌唱動画を記憶しており、選択された歌唱動画をユーザー端末3に表示させる。以下、カラオケシステムを構成する各装置1〜3について説明する。
Hereinafter, embodiments of the present invention will be described. The karaoke system shown in FIG. 1 has a host device 1, a
まず、ホスト装置1について説明する。ホスト装置1は、サーバーとして機能し、顧客情報や歌唱動画データといった各種情報を蓄積して管理する。図2に示すように、ホスト装置1は、ホスト側制御部11と、ホスト側通信部12と、ホスト側記憶部13とを有している。ホスト側制御部11は、ホスト装置1における制御の中心となる部分であり、CPU11aやメモリ11bを有している。CPU11aは、メモリ11bに記憶された動作プログラムに従って各種の制御を実行する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部12は、ホスト装置1を通信回線4に接続するためのインタフェースを提供する。
First, the host device 1 will be described. The host device 1 functions as a server and accumulates and manages various types of information such as customer information and singing moving image data. As illustrated in FIG. 2, the host device 1 includes a host-side control unit 11, a host-
ホスト側記憶部13は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部13の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、閲覧用動画データ記憶領域として用いられている。
The host-
顧客情報記憶領域は、利用者(歌唱者)の個人情報や履歴データが利用者IDに対応付けられた状態で記憶される領域である。歌唱音声データ記憶領域は、カラオケ装置2からアップロードされた歌唱音声のデータ(以下歌唱音声データという)が記憶される領域であり、歌唱映像データ記憶領域は、カラオケ装置2からアップロードされた歌唱映像のデータ(以下歌唱映像データという)が記憶される領域である。
The customer information storage area is an area in which personal information and history data of the user (singer) are stored in a state associated with the user ID. The singing voice data storage area is an area in which singing voice data uploaded from the karaoke device 2 (hereinafter referred to as singing voice data) is stored, and the singing video data storage area is a singing video data uploaded from the
これらの歌唱音声データや歌唱映像データは、歌唱動画コンテンツの基となる歌唱動画データであり、単独歌唱で取得されたデータと通信デュエットで取得されたデータとが含まれる。そして、歌唱音声データ及び歌唱映像データは、楽曲IDや利用者ID等の各種情報と対応付けられた状態で記憶されている。なお、本実施形態において、歌唱音声データはMP3形式のデータが用いられ、歌唱映像データはMPEG2形式のデータが用いられている。 These singing voice data and singing video data are singing video data that is the basis of the singing video content, and include data acquired by a single singing and data acquired by a communication duet. The singing voice data and the singing video data are stored in a state associated with various information such as a music ID and a user ID. In this embodiment, MP3 format data is used for singing voice data, and MPEG2 format data is used for singing video data.
閲覧用動画データ記憶領域には、ユーザー端末3に閲覧させるための閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末3で再生される歌唱動画コンテンツの基となるデータである。この歌唱動画コンテンツもまた、単独歌唱や通信デュエットで生成されたものが含まれる。本実施形態の閲覧用動画データは、WMV形式やMP4形式の動画データであり、カラオケ装置2からの歌唱動画データ(歌唱音声データ,歌唱映像データ)のアップロードに伴って、ホスト側制御部11が生成する。
In the browsing moving image data storage area, browsing moving image data for allowing the
次に、カラオケ装置2について説明する。カラオケ装置2は、カラオケ演奏や歌唱採点を行うものであり、例えば図3に示すように、カラオケ本体21と、スピーカ22と、モニタ23と、マイク24と、ビデオカメラ25と、リモコン装置26と、映像用通信端末27と、音声用通信端末28とを有している。
Next, the
カラオケ本体21は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク24を通じて入力された歌唱音声信号の処理といった、カラオケに関する各種の制御を行う部分である。このカラオケ本体21については、後で詳しく説明する。
The karaoke
スピーカ22は、カラオケ本体21に接続されており、カラオケ本体21からの放音信号に基づいて放音する。モニタ23もカラオケ本体21に接続されており、カラオケ本体21からの映像信号に基づいて映像を画面に表示する。マイク24もカラオケ本体21に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体21に入力させる。ビデオカメラ25もカラオケ本体21に接続されており、撮影された映像(例えば歌唱中の映像)を歌唱映像データとしてカラオケ本体21に入力させる。
The
リモコン装置26は、カラオケ本体21との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置26からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。登録された利用者がリモコン装置26を通じてログインした場合、その利用者の利用者IDがホスト装置1に送信される。この利用者IDに基づき、ホスト装置1は、歌唱を行う利用者を認識することができる。
The
また、本実施形態のリモコン装置26は、通信デュエットにおける開始信号を送信する開始信号送信手段としても機能する。詳細は後述するが、このカラオケシステムでは、通信デュエットの実行時において、一方のカラオケ装置2が親機として機能し、他方のカラオケ装置2が子機として機能する。そして、親側のカラオケ装置2が有するリモコン装置26からの開始信号が、親側のカラオケ本体21と子側のカラオケ本体21に送信される。この場合、親側のカラオケ本体21に対しては開始信号が直接入力される。一方、子側のカラオケ本体21に対しては、開始信号が近隣のアクセスポイント(図示せず)及び通信回線4(汎用通信回線4A)を介して送信される。
The
さらに、リモコン装置26は、ユーザー端末3としても機能する。この場合、リモコン装置26は、アクセスポイントや通信回線4(汎用通信回線4A)を介してホスト装置1に接続される。このため、利用者は、カラオケ店KBに居ながらにして、マイページにアクセスできる。
Further, the
映像用通信端末27及び音声用通信端末28は、通信デュエットが行われる際に、相手側のカラオケ装置2と通信回線4を介して接続される部分であり、ビデオカメラ25で撮影された歌唱映像データ、及び、マイク24等を通じて取得された歌唱音声データが送受信される。具体的には、映像用通信端末27は、映像用通信回線4Bを介して歌唱映像データを、相手側のカラオケ装置2が有する映像用通信端末27と送受信する。同様に、音声用通信端末28は、音声用通信回線4Cを介して歌唱音声データを、相手側のカラオケ装置2が有する音声用通信端末28と送受信する。これらの映像用通信回線4B及び音声用通信回線4Cでは、接続先となるカラオケ装置2を電話番号などによって選択できる。
The
映像用通信端末27で受信された相手側のカラオケ装置2からの歌唱映像データは、カラオケ本体21に入力される。同様に、音声用通信端末28で受信された相手側のカラオケ装置2からの歌唱音声データもまた、カラオケ本体21に入力される。なお、カラオケ本体21は、汎用通信回線4Aを介して相手側のカラオケ本体21やホスト装置1と通信可能に接続されている。そして、通信デュエット時の歌唱映像データ及び歌唱音声データを除く各種のデータや情報は、汎用通信回線4Aを介して送受信される。このように、本実施形態のカラオケシステムでは、通信デュエット時の歌唱映像データ及び歌唱音声データが、専用の映像用通信回線4B及び音声用通信回線4Cを介して送受信される。
The singing video data from the other party's
次に、カラオケ本体21について詳細に説明する。図4に示すように、カラオケ本体21は、本体側制御部31と、本体側通信部32と、本体側記憶部33と、音響処理部34と、表示処理部35と、映像入力部36と、操作部37とを有している。そして、これらの各部がバスを介して通信可能な状態に接続されている。
Next, the karaoke
本体側制御部31は、カラオケ本体21における制御の中心となる部分であり、CPU31aやメモリ31bを有している。CPU31aは、メモリ31bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部37からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ31bは、CPU31aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。このため、メモリ31bには、各種のプログラムを記憶する記憶領域が設けられている。
The main body
本体側通信部32は、カラオケ本体21を通信回線4(汎用通信回線4A)に接続するためのインタフェースを提供する。この本体側通信部32は、本体側制御部31によって動作が制御される。
The main body
本体側記憶部33は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部33には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域が設けられる。
The main body
楽曲データ記憶領域には、リモコン装置26で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ23に背景映像を表示させるための背景映像データが記憶される。歌唱映像データ記憶領域には、ビデオカメラ25で撮影された歌唱映像データが記憶され、歌唱音声データ記憶領域には、歌唱音声信号をデジタルデータ化した歌唱音声データが記憶される。なお、歌唱映像データ記憶領域及び歌唱音声データ記憶領域には、後述するように、通信デュエット時に取得された歌唱映像データや歌唱音声データも記憶される。
The music data storage area stores music data for playing the karaoke music selected by the
音響処理部34は、カラオケ楽曲に対する演奏の制御を行ったり、マイク24を通じて入力された歌唱音声信号をデジタルの歌唱音声データに変換する等の制御を行ったりする部分である。この音響処理部34では、楽曲データに応じて生成された楽音信号と歌唱音声データとが適当なバランスでミキシングされ、放音信号としてスピーカ22へ出力される。また、音響処理部34は、通信デュエットが行われている際、楽曲データや歌唱音声データに加え、音声用通信端末28を介して受信した相手側の歌唱音声データもミキシングする。これにより、利用者は、相手側の歌唱音声データの再生音声と合唱が行える。
The
表示処理部35は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部35には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部35は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ23に出力する。その結果、モニタ23には、背景映像に歌詞テロップが重ねられた映像が表示される。
The
また、表示処理部35は、通信デュエットが行われている際、映像用通信端末27を介して受信した相手側の歌唱映像データをモニタ23に表示させる。このとき、モニタ23の所定位置には、ビデオカメラ25から直接入力された映像データに基づく映像、すなわち利用者の歌唱映像が上書き(スーパーインポーズ)される。
Further, the
映像入力部36は、ビデオカメラ25からの歌唱映像データの取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部36は、例えば、ビデオカメラ25及び映像用通信端末27と接続するための外部インタフェースと、バスを通じて本体側制御部31等と接続するための内部インタフェースと、フレームバッファとしてのビデオメモリを有している(何れも図示せず)。
The
操作部37は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置26の操作に応じた操作信号を本体側制御部31に対して出力する。本体側制御部31は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置26は、操作を選択するための種々のキースイッチ(図示せず)を備えている。
The
そして、リモコン装置26を通じた操作により、通信デュエットの実行を選択できる。ここで、通信デュエットの選択処理について簡単に説明する。
The execution of the communication duet can be selected by an operation through the
リモコン装置26を操作して通信デュエットを選択すると、一方のカラオケ装置2が親側に、他方のカラオケ装置2が子側に定められる。そして、映像用通信回線4B及び音声用通信回線4Cを介して映像用通信端末27及び音声用通信端末28が、相手側となるカラオケ装置2の映像用通信端末27及び音声用通信端末28と通信する。これにより、歌唱映像データと歌唱音声データが一対のカラオケ装置2,2の間で相互に送受信され、相手側の映像及び音声を視聴できる。また、対象となるカラオケ楽曲の楽曲IDが本体側制御部31のメモリ31bに記憶され、演奏可能な状態で待機される。
When the
ビデオカメラ25やマイク24等が調整され、通信デュエットが行える状態になったならば、利用者は、親側のリモコン装置26を操作し、通信デュエットの開始を指示する。これにより、親側のリモコン装置26から開始信号が送信され、親側のカラオケ本体21に対しては直接入力される。一方、子側のカラオケ本体21に対しては、アクセスポイント及び汎用通信回線4Aを通じて開始信号が送信される。そして、開始信号が各カラオケ本体21,21で受信されると通信デュエットが開始される。その際、親側のカラオケ本体21(本体側記憶部33の歌唱映像データ記憶領域及び歌唱音声データ記憶領域)には、歌唱映像データ及び歌唱音声データが記録される。
When the
次に、ユーザー端末3について説明する。ユーザー端末3は、カラオケの利用者によって操作される通信端末であり、歌唱動画コンテンツを閲覧する際などに操作される。図1に示すように、ユーザー端末3は、パーソナルコンピュータ3A、タブレットコンピュータ3B、携帯電話機3Cなどが含まれる。また、前述したように、リモコン装置26もユーザー端末3に含まれる。
Next, the
図5に示すように、ユーザー端末3は、端末側制御部41と、端末側通信部42と、端末側記憶部43と、表示部44と、入力部45とを有している。
As illustrated in FIG. 5, the
端末側制御部41は、ユーザー端末3における制御の中心となる部分であり、CPU41aやメモリ41bを有している。CPU41aは、メモリ41bに記憶された動作プログラムに従って各種の制御を実行する。メモリ41bは、CPU41aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部42は、ユーザー端末3を通信回線4(汎用通信回線4A)に接続するためのインタフェースを提供する。端末側記憶部43は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。
The terminal-
表示部44及び入力部45は、いずれもユーザインタフェースを提供する部分である。表示部44は、各種メニューや操作用のラジオボタン等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部45は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ3Bやリモコン装置26では、表示部44と入力部45とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。
The
次に、上記構成を有するカラオケシステム(歌唱動画生成システム)の動作について説明する。このカラオケシステムは、通信デュエット時における録画処理に特徴を有している。このため、通信デュエットの動作を中心に説明を行う。 Next, the operation of the karaoke system (singing video generation system) having the above configuration will be described. This karaoke system is characterized by recording processing during a communication duet. For this reason, the description will focus on the operation of the communication duet.
図6は、通信デュエットを行う一対のカラオケ装置2A,2Bが通信回線4を介して接続された状態を説明するブロック図である。前述したように、通信デュエットの実行時には、一方のカラオケ装置2が親側となり、他方のカラオケ装置2が子側となる。便宜上、以下の説明では、親側のカラオケ装置2を親側カラオケ装置2Aといい、子側のカラオケ装置2を子側カラオケ装置2Bという。なお、親側カラオケ装置2Aが本発明の第1カラオケ装置に相当し、子側カラオケ装置2Bが本発明の第2カラオケ装置に相当する。そして、親側カラオケ装置2Aが備える各部を「親側」の語を付して示し、子側カラオケ装置2Bが備える各部を「子側」の語を付して示すこととする。
FIG. 6 is a block diagram illustrating a state in which a pair of
親側リモコン装置26A及び子側リモコン装置26Bの操作によって通信デュエットが選択されると、親側映像用通信端末27Aと子側映像用通信端末27Bとが映像用通信回線4Bを介して通信可能に接続され、親側音声用通信端末28Aと子側音声用通信端末28Bとが音声用通信回線4Cを介して通信可能に接続される。これにより、親側ビデオカメラ25Aで撮影された映像が子側モニタ23Bで視認可能となり、親側マイク24Aで集音された音声が子側スピーカ22Bから放音されるようになる。同様に、子側ビデオカメラ25Bで撮影された映像が親側モニタ23Aで視認可能となり、子側マイク24Bで集音された音声が親側スピーカ22Aから放音されるようになる。なお、親側カラオケ本体21Aと子側カラオケ本体21Bとは汎用通信回線4Aを介して常時通信可能に接続されているので、必要な情報は、汎用通信回線4Aを介して送受信することができる。
When a communication duet is selected by operating the parent-side
また、通信デュエットが選択されると、親側カラオケ本体21Aの本体側制御部31と子側カラオケ本体21Bの本体側制御部31のそれぞれに、通信デュエットの対象となるカラオケ楽曲の楽曲IDが記憶され、演奏可能な状態で待機される。その後、各ビデオカメラ25A,25Bの角度や各マイク24A,24Bの入力感度等が調整され、通信デュエットが行える状態になったならば、親側リモコン装置26Aにより、通信デュエットの開始が指示される。これにより、親側リモコン装置26Aから開始信号が送信され、親側カラオケ本体21Aと子側カラオケ本体21Bに受信される。開始信号の受信を契機に、通信デュエットが開始され、親側カラオケ本体21Aと子側カラオケ本体21Bのそれぞれでカラオケ伴奏が開始される。各利用者は、カラオケ伴奏にあわせて歌唱を行うことで、デュエットを行うことができる。
When the communication duet is selected, the song IDs of the karaoke songs that are subject to the communication duet are stored in the main body
図7は、通信デュエットの様子を説明する図である。同図に示すように、親側カラオケルームRM(親)では、親側モニタ23Aに子側歌唱映像XBと親側歌唱映像XAが表示されている。同様に、子側カラオケルームRM(子)では、子側モニタ23Bに親側歌唱映像XAと子側歌唱映像XBが表示されている。また、親側カラオケルームRM及び子側カラオケルームRMでは、親側歌唱音声と子側歌唱音声とが合成された合成音声が親側スピーカ22A及び子側スピーカ22Bから放音される。このように、通信回線4で接続された一対のカラオケ装置2A,2Bで歌唱映像と歌唱音声が共有されることで、通信デュエットが実現される。
FIG. 7 is a diagram for explaining a communication duet. As shown in the figure, in the parent-side karaoke room RM (parent), the child-side singing video XB and the parent-side singing video XA are displayed on the parent-
図8に示すように、このカラオケシステムでは、開始信号の受信を契機にして、親側カラオケ本体21Aの本体側記憶部33(映像記録手段)に、歌唱映像データが記録される。すなわち、図中矢印で示すように、親側ビデオカメラ25Aで取得された親側歌唱映像XA(第1歌唱映像)のデータと、子側ビデオカメラ25B(第2ビデオカメラ)で取得されて映像用通信回線4Bを通じて受信された子側歌唱映像XB(第2歌唱映像)のデータが、本体側記憶部33の歌唱映像データ記憶領域に記録される。
As shown in FIG. 8, in this karaoke system, the singing video data is recorded in the main body side storage unit 33 (video recording means) of the parent side karaoke
同様に、この本体側記憶部33(音声記録手段)には、歌唱音声データも記録される。すなわち、親側マイク24Aで集音され、音響処理部34で変換された親側歌唱音声(第1歌唱音声)のデータと、子側マイク24Bで集音された後に音響処理部34で変換され、音声用通信回線4Cを通じて送信された子側歌唱音声(第2歌唱音声)のデータと、親側歌唱音声データと子側歌唱音声データの合成で得られた合成歌唱音声のデータとが記録される。
Similarly, singing voice data is also recorded in the main body side storage unit 33 (voice recording means). That is, data of the parent singing voice (first singing voice) collected by the
通信デュエットが終了すると、親側カラオケ本体21Aの本体側制御部31(歌唱映像合成手段)は、記録された親側歌唱映像データと子側歌唱映像データとを合成し、合成唱映像データを生成する。そして、生成された合成唱映像データは、歌唱音声データ(親側歌唱音声データ,子側歌唱音声データ,合成歌唱音声データ)とともに、ホスト装置1へアップロードされる。すなわち、通信デュエットの歌唱動画データがホスト装置1へアップロードされる。
When the communication duet ends, the main body side control unit 31 (singing video synthesizing means) of the parent side karaoke
このように、通信デュエットの終了後に親側カラオケ装置2Aで各歌唱動画データを合成し、合成後の歌唱動画データをホスト装置1へアップロードする理由は、回線負荷を低減するためである。すなわち、歌唱動画の作成に際し、親側カラオケ装置2Aと子側カラオケ装置2Bのそれぞれから歌唱動画データをホスト装置1に送信してしまうと、回線負荷を上昇させてしまうことが懸念される。そこで、親側カラオケ装置2Aで合成された歌唱動画データをホスト装置1に送信している。
As described above, the reason why the singing moving image data is synthesized by the
ここで、歌唱音声データは比較的小容量であることから回線負荷が小さく、親側カラオケ装置2Aと子側カラオケ装置2Bとの間で相互にデータを送受信しても遅れを殆ど感じずにデュエット歌唱が行える。このため、親側カラオケ本体21Aでは、時間差を調整せずに親側歌唱音声データと子側歌唱音声データを合成することができる。これに対し、歌唱映像データは、歌唱音声データよりも十分に大きな容量であることから回線負荷が大きく、親側カラオケ装置2Aと子側カラオケ装置2Bとの間で相互にデータを送受信すると、図8に符号dtで示す遅れが生じてしまう。
Here, since the singing voice data has a relatively small capacity, the line load is small, and even if data is transmitted / received between the parent
図9は、本体側記憶部33Aに記録された親側歌唱映像データVD−Aと子側歌唱映像データVD−Bを模式的に説明する図である。この図に示すように、親側歌唱映像データVD−Aは、時系列で取得された複数のフレームFR−A(コマのデータ)で構成されている。同様に、子側歌唱映像データVD−Bも、時系列で取得された複数のフレームFR−Bで構成されている。これらの歌唱映像データVD−A,Bは、親側リモコン装置26Aからの開始信号の受信を契機に、本体側記憶部33Aへの記録が行われる。このため、親側歌唱映像データVD−Aは、開始信号の受信タイミングである時刻t0から記録が開始される。一方、子側歌唱映像データVD−Bは、時間dtだけ遅れて親側カラオケ本体21Aに受信されることから、この子側歌唱映像データVD−Bにおける子側カラオケ本体21Bでの開始信号の受信タイミングは、時刻t0から時間dtだけ後の時刻t1になる。
FIG. 9 is a diagram schematically illustrating the parent-side song video data VD-A and the child-side song video data VD-B recorded in the main body-
通信デュエットの実行中は、歌唱音声に遅れが殆ど生じないことから、歌唱映像XA,XBに多少の遅れ(時間差)が生じても支障はないと考えられる。しかし、歌唱動画を作成するに際しては、歌唱映像XA,XBについても遅れがないことが望ましい。遅れを解消すべく、パケットに時刻情報を付与し、合成時に時刻情報を参照することが考えられるが、各カラオケ装置2A,2Bで認識される時刻をms(ミリ秒)単位の高い精度で揃える必要があることから現実的でない。
During the execution of the communication duet, there is almost no delay in the singing voice, so it is considered that there is no problem even if a slight delay (time difference) occurs in the singing videos XA and XB. However, when creating a song moving image, it is desirable that the song images XA and XB have no delay. In order to eliminate the delay, it is conceivable to attach time information to the packet and refer to the time information at the time of synthesis. However, the time recognized by each
このような事情に鑑み、本実施形態のカラオケシステムでは、合成唱映像データの生成に際し、親側歌唱映像XAと子側歌唱映像XBの時間差を補正している。 In view of such circumstances, in the karaoke system of the present embodiment, the time difference between the parent-side singing video XA and the child-side singing video XB is corrected when generating the synthetic singing video data.
図6を参照して概略を説明すると、子側カラオケ装置2Bの本体側制御部31(第2停止制御手段)は、開始信号の受信を契機に、子側ビデオカメラ25Bによる撮影を所定の短期間に亘って停止させる。そして、親側カラオケ装置2Aの本体側制御部31(停止部分特定手段)は、本体側記憶部33A(映像記録手段)に記録された子側歌唱映像データVD−Bの各フレームをスキャンし、子側ビデオカメラ25Bによる撮影が停止された部分を特定する。さらに、親側カラオケ装置2Aの本体側制御部31(歌唱映像合成手段)は、特定した撮影停止部分に基づいて、本体側記憶部33Aに記録された親側歌唱映像データVD−Aと子側歌唱映像データVD−Bの時間差を補正し、これらの歌唱映像データVD−A,Bを合成する。
The outline will be described with reference to FIG. 6. The main body side control unit 31 (second stop control means) of the child
以下、図10のフローチャートを参照し、通信デュエットにおける一連の処理について説明する。 Hereinafter, a series of processing in the communication duet will be described with reference to the flowchart of FIG.
通信デュエットを行うに際し、親側カラオケ装置2Aの利用者及び子側カラオケ装置2Bの利用者は、それぞれ親側リモコン装置26A及び子側リモコン装置26Bを操作し、各カラオケ装置2A,2Bを通信デュエットのモードに設定する(S1)。この設定により、親側映像用通信端末27Aと子側映像用通信端末27Bとの間で映像データが相互に送受信されるとともに、親側音声用通信端末28Aと子側音声用通信端末28Bとの間で音声データが相互に送受信される。そして、図10に一点鎖線の枠で示すように、歌唱映像データ及び歌唱音声データの送受信は、カラオケ演奏が終了するまでの期間に亘って行われる。
When performing a communication duet, the user of the parent
各カラオケ装置2A,2Bで準備が整ったならば、親側カラオケ装置2Aの利用者は、親側リモコン装置26Aを操作して通信デュエットの開始を指示する。これにより、親側リモコン装置26Aからは開始信号が送信され(S2)、親側カラオケ本体21Aと子側カラオケ本体21Bのそれぞれに受信される。開始信号の受信に伴い、親側カラオケ装置2Aでは、親側歌唱映像データVD−A、子側歌唱映像データVD−B、親側歌唱音声データ、子側歌唱音声データ、及び、合成歌唱音声データの本体側記憶部33Aへの記録を開始する(S3)。
When the preparation is completed in each
また、親側カラオケ装置2Aの本体側制御部31(第1停止制御手段)は、開始信号の受信を契機に、親側ビデオカメラ25Aによる撮影を所定の短期間に亘って停止させる(S3)。本実施形態では、0.5秒間に亘って撮影を停止させている。ここで、撮影の停止とは、フレームの出力を停止させること、或いは、黒色フレームや白色フレームを意図的に出力させることを意味する。このため、親側ビデオカメラ25Aが備える光電変換素子(図示せず)からのサンプリングを停止したり、光電変換素子からの出力をグランドレベルに設定したりすることが行われる。
Further, the main body side control unit 31 (first stop control means) of the parent
同様に、子側カラオケ装置2Bの本体側制御部31(第2停止制御手段)は、開始信号の受信を契機に、子側ビデオカメラ25Bによる撮影を所定の短期間に亘って停止させる(S4)。ここで、親側リモコン装置26Aから送信された開始信号は、親側カラオケ本体21Aと子側カラオケ本体21Bに対し、ほぼ同時に、すなわち通信デュエットを行うに際して支障のない時間差の範囲内で受信される。このため、親側ビデオカメラ25Aの撮影停止期間と子側ビデオカメラ25Bの撮影停止期間は同じ期間になる。
Similarly, the main body side control unit 31 (second stop control means) of the child
親側ビデオカメラ25Aと子側ビデオカメラ25Bについて撮影が再開されたならば、親側カラオケ装置2Aと子側カラオケ装置2Bのそれぞれで、対象となるカラオケ楽曲の演奏を開始する(S5,S6)。
When shooting is resumed for the
対象となるカラオケ楽曲の演奏が終了したならば(S7),(S8)、親側カラオケ装置2A及び子側カラオケ装置2Bは、歌唱音声データの送受信を終了する。あわせて、親側カラオケ装置2Aは、歌唱音声データの本体側記憶部33Aへの記録を停止する(S7)。
When the performance of the target karaoke piece is completed (S7) and (S8), the parent
また、親側カラオケ装置2Aは、カラオケ楽曲の演奏終了後、子側カラオケ装置2Bから送られてくる歌唱映像データの時間差を考慮し、この時間差以上となる所定時間経過後に、歌唱映像データの送受信を終了する。あわせて、歌唱映像データの本体側記憶部33Aへの記録を停止する(S9)。
Further, the parent
次に、親側カラオケ本体21Aの本体側制御部31は、本体側記憶部33Aに記録された親側歌唱映像データVD−A及び子側歌唱映像データVD−Bについて時間差を補正する(S10)。
Next, the main body
その際、本体側制御部31は、停止部分特定手段として機能し、親側歌唱映像データVD−Aの各フレームFR−Aをスキャンすることで親側ビデオカメラ25Aによる撮影が停止された部分(撮影停止部分)を特定し、子側歌唱映像データVD−Bの各フレームFR−Bをスキャンすることで子側ビデオカメラ25Bによる撮影停止部分を特定する。
At that time, the main body
図11の例で説明すると、本体側制御部31は、まず、親側歌唱映像データVD−Aを構成する複数のフレームをスキャンし、フレームの欠損部分ND−A若しくは黒色フレームや白色フレームで構成されている部分を特定する。同様に、子側歌唱映像データVD−Bを構成する複数のフレームもスキャンし、フレームの欠損部分ND−B等を特定する。
In the example of FIG. 11, the main body
フレームの欠損部分ND−A,B等を特定したならば、本体側制御部31は、本体側記憶部33(映像記録手段)に記録された親側歌唱映像データVD−A(第1歌唱映像のデータ)と子側歌唱映像データVD−B(第2歌唱映像のデータ)の時間差を補正する。図12の例で説明すると、本体側制御部31は、親側歌唱映像データVD−Aの欠損部分ND−A等と子側歌唱映像データVD−Bの欠損部分ND−B等とが同じタイミングで取得されたものとして、親側歌唱映像データVD−Aと子側歌唱映像データVD−Bの時間差を補正する。
If the missing portions ND-A, B, etc. of the frame are specified, the main body
時間差を補正したならば、図10に示すように、親側カラオケ本体21Aの本体側制御部31は、親側歌唱映像データVD−Aと子側歌唱映像データVD−Bとを合成する(S11)。これにより、図13に示すように、親側歌唱映像データVD−Aと子側歌唱映像データVD−Bとが同期された合成歌唱映像データが生成される。
If the time difference is corrected, as shown in FIG. 10, the main body
歌唱映像データを合成したならば、図10に示すように、親側カラオケ本体21Aの本体側制御部31は、アップロード手段として機能し、生成された合成歌唱映像データと、歌唱音声データ(親側歌唱音声データ,子側歌唱音声データ,合成歌唱音声データ)とを、汎用通信回線4Aを通じてホスト装置1へアップロードする(S12)。
When the singing video data is synthesized, as shown in FIG. 10, the main body
このように、本実施形態では、通信デュエットが行われると、親側カラオケ装置2Aで歌唱映像データを合成してホスト装置1へアップロードしているので、回線負荷の上昇を抑えることができる。
Thus, in the present embodiment, when a communication duet is performed, the singing video data is synthesized and uploaded to the host device 1 by the parent
また、親側ビデオカメラ25A及び子側ビデオカメラ25Bについて、タイミングを合わせて、所定の短時間に亘って撮影を停止させているので、時刻情報を用いなくても各歌唱映像データVD−A,Bの時間差を補正することができる。すなわち、撮影停止部分は、開始信号の受信を契機に作成されるため、親側カラオケ本体21A及び子側カラオケ本体21Bにおける開始信号の受信タイミングを示す。従って、親側カラオケ本体21Aの本体側制御部31(歌唱映像合成手段)は、特定された撮影停止部分同士の時間を揃えることで親側歌唱映像データVD−Aと子側歌唱映像データVD−Bの時間差を精度良く補正することができる。
In addition, since the shooting is stopped for a predetermined short time at the timing of the
また、通信回線4に関し、本実施形態では、歌唱映像データを送受信するための映像用通信回線4Bと歌唱音声データ音声用通信回線4Cとに分けられているので、大容量の歌唱映像データと小容量の歌唱音声データとを分けて処理をすることができる。これにより、歌唱音声データについては時間差を補正せずに合成し、歌唱映像データについてのみ時間差の補正処理を行えば済む。その結果、処理の効率化を図ることができる。
In addition, regarding the
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。 The above description of the embodiment is for facilitating the understanding of the present invention, and does not limit the present invention. The present invention can be changed and improved without departing from the gist thereof, and the present invention includes equivalents thereof. For example, you may comprise as follows.
親側カラオケ本体21Aの本体側制御部31(停止部分特定手段)に関し、親側歌唱映像データVD−Aについては、親側カラオケ本体21Aで開始信号の受信タイミングを認識することができる。例えば、親側カラオケ装置2A(第1カラオケ装置)において、親側歌唱映像データVD−Aについては、開始信号の受信タイミングにフラグを設定することで、受信タイミングを認識することができる。このため、少なくとも子側歌唱映像データVD−Bについて撮影停止部分を特定すればよい。
Regarding the main body side control unit 31 (stop portion specifying means) of the parent side karaoke
所定の短期間に関し、本実施形態では0.5秒としたが、この時間に限定されるものではない。すなわち、フレーム間隔以上の期間であって、停止期間であることが制御上認識できる時間であればよい。なお、停止期間が長すぎると歌唱者に無用な不安を与えてしまうことから1秒以下であることが望ましく、歌唱者から判り難いという観点から0.5秒以下であることがより好ましい。 In the present embodiment, the predetermined short period is set to 0.5 seconds, but the present invention is not limited to this time. In other words, it may be a period that is longer than the frame interval and can be recognized as a stop period in terms of control. Note that if the stop period is too long, unnecessary uneasiness is given to the singer, so it is preferably 1 second or less, and more preferably 0.5 seconds or less from the viewpoint that it is difficult for the singer to understand.
通信回線4に関し、本実施形態では、映像用通信回線4B、音声用通信回線4C、及び、汎用通信回線4Aの3種類に分かれているものを例示したが、この構成に限られない。例えば、歌唱映像データと歌唱音声データとを汎用通信回線4Aとは異なる専用回線で送受信するようにしてもよいし、全てのデータを汎用通信回線4Aで送受信するようにしてもよい。
In the present embodiment, the
開始信号に関し、本実施形態では、親側カラオケ装置2Aが備える親側リモコン装置26Aから送信するものを例示したが、この構成に限られない。例えば、子側リモコン装置26Bから送信するようにしてもよいし、ホスト装置1から送信するようにしてもよい。
Regarding the start signal, in the present embodiment, the signal transmitted from the parent-side
歌唱映像の合成やアップロードに関し、本実施形態では、親側カラオケ装置2Aが備える本体側制御部31で行うものを例示したが、子側カラオケ装置2Bが備える本体側制御部31で行ってもよい。
Regarding the composition and uploading of the singing video, in the present embodiment, the main body
1…ホスト装置,2…カラオケ装置,2A…親側カラオケ装置,2B…子側カラオケ装置,3…ユーザー端末,3A…パーソナルコンピュータ,3B…タブレットコンピュータ,3C…携帯電話機,4…通信回線,4A…汎用通信回線,4B…映像用通信回線,4C…音声用通信回線,11…ホスト側制御部,11a…CPU,11b…メモリ,12…ホスト側通信部,13…ホスト側記憶部,21…カラオケ本体,21A…親側カラオケ本体,21B…子側カラオケ本体,22…スピーカ,22A…親側スピーカ,22B…子側スピーカ,23…モニタ,23A…親側モニタ,23B…子側モニタ,24…マイク,24A…親側マイク,24B…子側マイク,25…ビデオカメラ,25A…親側ビデオカメラ,25B…子側ビデオカメラ,26…リモコン装置,26A…親側リモコン装置,26B…子側リモコン装置,27…映像用通信端末,27A…親側映像用通信端末,27B…子側映像用通信端末,28…音声用通信端末,28A…親側音声用通信端末,28B…子側音声用通信端末,31…本体側制御部,31a…CPU,31b…メモリ,32…本体側通信部,33…本体側記憶部,34…音響処理部,35…表示処理部,36…映像入力部,37…操作部,41…端末側制御部,41a…CPU,41b…メモリ,42…端末側通信部,43…端末側記憶部,44…表示部,45…入力部,KB…カラオケ店,RM…カラオケルーム,XA…親側歌唱映像,XB…子側歌唱映像,VD−A…親側歌唱映像データ,VD−B…子側歌唱映像データ,FR−A…親側歌唱映像データのフレーム,FR−B…子側歌唱映像データのフレーム,ND−A…親側フレームの欠損部分,ND−B…子側フレームの欠損部分
DESCRIPTION OF SYMBOLS 1 ... Host apparatus, 2 ... Karaoke apparatus, 2A ... Parent side karaoke apparatus, 2B ... Child side karaoke apparatus, 3 ... User terminal, 3A ... Personal computer, 3B ... Tablet computer, 3C ... Mobile phone, 4 ... Communication line, 4A ... General-purpose communication line, 4B ... Video communication line, 4C ... Audio communication line, 11 ... Host side control unit, 11a ... CPU, 11b ... Memory, 12 ... Host side communication unit, 13 ... Host side storage unit, 21 ... Karaoke main body, 21A ... parent side karaoke main body, 21B ... child side karaoke main body, 22 ... speaker, 22A ... parent side speaker, 22B ... child side speaker, 23 ... monitor, 23A ... parent side monitor, 23B ... child side monitor, 24 ... Mic, 24A ... Parent microphone, 24B ... Slave microphone, 25 ... Video camera, 25A ... Parent video camera, 25B ... Slave video camera, 6 ... remote control device, 26A ... parent side remote control device, 26B ... child side remote control device, 27 ... video communication terminal, 27A ... parent video communication terminal, 27B ... child video communication terminal, 28 ...
Claims (4)
前記第1カラオケ装置に備えられ、前記第1ビデオカメラで取得された第1歌唱映像、及び、前記第2ビデオカメラで取得されて前記通信回線を通じて受信された第2歌唱映像を、前記開始信号の受信を契機に記録する映像記録手段と、
前記第1カラオケ装置に備えられ、前記映像記録手段に記録された前記第1歌唱映像と前記第2歌唱映像の時間差を補正して合成する歌唱映像合成手段と
を有することを特徴とする歌唱動画生成システム。 A first karaoke device comprising a first video camera and a second karaoke device comprising a second video camera are connected via a communication line, and a start signal is received between the first karaoke device and the second karaoke device. It is a singing video generation system that generates a singing video for a communication duet performed at an opportunity,
The first singing video provided in the first karaoke apparatus and acquired by the first video camera, and the second singing video acquired by the second video camera and received through the communication line, the start signal Video recording means for recording upon receipt of,
A singing video synthesizing unit provided in the first karaoke apparatus, comprising singing video synthesizing means for correcting and synthesizing a time difference between the first singing video and the second singing video recorded in the video recording means. Generation system.
前記第1カラオケ装置に備えられ、前記映像記録手段に記録された前記第2歌唱映像の各フレームをスキャンし、前記第2ビデオカメラによる撮影が停止された部分を特定する停止部分特定手段を有し、
前記歌唱映像合成手段は、前記停止部分特定手段によって特定された撮影停止部分に基づいて、前記映像記録手段に記憶された前記第1歌唱映像と前記第2歌唱映像の時間差を補正することを特徴とする請求項1に記載の歌唱動画生成システム。 A second stop control means provided in the second karaoke device, for stopping the shooting by the second video camera for a predetermined short period of time upon reception of the start signal;
Provided in the first karaoke apparatus is a stop part specifying unit that scans each frame of the second singing video recorded in the video recording unit and specifies a part in which shooting by the second video camera is stopped. And
The singing video synthesizing unit corrects a time difference between the first singing video and the second singing video stored in the video recording unit based on the shooting stop part specified by the stop part specifying unit. The singing video generation system according to claim 1.
前記停止部分特定手段は、前記第1歌唱映像の各フレームをスキャンすることで、前記第1ビデオカメラによる撮影が停止された部分を特定し、
前記歌唱映像合成手段は、前記第1歌唱映像における撮影停止部分の時間と前記第2歌唱映像における撮影停止部分の時間を揃えることで、前記時間差を補正することを特徴とする請求項2に記載の歌唱動画生成システム。 Provided in the first karaoke device, having first stop control means for stopping shooting by the first video camera for the predetermined short period of time upon reception of the start signal;
The stop part specifying means specifies a part where shooting by the first video camera is stopped by scanning each frame of the first singing video,
The said singing image | video synthetic | combination means correct | amends the said time difference by aligning the time of the imaging | photography stop part in the said 1st singing image | video, and the time of the imaging | photography stop part in the said 2nd singing image | video. Singing video generation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284279A JP6063739B2 (en) | 2012-12-27 | 2012-12-27 | Singing video generation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284279A JP6063739B2 (en) | 2012-12-27 | 2012-12-27 | Singing video generation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014126742A true JP2014126742A (en) | 2014-07-07 |
JP6063739B2 JP6063739B2 (en) | 2017-01-18 |
Family
ID=51406268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012284279A Active JP6063739B2 (en) | 2012-12-27 | 2012-12-27 | Singing video generation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6063739B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020036275A (en) * | 2018-08-31 | 2020-03-05 | 株式会社豊田自動織機 | Industrial vehicle remote operation system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11102195A (en) * | 1997-09-26 | 1999-04-13 | Nec Yonezawa Ltd | Karaoke-video communication terminal and its use method |
JP2002182664A (en) * | 2000-12-14 | 2002-06-26 | Yujiro Kuriyama | Karaoke (orchestration without lyrics) system |
JP2003167575A (en) * | 2001-11-30 | 2003-06-13 | Nippon Telegraph & Telephone East Corp | Audiovisual synchronously compositing and distributing method, device for player's terminal, program for the device and recording medium where the program for the device is recorded, service providing device, and program for the service providing device and recording medium recorded with the program for the device |
JP2010112981A (en) * | 2008-11-04 | 2010-05-20 | Ipix Co | Remote demonstration reproducing method and device |
-
2012
- 2012-12-27 JP JP2012284279A patent/JP6063739B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11102195A (en) * | 1997-09-26 | 1999-04-13 | Nec Yonezawa Ltd | Karaoke-video communication terminal and its use method |
JP2002182664A (en) * | 2000-12-14 | 2002-06-26 | Yujiro Kuriyama | Karaoke (orchestration without lyrics) system |
JP2003167575A (en) * | 2001-11-30 | 2003-06-13 | Nippon Telegraph & Telephone East Corp | Audiovisual synchronously compositing and distributing method, device for player's terminal, program for the device and recording medium where the program for the device is recorded, service providing device, and program for the service providing device and recording medium recorded with the program for the device |
JP2010112981A (en) * | 2008-11-04 | 2010-05-20 | Ipix Co | Remote demonstration reproducing method and device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020036275A (en) * | 2018-08-31 | 2020-03-05 | 株式会社豊田自動織機 | Industrial vehicle remote operation system |
Also Published As
Publication number | Publication date |
---|---|
JP6063739B2 (en) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI584266B (en) | An information system, an information reproducing apparatus, an information generating method, and a recording medium | |
CN106385614A (en) | Picture synthesis method and apparatus | |
JP6073145B2 (en) | SINGING VOICE DATA GENERATION DEVICE AND SINGING MOVIE DATA GENERATION DEVICE | |
JP6007098B2 (en) | Singing video generation system | |
JP7149193B2 (en) | karaoke system | |
JP6063739B2 (en) | Singing video generation system | |
JP5109496B2 (en) | Data distribution apparatus, data distribution method and program | |
JP6051075B2 (en) | A communication karaoke system that can continue duet singing in the event of a communication failure | |
JP2013210464A (en) | Karaoke system | |
JP5550593B2 (en) | Karaoke equipment | |
JP7148788B2 (en) | Information processing device, moving picture composition method and moving picture composition program | |
JP6220576B2 (en) | A communication karaoke system characterized by a communication duet by multiple people | |
JP6116213B2 (en) | Synthetic video content generation system | |
JP6051040B2 (en) | Singing video generation system | |
JP5803956B2 (en) | Karaoke system and karaoke device | |
KR200486708Y1 (en) | Microphone integrated type karaoke device connected to the ip setup box | |
JP5198195B2 (en) | Karaoke equipment | |
JP6043610B2 (en) | Synthetic video content generation system | |
JP6051028B2 (en) | Singing video data acquisition system | |
JP2014186155A (en) | Portable terminal, program for portable terminal, server, and image browsing system | |
JP2014199282A (en) | Singing motion picture data generation device capable of using still picture imaged by user camera | |
JP2022134182A (en) | Video output method, video output device, and video output system | |
JP2017078731A (en) | Moving image processing system, moving image processing program and portable terminal | |
JP2007199415A (en) | Karaoke system | |
JP6502728B2 (en) | Karaoke system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6063739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |