JP2021101526A - Moving image system, reproduction method and program - Google Patents
Moving image system, reproduction method and program Download PDFInfo
- Publication number
- JP2021101526A JP2021101526A JP2019233076A JP2019233076A JP2021101526A JP 2021101526 A JP2021101526 A JP 2021101526A JP 2019233076 A JP2019233076 A JP 2019233076A JP 2019233076 A JP2019233076 A JP 2019233076A JP 2021101526 A JP2021101526 A JP 2021101526A
- Authority
- JP
- Japan
- Prior art keywords
- song
- information
- camera
- threshold value
- song information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は動画システム、再生方法、及びプログラムに関する。 The present invention relates to a moving image system, a reproduction method, and a program.
ドライブレコーダに関する機能についての様々な研究開発が行なわれている。例えば、特許文献1は、ドライブ映像を要約したダイジェスト映像に対し、車両の走行速度に応じたテンポのBGM(background music)を付加する技術について開示している。 Various research and development are being carried out on the functions related to the drive recorder. For example, Patent Document 1 discloses a technique of adding BGM (background music) at a tempo according to the traveling speed of a vehicle to a digest video summarizing a drive video.
また、近年、ドライブレコーダを事故の記録のためだけでなく、ドライブ映像を楽しむためにも利用したいというニーズがある。なお、カメラにより撮影された画像を楽しむための技術として、例えば、特許文献2に記載された技術がある。この技術では、画像記録装置が、カーステレオから流れている楽曲をマイクにより検出し、当該楽曲の楽曲データを取得し、この楽曲データと画像データとを対応付けている。このようにすることで、撮影時に流れていた楽曲を撮影画像に対応付けることができる。このため、当該技術によれば、撮影当時の雰囲気を思い出しながら撮影画像を再生することができる電子アルバムを提供することができる。 Further, in recent years, there is a need to use a drive recorder not only for recording an accident but also for enjoying a drive image. As a technique for enjoying an image taken by a camera, for example, there is a technique described in Patent Document 2. In this technique, the image recording device detects the music flowing from the car stereo with a microphone, acquires the music data of the music, and associates the music data with the image data. By doing so, it is possible to associate the music that was playing at the time of shooting with the shot image. Therefore, according to this technique, it is possible to provide an electronic album that can reproduce a photographed image while remembering the atmosphere at the time of photographing.
上述したとおり、近年、録画されたドライブ映像を楽しみたいというニーズがある。このため、そのようなニーズに応える様々な技術の提供が求められている。特に、車両のカメラの映像を楽しむ視聴についての利便性を向上する技術の提供が求められている。 As mentioned above, in recent years there is a need to enjoy recorded drive images. Therefore, it is required to provide various technologies to meet such needs. In particular, it is required to provide a technology for improving the convenience of viewing the image of the vehicle camera.
本開示の目的は、車両のカメラの映像を楽しむ視聴についての利便性を向上することができる動画システム、再生方法、及びプログラムを提供することにある。 An object of the present disclosure is to provide a moving image system, a reproduction method, and a program capable of improving convenience for viewing and viewing images taken by a vehicle camera.
第1の態様にかかる動画システムは、
録画データを生成する録画装置と、
前記録画データを前記録画装置から取得して前記録画データを再生する再生装置と
を備え、
前記録画装置は、
車内又は車外の動画を撮影するカメラと、
前記カメラの撮影中の前記車内の音を取得するマイクと、
前記マイクによって取得された音のオーディオデータから、前記カメラの撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得する曲情報取得部と、
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成する録画データ生成部と
を有し、
前記曲情報取得部は、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データ生成部は、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記再生装置は、
前記録画データを再生する際、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記曲情報に基づいて曲を出力するよう制御する再生制御部と、
前記開始タイミングから前記終了タイミングまでの区間の曲の出力に関する指示を受け付ける指示受付部と
を有し、
前記指示受付部は、前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記再生制御部は、前記第1の閾値を超える曲が存在しない場合に、選択された前記曲情報に基づいて前記開始タイミングから前記終了タイミングまでの区間の曲の出力を行なうよう制御する。
The moving image system according to the first aspect is
A recording device that generates recording data and
A playback device that acquires the recorded data from the recording device and reproduces the recorded data is provided.
The recording device is
With a camera that shoots videos inside or outside the car,
A microphone that acquires the sound inside the vehicle during shooting by the camera, and
A song information acquisition unit that acquires song information of a song sung during shooting by the camera and start timing and end timing of the song in the moving image from the audio data of the sound acquired by the microphone.
It has a recording data generation unit that generates recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera.
When there is a song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the song information acquisition unit sings the song information of the song during shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
When the recording data generation unit acquires the song information of the song exceeding the second threshold value, the recording data generation unit obtains the song information of the song exceeding the second threshold value of the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
The playback device is
When playing back the recorded data, a playback control unit that controls to output a song based on the song information during playback of a section from the start timing to the end timing.
It has an instruction receiving unit that receives instructions regarding the output of songs in the section from the start timing to the end timing.
The instruction receiving unit receives an instruction to select one of the song information listed in the candidate list when there is no song exceeding the first threshold value.
The reproduction control unit controls to output a song in a section from the start timing to the end timing based on the selected song information when there is no song exceeding the first threshold value.
第2の態様にかかる再生方法では、
車内又は車外の動画を撮影するカメラの撮影中の前記車内の音を取得するマイクによって取得された音のオーディオデータから、前記カメラの撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得し、
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成し、
前記曲情報の取得では、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データの生成では、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記録画データを再生する際、前記第1の閾値を超える曲が存在する場合に、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記カメラの撮影中に歌われた曲の曲情報として取得された前記曲情報に基づいて曲を出力し、前記第1の閾値を超える曲が存在しない場合に、前記区間の再生中、選択された前記曲情報に基づいて曲を出力する。
In the reproduction method according to the second aspect,
Acquires the sound inside the vehicle while the camera is shooting the video inside or outside the vehicle. From the audio data of the sound acquired by the microphone, the song information of the song sung during the shooting by the camera and the video of the song. Get the start timing and end timing in
Recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera is generated.
In the acquisition of the song information, if there is a song whose similarity with the song sung during the shooting by the camera exceeds a predetermined first threshold value, the song information of the song is sung during the shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
In the generation of the recorded data, when the song information of the song exceeding the second threshold value is acquired, the song information of the song exceeding the second threshold value is the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
When there is no song that exceeds the first threshold value, an instruction to select one of the song information listed in the candidate list is accepted.
When the recorded data is reproduced, if there is a song exceeding the first threshold value, the song information of the song sung during the reproduction of the section from the start timing to the end timing and during the shooting by the camera is used. A song is output based on the acquired song information, and when there is no song exceeding the first threshold value, a song is output based on the selected song information during playback of the section.
第3の態様にかかるプログラムは、
車内又は車外の動画を撮影するカメラの撮影中の前記車内の音を取得するマイクによって取得された音のオーディオデータから、前記カメラの撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得する曲情報取得ステップと、
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成する録画データ生成ステップと、
前記開始タイミングから前記終了タイミングまでの区間の曲の出力に関する指示を受け付ける指示受付ステップと、
前記録画データを再生する際、前記開始タイミングから前記終了タイミングまでの区間の再生中、曲を出力するよう制御する再生制御ステップと
をコンピュータに実行させ、
前記曲情報取得ステップでは、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データ生成ステップでは、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記指示受付ステップでは、前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記再生制御ステップでは、前記録画データを再生する際、前記第1の閾値を超える曲が存在する場合に、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記カメラの撮影中に歌われた曲の曲情報として取得された前記曲情報に基づいて曲を出力し、前記第1の閾値を超える曲が存在しない場合に、前記区間の再生中、選択された前記曲情報に基づいて曲を出力するよう制御する。
The program according to the third aspect is
Acquires the sound inside the vehicle while the camera is shooting the video inside or outside the vehicle. From the audio data of the sound acquired by the microphone, the song information of the song sung during the shooting by the camera and the video of the song. The song information acquisition step to acquire the start timing and end timing in
A recording data generation step of generating recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera.
An instruction receiving step for receiving an instruction regarding the output of a song in the section from the start timing to the end timing, and
When the recorded data is reproduced, the computer is made to execute a reproduction control step for controlling the output of the song during the reproduction of the section from the start timing to the end timing.
In the song information acquisition step, if there is a song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the song information of the song is sung during shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
In the recording data generation step, when the song information of the song exceeding the second threshold value is acquired, the song information of the song exceeding the second threshold value is the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
In the instruction receiving step, when there is no song exceeding the first threshold value, an instruction to select one of the song information listed in the candidate list is received.
In the reproduction control step, when the recorded data is reproduced, if there is a song exceeding the first threshold value, the song is sung during the reproduction of the section from the start timing to the end timing and during the shooting by the camera. A song is output based on the song information acquired as the song information of the song, and when there is no song exceeding the first threshold value, the song is selected based on the song information selected during the playback of the section. Is controlled to output.
本発明によれば、車両のカメラの映像を楽しむ視聴についての利便性を向上することができる動画システム、再生方法、及びプログラムを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a moving image system, a playback method, and a program that can improve the convenience of viewing and viewing the image of a vehicle camera.
以下、実施の形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。 Hereinafter, embodiments will be described with reference to the drawings. In order to clarify the explanation, the following description and drawings have been omitted or simplified as appropriate.
<実施の形態1>
図1は、実施の形態1にかかる動画システム1の構成の一例を示す模式図である。動画システム1は、録画データを生成する録画装置10と、録画データを録画装置10から取得して録画データを再生する再生装置20とを含む。なお、再生装置20は、有線又は無線の通信により、録画装置10から直接的に録画データを取得してもよいし、録画装置10から他の装置等を介して録画データを取得してもよい。
<Embodiment 1>
FIG. 1 is a schematic diagram showing an example of the configuration of the moving image system 1 according to the first embodiment. The moving image system 1 includes a
以下、録画装置10及び再生装置20について具体的に説明する。図2は、録画装置10のハードウェア構成の一例を示すブロック図である。また、図3は、再生装置20のハードウェア構成の一例を示すブロック図である。また、図4は、録画装置10の機能構成の一例を示すブロック図である。そして、図5は、再生装置20の機能構成の一例を示すブロック図である。
Hereinafter, the
録画装置10は、4輪自動車などの車両に設けられる装置であり、いわゆるドライブレコーダである。図2に示すように、録画装置10は、カメラ11、マイク12、ネットワークインタフェース13、記憶装置14、及びプロセッサ15を含む。
The
カメラ11は、デジタルカメラであり、録画装置10が搭載されている車両の車内又は車外の動画を撮影する。マイク12は、車内の音を集音する装置であり、カメラ11の撮影中の車内の音を取得する。
The
ネットワークインタフェース13は、他の装置と通信するために使用される。なお、他の装置とは、例えば、録画装置10の処理の一部を代行するサーバであってもよいし、録画データを受信する再生装置20であってもよい。ネットワークインタフェース13は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
The
記憶装置14は、揮発性メモリ及び不揮発性メモリのいずれか若しくは両方を備えたメモリ群と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの内部ストレージとを含む。なお、本実施の形態では、メモリと内部ストレージとをまとめて、記憶装置14と称すが、メモリと内部ストレージは、一つの装置として録画装置10に内蔵されていなくてもよく、別々の装置として録画装置10に内蔵されていてもよい。
The
内部ストレージは、例えば、録画データや、録画装置10の処理に必要な各種データなどを格納するために用いられる。メモリは、例えば、プロセッサ15により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。
The internal storage is used, for example, for storing recorded data, various data required for processing of the
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、Compact Disc Read Only Memory(CD-ROM)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、Programmable ROM(PROM)、Erasable PROM(EPROM)、フラッシュROM、Random Access Memory(RAM))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 This program can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), Compact Disc Read Only Memory (CD-ROM), CD- Includes R, CD-R / W, semiconductor memory (eg, mask ROM, Programmable ROM (PROM), Erasable PROM (EPROM), flash ROM, Random Access Memory (RAM)). The program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
プロセッサ15は、メモリからソフトウェア(コンピュータプログラム)を読み出して実行することで、例えば、図4に示す構成要素の処理を行う。すなわち、図4に示す曲情報取得部100、録画データ生成部101、及び記憶制御部102の各処理は、プログラムの実行により実現されてもよい。このように、録画装置10は、コンピュータとしての機能を備えている。プロセッサ15は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPU(Central Processing Unit)などであってもよい。プロセッサ15は、複数のプロセッサを含んでもよい。
The
再生装置20は、録画装置10により記録された録画データを再生する装置であり、具体的には、例えば、スマートフォン、タブレット端末、PC(Personal Computer)等である。再生装置20は、図3に示すように、録画データの映像を表示するディスプレイ21と、録画データの音声を出力するスピーカ22とを有する。また、録画装置10は、さらに、入力装置23、ネットワークインタフェース24、記憶装置25、及びプロセッサ26も含む。
The
入力装置23は、再生装置20を利用するユーザの操作入力を受け付ける装置であり、例えば、ポインティングデバイスなどである。
ネットワークインタフェース24は、録画データを送信する録画装置10などの他の装置と通信するために使用される。ネットワークインタフェース24は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
The
The
記憶装置25は、録画装置10における記憶装置14と同様、メモリ群と内部ストレージを含む。内部ストレージは、例えば、録画装置10から取得した録画データや、再生装置20の処理に必要な各種データなどを格納するために用いられる。メモリは、例えば、プロセッサ26により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。このプログラムも、様々なタイプの非一時的なコンピュータ可読媒体を用いてコンピュータに供給されうるし、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されうる。
The
プロセッサ26は、メモリからソフトウェア(コンピュータプログラム)を読み出して実行することで、例えば、図5に示す構成要素の処理を行う。すなわち、図5に示す再生制御部200、指示受付部201、及び曲データ取得部202の各処理は、プログラムの実行により実現されてもよい。このように、再生装置20も、コンピュータとしての機能を備えている。プロセッサ26は、例えば、マイクロプロセッサ、MPU、又はCPUなどであってもよい。プロセッサ26は、複数のプロセッサを含んでもよい。
The
次に、録画装置10の機能構成について、説明する。図4に示すように、録画装置10は、曲情報取得部100と、録画データ生成部101と、記憶制御部102とを有する。録画装置10は、ドライブ中などの際にユーザが曲を歌った場合に、この曲の曲情報を取得し、この曲情報をカメラ11の映像データと関連づける。このとき、映像データにおけるどの時点からどの時点までが実際にユーザが歌っていた期間であるのかを特定して、映像データと曲情報とを対応付ける。なお、鼻歌などのように、歌詞を伴わずに曲のメロディを歌った場合の曲情報が取得されてもよいし、歌詞を歌った場合の曲情報が取得されてもよい。
Next, the functional configuration of the
曲情報取得部100は、マイク12によって取得された音のオーディオデータから、カメラ11の撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得する。ここで、曲情報とは、曲の識別情報である。すなわち、曲を一意に特定するため情報である。また、曲情報取得部100は、開始タイミングにおいてマイク12により取得された曲の一部分について、当該曲の全体における位置を特定する位置情報をさらに取得してもよい。すなわち、曲情報取得部100は、ある曲が歌われた場合、その歌い出しが、当該曲のどこからであるか(例えば、曲の冒頭からなのか、サビからなのか、2番からなのかなど)を特定する位置情報を取得する。例えば、この位置情報は、曲の開始から経過時間を示す時間情報である。
The song
曲情報取得部100は、具体的には、例えば次のようにして、これらを取得する。曲情報取得部100は、マイク12によって取得された音のオーディオデータを継続的に監視し、ユーザの音声が検出されたか否かを判定する。音声が検出されると、曲情報取得部100は、検出した音声のオーディオデータのバッファへの蓄積を開始する。所定の単位時間分のオーディオデータが蓄積されると、この単位時間分のオーディオデータに対して、曲情報の解析を行なう。本実施の形態では、この解析処理は、例えば、録画装置10と通信可能に接続されたサーバにより行なわれる。なお、このサーバは、例えば、サーバのメモリに記憶されたプログラムをサーバのプロセッサが実行することにより解析処理を行なう。
Specifically, the song
曲情報取得部100は、単位時間分のオーディオデータをサーバに送信する。このサーバは、音声から曲を検索するハミング検索などの公知の楽曲検索技術を用いて、受信したオーディオデータの音楽特徴量と類似する音楽特徴量を有する曲を、楽曲毎の音楽特徴量を格納した楽曲データベースを参照して検索する。曲情報取得部100は、サーバから、解析対象のオーディオデータとの類似度が所定の閾値(第1の閾値)を超える曲の曲情報を取得する。後述する録画データ生成部101は、この第1の閾値を超える曲の曲情報を映像データに付加する。なお、第1の閾値を超える曲の曲情報として、複数の曲の曲情報が取得された場合、すなわち、カメラ11の撮影中に歌われた1つの曲の曲情報として複数の候補を取得した場合、録画データ生成部101は、類似度が一番高い曲の曲情報を映像データに付加する。ただし、録画データ生成部101は、いずれかを選ばず、後述するように、これら複数の曲の曲情報を候補リストとして映像データに付加してもよい。
The song
上述の通り、曲情報取得部100は、録画中の歌い出しが、曲のどこからであるかを特定する位置情報を取得してもよい。これは、例えば、解析対象とされた単位時間分のオーディオデータが、このオーディオデータと類似すると判定された曲のどの部分の音楽特徴量と対応しているかをサーバにおいて特定することにより行なうことができる。
As described above, the song
また、曲情報取得部100は、連続する単位時間毎のオーディオデータの解析結果に基づいて、曲の開始タイミング及び終了タイミングを取得する。すなわち、曲情報取得部100は、解析により或る曲に類似すると判定されたオーディオデータが得られたタイミングをこの曲の開始タイミングとし、この曲に類似すると判定されるオーディオデータが得られなくなったタイミングをこの曲の終了タイミングとする。
Further, the song
曲情報取得部100は、1回の録画中に複数の期間で曲が歌われた場合、それら各期間に対する曲情報、開始タイミング、及び終了タイミングを取得する。また、曲情報取得部100は、異なる曲が連続して順次歌われている場合に、歌われている曲毎に、曲情報、開始タイミング、及び終了タイミングを取得してもよい。
When a song is sung in a plurality of periods during one recording, the song
なお、上述した通り、本実施の形態では、解析処理はサーバにより行なわれるが、曲情報取得部100の処理として行なわれてもよい。すなわち、サーバの処理として説明された全ての処理又は一部の処理が録画装置10における処理として行なわれてもよい。
As described above, in the present embodiment, the analysis process is performed by the server, but it may be performed as the process of the song
録画データ生成部101は、曲情報取得部100が取得した曲情報と開始タイミングと終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。具体的には、録画データ生成部101は、曲が歌われた期間ごとに、動画内における歌の開始タイミングを示す時刻情報及び終了タイミングを示す時刻情報と、当該期間に歌われた曲の曲情報とをタグ情報として、映像データに付加する。なお、曲情報取得部100により、歌い出しの位置を特定する上述した位置情報が取得されている場合には、録画データ生成部101は、さらに、タグ情報として、この位置情報を曲毎に付加した録画データを生成してもよい。これにより、後述する再生装置20における再生の際、この位置情報で示される位置から曲を出力することができる。
The recording
また、録画データ生成部101は、曲情報取得部100がカメラ11の撮影中に歌われた1つの曲の曲情報として複数の候補を取得した場合、取得した複数の曲情報を当該曲の曲情報の候補リストとして付加した録画データを生成してもよい。すなわち、タグ情報として、候補リストを録画データに設定してもよい。これにより、後述するように、ユーザは、候補としてあげられた曲情報の中から、適切な曲情報を選択することができる。
Further, when the song
なお、録画データ生成部101は、カメラ11により撮影された動画の映像データを含む録画データを生成すればよいが、映像データと、マイク12により取得された音のオーディオデータとを含む録画データを生成してもよい。
The recording
記憶制御部102は、録画データ生成部101により生成された録画データの記憶装置14(内部ストレージ)への記憶を制御する。例えば、記憶制御部102は、記憶装置14の空き容量がなくなると、古い録画データから順に上書き処理をすることにより、新たな録画データを記憶するよう制御する。記憶制御部102は、開始タイミングから終了タイミングまでの録画データについて、上書きを禁止してもよい。このようにすることにより、曲が歌われた区間の録画データが削除されることを防ぐことができる。すなわち、印象的な場面の映像が削除されてしまうことを防ぐことができる。なお、記憶制御部102は、記憶装置14における、新たな録画データの記憶可能容量が所定の基準量を下回った場合、開始タイミングから終了タイミングまでの録画データについての上書き禁止を解除してもよい。ここで、新たな録画データの記憶可能容量とは、上書き処理が許可されている容量と空き容量との総量である。録画装置10では、例えば、車両の事故発生時の映像などのように、より重要な映像を記憶する必要がある場合がある。このため、新たな録画データの記憶可能容量が少なくなった場合に、そのような重要な映像を記憶できないというのは好ましくない。上書き禁止を解除することにより、そのような事態の発生を抑制することができる。
The
次に、再生装置20の機能構成について、説明する。図5に示すように、再生装置20は、再生制御部200と、指示受付部201と、曲データ取得部202とを有する。
Next, the functional configuration of the
再生制御部200は、録画装置10から取得した録画データを再生し、ディスプレイ21に録画データの映像を表示する。また、録画データが、マイク12により取得された音のオーディオデータを含む場合、このオーディオデータの音声をスピーカ22から出力してもよい。
The
また、再生制御部200は、録画データを再生する際、開始タイミングから終了タイミングまでの区間の再生中、当該区間に関連づけられた曲情報に基づいて曲をスピーカ22から出力するよう制御する。具体的には、再生制御部200は、この曲情報に基づいて取得された曲のオーディオデータを用いて、この曲をスピーカ22から出力するよう制御する。再生制御部200は、当該区間の再生中、曲データ取得部202が取得したオーディオデータを用いて、曲をスピーカ22から出力する。なお、この出力は、マイク12により取得された音のオーディオデータの音声の出力と重畳されてもよい。重畳される両者の音量の比率は任意に設定することができる。また、マイク12により取得された音をミュートするよう設定してもよい。
Further, when the recorded data is reproduced, the
また、再生制御部200は、録画データに対して上述した位置情報が付与されている場合、曲を出力するとき、この位置情報に基づいて特定された位置から曲を再生して出力するよう制御してもよい。すなわち、再生制御部200は、実際に歌われたときの歌い出しと、再生時の歌い出しとがそろうように、曲の出力を行なってもよい。このようにすることにより、録画時の状況をより忠実に再現することができる。
Further, when the above-mentioned position information is added to the recorded data, the
また、録画データが開始タイミングから終了タイミングまでの区間を複数備え、隣接する区間の間隔が所定の時間よりも短い場合、再生制御部200は、一方の区間で出力する曲と他方の区間で出力する曲とをクロスフェードさせて出力するよう制御してもよい。すなわち、再生制御部200は、先行する曲をフェードアウトさせるとともに、後続する曲をフェードインするように曲の出力を行なってもよい。このようにすることにより、より自然に曲を楽しむことができる。
Further, when the recorded data includes a plurality of sections from the start timing to the end timing and the interval between adjacent sections is shorter than a predetermined time, the
また、開始タイミングから終了タイミングまでの区間の長さが当該区間に対応付けられている曲の長さよりも長い場合、再生制御部200は、当該曲をループして出力するよう制御してもよい。すなわち、この区間の長さが、後述する曲データ取得部202により取得された曲の長さよりも長い場合、再生制御部200は、当該区間の再生中、曲データ取得部202により取得された曲を繰り返し出力するよう制御してもよい。このようにすることにより、歌われていた実際の期間と同じだけ曲を出力することができるので、録画時の状況をより忠実に再現することができる。
Further, when the length of the section from the start timing to the end timing is longer than the length of the song associated with the section, the
なお、再生制御部200は、録画データの全体を再生してもよいし、録画データのダイジェスト再生を行なってもよい。ダイジェスト再生を行なう場合、再生制御部200は、録画データのうち、開始タイミングから終了タイミングまでの区間を抽出して、ダイジェスト再生してもよい。このようにすることにより、印象的な場面を抽出したダイジェスト再生を提供することができる。
The
指示受付部201は、開始タイミングから終了タイミングまでの区間の曲の出力に関する指示を受け付ける。指示受付部201は、入力装置23を介してユーザが入力した指示を受け付ける。再生制御部200は、受け付けられた指示に従って、開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御してもよい。例えば、録画データにおいて、ある区間の1つの曲に対し、複数の曲情報を含む候補リストが付加されている場合、指示受付部201は、候補リストに挙げられた曲情報の中からいずれかを選択する指示を受け付ける。この場合、再生制御部200は、選択された曲情報に基づいて曲を出力するよう制御する。すなわち、再生制御部200は、選択された曲情報に基づいて取得された曲のオーディオデータを用いて、この曲をスピーカ22から出力するよう制御する。このような構成によれば、ユーザは、候補としてあげられた曲情報の中から適切な曲情報を選択することができるため、適切な曲を聞くことができる。
The
また、例えば、指示受付部201は、曲における再生開始位置を指定する指示を受け付けてもよい。この場合、再生制御部200は、開始タイミングから終了タイミングまでの区間で曲を出力するとき、曲における指定された再生開始位置からこの曲を再生して出力するよう制御する。例えば、曲の2番から再生するよう指示された場合、再生制御部200は、曲の2番から出力する。このようにすることで、ユーザは、所望の再生開始位置から曲を聞くことができる。
Further, for example, the
曲データ取得部202は、録画データにおける開始タイミングから終了タイミングまでの区間の再生中に出力される曲のオーディオデータを取得する。具体的には、曲データ取得部202は、録画装置10の録画中に歌われた曲の原曲のオーディオデータを取得する。すなわち、曲データ取得部202は、実際のアーティストが歌っている曲又は演奏している曲のオーディオデータを取得する。本実施の形態では、曲データ取得部202は、録画データに付与されている曲情報と一致する曲情報を持つオーディオデータを取得する。ただし、曲データ取得部202は、指示受付部201により候補リストから曲情報が選択されている場合には、選択された曲情報に一致する曲情報を持つオーディオデータを取得する。
The song
曲データ取得部202は、再生装置20の記憶装置25に記憶されているオーディオデータ群から、当該区間の再生中に出力すべきオーディオデータを取得してもよいし、ネットワークインタフェース24を介して、有線又は無線により通信可能に接続された他の装置からオーディオデータを取得してもよい。例えば、ネットワークストリーミングにより配信されたオーディオデータを取得してもよい。上述の通り、再生制御部200は、曲データ取得部202が取得したオーディオデータを用いて、開始タイミングから終了タイミングまでの録画データの再生中に、曲の出力を行なう。
The song
次に、動画システム1の動作の一例についてフローチャートを用いて説明する。図6は、録画装置10によるタグ情報の設定動作の一例を示すフローチャートである。以下、図6に沿って、タグ情報の設定動作の一例を説明する。
Next, an example of the operation of the moving image system 1 will be described with reference to a flowchart. FIG. 6 is a flowchart showing an example of the tag information setting operation by the
ステップS100において、曲情報取得部100が、マイク12によって取得された音のオーディオデータを継続的に監視し、ユーザの音声が検出されたか否かを判定する。音声が検出されない場合(ステップS100でNo)、本ステップが継続する。音声が検出された場合(ステップS100でYes)、処理はステップS101へ移行する。
In step S100, the song
ステップS101において、曲情報取得部100は、検出した音声のオーディオデータのバッファへの蓄積を開始する。
In step S101, the song
次に、ステップS102において、曲情報取得部100は、音声が検出されなくなったか否かを判定する。音声が検出されている場合(ステップS102でNo)、処理はステップS103へ移行し、音声が検出されなくなった場合(ステップS102でYes)、処理はステップS109に移行する。
Next, in step S102, the song
ステップS103において、曲情報取得部100は、所定の単位時間分のオーディオデータが蓄積されたか否かを判定する。単位時間分のオーディオデータが蓄積された場合(ステップS103でYes)、処理はステップS104へ移行し、そうでない場合(ステップS103でNo)、処理はステップS102へ戻る。
In step S103, the song
ステップS104において、曲情報取得部100は、蓄積されたオーディオデータを用いて、曲情報を取得する。具体的には、曲情報取得部100は、上述した通り、このオーディオデータを用いた楽曲検索で得られた曲情報を取得する。なお、曲情報取得部100は、このオーディオデータが、曲のどの位置に対応するかについての情報である上述した位置情報を取得してもよい。
In step S104, the song
次に、ステップS105において、曲情報取得部100は、開始タイミングのタグ情報を設定済みであるか否かを判定する。なお、開始タイミング及び終了タイミングで特定される区間が1つの録画データに対して複数設定されうることを考慮すると、より詳細には、本ステップの判定は、終了タイミングのタグ情報と未だ対をなしていない開始タイミングのタグ情報が設定されているか否かの判定である。したがって、既に、対をなす開始タイミングと終了タイミングのタグ情報が1組以上設定されているとしても、そのような開始タイミングのタグ情報については無視して、開始タイミングのタグ情報を設定済みであるか否かの判定が行なわれる。開始タイミングのタグ情報が設定されていない場合(ステップS105でNo)、処理はステップS106へ移行する。これに対し、開始タイミングのタグ情報が設定されている場合(ステップS105でYes)、処理はステップS107へ移行する。
Next, in step S105, the song
ステップS106において、曲情報取得部100は、ステップS104の処理に用いられたオーディオデータの取得タイミングを開始タイミングとする。このようにして、曲情報取得部100は開始タイミングを取得する。そして、録画データ生成部101は、この開始タイミングのタグ情報を、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。また、録画データ生成部101は、ステップS104で得られた曲情報のタグ情報についても、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。なお、ステップS104において、位置情報も取得している場合、録画データ生成部101は、この位置情報のタグ情報についても、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。
In step S106, the song
ステップS106の後、処理はステップS102に戻り、上述した処理が繰り返される。すなわち、音声が継続している場合、次の単位時間分のオーディオデータに対して、楽曲の検索が行なわれることとなる。上述した通り、音声が検出されなくなった場合(ステップS102でYes)、処理はステップS109に移行する。 After step S106, the process returns to step S102, and the above-described process is repeated. That is, when the voice continues, the music is searched for the audio data for the next unit time. As described above, when the voice is no longer detected (Yes in step S102), the process proceeds to step S109.
ステップS109では、曲情報取得部100は、音声が検出されなくなったタイミングを終了タイミングとする。このようにして、曲情報取得部100は終了タイミングを取得する。すなわち、録画データ生成部101は、この終了タイミングのタグ情報を、音声が検出されなくなったタイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。そして、オーディオデータの蓄積が終了される。なお、終了タイミングのタグ情報の設定は、開始タイミングのタグ情報だけが設定されている場合に行なわれる。
In step S109, the song
一方、ステップS107では、前回のオーディオデータに対して検索された曲情報と、今回のオーディオデータに対して検索された曲情報とが異なるか否かを判定する。すなわち、検索された曲が前回と比べて変化したか否かを判定する。これにより、歌われる曲が変わったとしても、適切にタグ情報を付与することができる。検索された曲が前回と比べて変化した場合(ステップS107でYes)、処理はステップS108へ移行する。検索された曲が前回と比べて変化していない場合(ステップS107でNo)、処理はステップS102へ戻り、上述した処理が繰り返される。すなわち、音声が継続している場合、次の単位時間分のオーディオデータに対して、楽曲の検索が行なわれることとなる。 On the other hand, in step S107, it is determined whether or not the song information searched for the previous audio data is different from the song information searched for the current audio data. That is, it is determined whether or not the searched song has changed compared to the previous time. As a result, even if the song to be sung changes, tag information can be appropriately added. When the searched song has changed from the previous time (Yes in step S107), the process proceeds to step S108. If the searched song has not changed from the previous time (No in step S107), the process returns to step S102, and the above-described process is repeated. That is, when the voice continues, the music is searched for the audio data for the next unit time.
ステップS108において、曲情報取得部100は、ステップS104の処理に用いられたオーディオデータの取得タイミングを終了タイミングとする。このようにして、曲情報取得部100は終了タイミングを取得する。すなわち、録画データ生成部101は、この終了タイミングのタグ情報を、このオーディオデータの取得タイミングに相当する録画時刻におけるタグ情報として、録画データに設定する。ステップS108の後、処理は、ステップS106へ移行する。
In step S108, the song
以上のような処理により、録画データに対して、例えば図7に示すようなタグ情報が設定される。 By the above processing, tag information as shown in FIG. 7, for example, is set for the recorded data.
次に、再生装置20の動作の一例について説明する。図8は、再生装置20による再生動作の一例を示すフローチャートである。以下、図8に沿って、再生動作の一例を説明する。
Next, an example of the operation of the
ステップS200において、再生制御部200は、映像の再生が終了されたか否かを判定する。再生が終了された場合(ステップS200でYes)、処理は終了する。再生が継続している場合(ステップS200でNo)、処理はステップS201へ移行する。
In step S200, the
ステップS201において、再生制御部200は、開始タイミングのタグ情報を検出したか否かを判定する。すなわち、再生制御部200は、現在再生している録画データについて開始タイミングが到来したか否かを判定する。開始タイミングが到来していない場合(ステップS201でNo)、処理はステップS200に戻る。開始タイミングが到来した場合(ステップS201でYes)、処理はステップS202へ移行する。
In step S201, the
ステップS202において、曲データ取得部202は、録画データにタグとして付与されている曲情報に基づいて曲のオーディオデータを取得する。
In step S202, the song
次に、ステップS203において、再生制御部200は、ステップS202で取得されたオーディオデータを用いて曲を出力する。すなわち、再生制御部200は、曲を映像に重畳させて録画データを再生する。
Next, in step S203, the
次に、ステップS204において、再生制御部200は、終了タイミングのタグ情報を検出したか否かを判定する。すなわち、再生制御部200は、現在再生している録画データについて終了タイミングが到来したか否かを判定する。終了タイミングが到来していない場合(ステップS204でNo)、曲の再生が継続される。
Next, in step S204, the
これに対し、終了タイミングが到来した場合(ステップS204でYes)、処理はステップS205に移行し、ステップS205において、再生制御部200は、曲の再生を終了する。ステップS205の後、処理はステップS200に戻る。
On the other hand, when the end timing has arrived (Yes in step S204), the process proceeds to step S205, and in step S205, the
以上、実施の形態1について説明した。上述した録画装置10によれば、録画中に曲が歌われた場合に、録画データのどの区間において歌われたのかを特定する情報(すなわち、開始タイミング及び終了タイミング)と、どの曲が歌われたかについての情報(曲情報)を記録することができる。このため、ユーザは、車両のカメラの映像を再生する際に、実際に曲が歌われたタイミングで、その曲を聞くことができる。このため、ユーザは車両のカメラの映像を楽しむことができる。したがって、映像の視聴についての利便性を向上することができる。
The first embodiment has been described above. According to the
なお、上述した実施の形態では、曲情報は、曲の識別情報であるとしたが、曲情報を曲のオーディオデータとすることもできる。この場合、録画データ生成部101は、開始タイミングから終了タイミングまでの区間について、映像データと曲のオーディオデータとを重畳した録画データを生成してもよい。このようにすることにより、一般的な再生装置においても、録画データの再生の際、曲が歌われた区間に曲を出力することができる。
In the above-described embodiment, the song information is the song identification information, but the song information can also be used as the audio data of the song. In this case, the recording
なお、録画装置10において、映像データと曲のオーディオデータとを重畳した録画データを生成する場合、録画データ生成部101は、2種類の録画データを生成してもよい。すなわち、録画データ生成部101は、映像データと曲のオーディオデータとを重畳した録画データである第1の録画データと、曲のオーディオデータが重畳されていない映像データの録画データである第2の録画データとを生成してもよい。曲のオーディオデータを重畳することはドライブ映像が加工されることを意味するため、ドライブ映像としての価値が失われかねない。このため、2種類の録画データを作成することにより、そのような事態を回避することができる。
When the
また、上述した実施の形態では、録画と同時に、曲の解析処理を行なったが、必ずしも録画中に行なわれなくてもよい。 Further, in the above-described embodiment, the song analysis process is performed at the same time as the recording, but it does not necessarily have to be performed during the recording.
<実施の形態2>
上述した実施の形態では、解析対象のオーディオデータとの類似度が所定の閾値(第1の閾値)を超える曲が見つからなかった場合、開始タイミングから終了タイミングの区間に対応付ける曲を決定することができない。したがって、そのような場合には、当該区間の再生の際、曲を出力することができない。そこで、本実施の形態では、そのような場合であっても、曲を出力することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
<Embodiment 2>
In the above-described embodiment, when a song whose similarity with the audio data to be analyzed exceeds a predetermined threshold value (first threshold value) is not found, a song corresponding to the interval from the start timing to the end timing can be determined. Can not. Therefore, in such a case, the song cannot be output when the section is reproduced. Therefore, in the present embodiment, a technique capable of outputting a song even in such a case is provided. Hereinafter, points different from the above-described embodiment will be described.
本実施の形態では、曲情報取得部100は、解析対象のオーディオデータとの類似度が第1の閾値を超える曲が見つからなかった場合、第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を取得する。すなわち、曲情報取得部100は、カメラ11の撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合には、当該曲の曲情報を、カメラ11の撮影中に歌われた曲の曲情報として取得する。そして、曲情報取得部100は、カメラ11の撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合には、類似度が第2の閾値を超える曲の曲情報を、カメラ11の撮影中に歌われた曲の曲情報の候補として取得する。
In the present embodiment, the song
また、本実施の形態では、録画データ生成部101は、第2の閾値を超える曲の曲情報が取得された場合、第2の閾値を超える曲の曲情報をカメラ11の撮影中に歌われた曲の曲情報の候補リストとして付加した録画データを生成する。すなわち、録画データ生成部101は、タグ情報として、第2の閾値を超える曲の曲情報を含む候補リストを録画データに設定する。
Further, in the present embodiment, when the song information of the song exceeding the second threshold value is acquired, the recording
そして、本実施の形態の再生装置20では、第1の閾値を超える曲が存在しない場合、すなわち、第1の閾値を超える曲の曲情報が得られなかった場合、指示受付部201は、第2の閾値を超える曲の曲情報を含む候補リストに挙げられた曲情報の中からいずれかを選択する指示をユーザから受け付ける。そして、再生制御部200は、第1の閾値を超える曲が存在しない場合、すなわち、第1の閾値を超える曲の曲情報が得られたかった場合、指示で選択された曲情報に基づいて開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御する。このため、曲データ取得部202は、指示で選択された曲情報を持つ曲のオーディオデータを取得する。なお、第1の閾値を超える曲の曲情報が得られている場合には、再生制御部200は、実施の形態1で説明したように、この曲情報に基づいて開始タイミングから終了タイミングまでの区間の曲の出力を行なうよう制御する。
Then, in the
なお、指示受付部201は、例えば、録画データの再生前に予め指示を受け付ける。本実施の形態では、指示受付部201は、受け付けた指示で指定された曲情報をタグ情報として録画データに設定する。
The
ユーザに曲情報を指示してもらうために、注意喚起する構成を設けてもよい。すなわち、図9に示すように、再生装置20は注意喚起部203をさらに有してもよい。注意喚起部203の処理は、例えばプロセッサ26によるプログラムの実行により実現される。注意喚起部203は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲が特定されていない録画データが存在する場合に、注意喚起を行なう。例えば、注意喚起部203は、ユーザが、曲が特定されていない録画データの再生を行なおうとした際に、曲情報の指定を促す表示を行なってもよい。また、注意喚起部203は、再生可能な録画データの一覧画面において、曲が特定されていない録画データに対し、曲が特定されていない録画データであることを表わすマークを表示してもよい。このようにすることで、ユーザに対して曲の指定を促すことができる。
In order to have the user instruct the song information, a configuration for calling attention may be provided. That is, as shown in FIG. 9, the
なお、再生制御部200は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲が特定されていない録画データの再生が開始された場合、当該区間の再生中、所定の曲を出力するよう制御してもよい。すなわち、ユーザによる曲の指定が行なわれていない状態で、録画データが再生された場合、おすすめの曲などといった所定の曲を再生するようにしてもよい。特に、この所定の曲として、候補リストに挙げられた曲情報のいずれかにより特定される曲が用いられてもよい。このようにすることにより、曲が指定されていない場合であっても、当該区間において、曲を出力することができる。
When the reproduction of the recorded data for which the song to be output is not specified during the reproduction of the section from the start timing to the end timing is started, the
また、指示受付部201は、第2の閾値を超える曲が存在しない場合に、曲を指定する指示を受け付けてもよい。第2の閾値を超える曲が存在しない場合、録画データには上述した候補リストが設定されていないため、開始タイミングから終了タイミングまでの区間の再生中に出力する曲を特定することできない。そこで、そのような場合には、ユーザから曲を指定する指示を受け付けることにより、当該区間の再生中に出力する曲を特定することが可能となる。この場合、再生制御部200は、当該区間の再生中、指示受付部201が受け付けた指示で指定された曲を出力するよう制御する。
Further, the
次に、本実施の形態における動作の一例についてフローチャートを用いて説明する。図10は、録画装置10による曲情報に関するタグ情報の設定動作の一例を示すフローチャートである。以下、図10に沿って、本実施の形態における曲情報に関するタグ情報の設定動作の一例を説明する。
Next, an example of the operation in the present embodiment will be described with reference to a flowchart. FIG. 10 is a flowchart showing an example of a tag information setting operation related to song information by the
ステップS300において、録画データ生成部101は、類似度が第1の閾値を超える曲が検索されたかを判定する。すなわち、録画データ生成部101は、類似度が第1の閾値を超える曲の曲情報を曲情報取得部100が取得したか否かを判定する。類似度が第1の閾値を超える曲が検索された場合(ステップS300でYes)、処理はステップS301へ移行し、そうでない場合(ステップS300でNo)、処理はステップS303に移行する。
In step S300, the recording
ステップS301において、録画データ生成部101は、類似度が最も高い曲の曲情報をタグ情報として録画データに設定する。すなわち、録画データ生成部101は、類似度が第1の閾値を超える曲が複数見つかった場合、それらのうち、最も類似度が高い曲の曲情報をタグ情報として録画データに設定する。ステップS301の後、処理はステップS302へ移行する。
In step S301, the recording
ステップS302において、録画データ生成部101は、第1の閾値を超える曲が複数ある場合、それらの曲情報を候補リストのタグ情報として録画データに設定する。これにより、実施の形態1で述べたように、ユーザは、候補としてあげられた曲情報の中から、適切な曲情報を選択することができる。ステップS302が終わると、曲情報に関するタグ情報の設定を終了する。
In step S302, when there are a plurality of songs exceeding the first threshold value, the recording
一方、ステップS303では、録画データ生成部101は、検索条件に該当する曲がないことを示すタグ情報、すなわち、第1の閾値を超える曲が存在しないことを示すタグ情報を録画データに設定する。ステップS303の後、処理はステップS304へ移行する。
On the other hand, in step S303, the recording
ステップS304において、録画データ生成部101は、第2の閾値を超える曲がある場合、それらの曲情報を候補リストのタグ情報として録画データに設定する。すなわち、類似度が第2の閾値を超える曲の曲情報を曲情報取得部100が取得している場合、録画データ生成部101は、そのような曲の曲情報を候補リストのタグ情報として録画データに設定する。これにより、検索条件に該当する曲が見つからなかった場合であっても、ユーザは、所望の曲情報を選択することができる。
In step S304, when there are songs exceeding the second threshold value, the recording
図11は、ユーザによる曲情報の設定処理の一例を示すフローチャートである。以下、図11に沿って、本実施の形態におけるユーザによる曲情報の設定処理の一例を説明する。ユーザは、例えば、第1の閾値を超える曲が存在しないことを示すタグ情報が付加されている録画データについて、曲を指定する操作を行なう。 FIG. 11 is a flowchart showing an example of music information setting processing by the user. Hereinafter, an example of the song information setting process by the user in the present embodiment will be described with reference to FIG. For example, the user performs an operation of designating a song for the recorded data to which tag information indicating that there is no song exceeding the first threshold value is added.
ステップS400において、指示受付部201は、録画データに候補リストが設定されているか否かを判定する。候補リストが設定されている場合(ステップS400でYes)、処理はステップS401へ移行する。これに対し、候補リストが設定されていない場合(ステップS400でNo)、処理はステップS403へ移行する。
In step S400, the
ステップS401において、指示受付部201は、候補リストに挙げられている曲情報の一覧をユーザに提示する。ステップS401の後、処理はステップS402へ移行する。
In step S401, the
ステップS402において、指示受付部201は、候補リストに挙げられている曲情報のいずれか一つを選択する指示をユーザから受け付ける。そして、指示受付部201は、この指示で指定された曲情報を、曲情報のタグ情報として、当該録画データに新たに設定する。以上により、曲情報の設定処理を終了する。
In step S402, the
一方、ステップS403では、指示受付部201は、曲情報の入力をユーザから受け付ける。そして、指示受付部201は、入力された曲情報を、曲情報のタグ情報として、当該録画データに新たに設定する。以上により、曲情報の設定処理を終了する。
On the other hand, in step S403, the
以上、実施の形態2について説明した。本実施の形態によれば、検索条件に該当する曲が見つからなかった場合、ユーザは、所望の曲情報を選択することができる。このため、検索条件に該当する曲が見つからなかった場合であっても、録画データの再生の際、曲を出力することができる。 The second embodiment has been described above. According to the present embodiment, when a song corresponding to the search condition is not found, the user can select desired song information. Therefore, even if a song corresponding to the search condition is not found, the song can be output when the recorded data is played back.
<実施の形態3>
上述した実施の形態では、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合、再生装置20は、録画データにおける曲の開始タイミングから終了タイミングの区間の再生の際、曲を出力することができない。そこで、本実施の形態では、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合であっても、曲の再生を可能にする技術を提供する。以下、上述した実施の形態と異なる点について説明する。
<Embodiment 3>
In the above-described embodiment, when the audio data of the song specified by the song information set in the recorded data by the
本実施の形態にかかる曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合、この曲情報により特定される曲と関連しオーディオデータが取得可能な曲を、開始タイミングから終了タイミングの区間の再生中に出力する曲の候補とする。すなわち、曲データ取得部202は、曲情報により特定される曲と関連する曲であって、オーディオデータが取得可能な曲のリストである関連曲リストを作成する。この関連曲リストに挙げられた曲が、録画データの再生の際に出力される曲の候補となる。なお、関連曲リストは候補リストと称されてもよい。そして、再生制御部200は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合、当該区間の再生中、上述した候補に含まれる曲のいずれかを出力するよう制御する。すなわち、再生制御部200は、関連曲リストに挙げられている曲のいずれかを出力する。
When the song
ここで、関連する曲とは、例えば、曲に関する所定の属性が同じである曲をいう。具体的には、例えば、関連する曲は、同じアルバムに収録されている曲であってもよいし、同じアーティストの曲であってもよいし、同じジャンルの曲であってもよいし、アーティストが属するカテゴリが同じである曲であってもよいし、同じリリース年の曲であってもよい。なお、これらは例に過ぎず、他の所定の関連基準に従って、関連する曲が定義されてもよい。曲データ取得部202は、例えば、曲についてのデータベースを参照することにより、関連する曲を特定する。
Here, the related song means, for example, a song having the same predetermined attributes regarding the song. Specifically, for example, the related songs may be songs recorded in the same album, songs of the same artist, songs of the same genre, or artists. The songs may belong to the same category, or may be songs of the same release year. It should be noted that these are merely examples, and related songs may be defined according to other predetermined related criteria. The song
再生制御部200は、関連曲リストに挙げられている曲のうち自動的に選択された曲を出力してもよいし、ユーザからの指示にしたがい選択された曲を出力してもよい。自動的に選択される場合、例えば、再生制御部200は、録画データの開始タイミングから終了タイミングまでの区間の再生中、関連曲リストに含まれる曲のうち(すなわち、候補に含まれる曲のうち)、所定の選択ルールにしたがって選択された曲を出力するよう制御する。このとき、曲データ取得部202は、選択された曲のオーディオデータを取得し、再生制御部200は、このオーディオデータを用いて曲を出力する。なお、所定の選択ルールは、任意のルールを用いることができる。所定の選択ルールは、例えば、ランダムに選択するというルールであってもよいし、曲がリリースされた時期が最も新しい曲を選択するというルールであってもよい。自動的に選択することにより、ユーザが指定する手間を省くことができる。
The
また、ユーザからの指示にしたがい選択する場合、例えば、指示受付部201が、関連曲リストに含まれる曲のうち(すなわち、候補に含まれる曲のうち)、いずれかを指定する指示をユーザから受け付ける。そして、再生制御部200は、録画データの開始タイミングから終了タイミングまでの区間の再生中、指示により指定された曲を出力するよう制御する。このとき、曲データ取得部202は、指定された曲のオーディオデータを取得し、再生制御部200は、このオーディオデータを用いて曲を出力する。ユーザの指示により曲を選択することにより、ユーザは所望の曲を聴くことができる。
Further, when selecting according to an instruction from the user, for example, the
また、本実施の形態においても、ユーザによる曲の選択を促すために、注意喚起する構成を設けてもよい。すなわち、再生装置20は注意喚起部203を有してもよい。この場合、注意喚起部203は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できない場合に、注意喚起を行なう。例えば、注意喚起部203は、ユーザが、曲が選択されていない録画データの再生を行なおうとした際に、関連曲リストから曲を選択することを促す表示を行なってもよい。また、注意喚起部203は、再生可能な録画データの一覧画面において、オーディオデータが取得できない曲が設定されている録画データに対し、その旨を表わすマークを表示してもよい。このようにすることで、ユーザに対して曲の選択を促すことができる。
Further, also in the present embodiment, a configuration for calling attention may be provided in order to encourage the user to select a song. That is, the
なお、関連曲リストに含まれる曲のうちいずれかを指定する指示が指示受付部201により受け付けられた場合、曲データ取得部202は、指定された曲のオーディオデータが存在する場所を示す情報を保存するようにしてもよい。また、曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータが取得できる場合に、この曲のオーディオデータが存在する場所を示す情報を記憶装置25に保存するようにしてもよい。また、曲データ取得部202は、オーディオデータが存在する場所を示す情報をタグ情報として録画データに設定してもよい。ここで、曲のオーディオデータが存在する場所を示す情報は、例えば、ファイルパスであってもよいし、当該曲を配信するネットワークストリーミングサービスのURL(Uniform Resource Locator)であってもよいし、ダウンロードするためのURLであってもよい。このように、一旦、曲のオーディオデータが存在する場所を示す情報を保存しておくことにより、繰り返し録画データを再生する場合に、オーディオデータを容易に取得することが可能となる。
When the
次に、本実施の形態において、録画データの再生時に開始タイミングから終了タイミングまでの区間で出力する曲の決定についての処理の流れの一例を説明する。図12は、出力する曲の決定についての処理の流れの一例を示すフローチャートである。以下、図12に沿って、出力する曲の決定についての処理の流れの一例を説明する。 Next, in the present embodiment, an example of the processing flow for determining the song to be output in the section from the start timing to the end timing when the recorded data is reproduced will be described. FIG. 12 is a flowchart showing an example of a processing flow for determining a song to be output. Hereinafter, an example of the processing flow for determining the song to be output will be described with reference to FIG.
曲データ取得部202は、録画装置10により録画データに設定された曲情報により特定される曲のオーディオデータを検索する。具体的には、以下のステップS500からステップS502の処理を行なう。
The song
ステップS500において、曲データ取得部202は、再生装置20内を検索する。具体的には、曲データ取得部202は、記憶装置25に記憶されている音楽ライブラリを検索する。再生装置20内に検索対象のオーディオデータが存在しない場合(ステップS500でNo)、処理はステップS501へ移行する。これに対し、再生装置20内に検索対象のオーディオデータが存在する場合(ステップS500でYes)、処理はステップS507へ移行する。
In step S500, the song
ステップS501において、曲データ取得部202は、ネットワークを介して、検索対象のオーディオデータを検索する。本ステップでは、曲データ取得部202は、ネットワーク上のユーザが利用可能なデータを検索する。曲データ取得部202は、例えば、クラウド上のオンラインストレージを検索してもよいし、ユーザが利用可能な音楽配信サービスにより提供されるオーディオデータを検索してもよい。なお、このとき、曲データ取得部202は、再生装置20のユーザのアカウントを利用するなどして、これらの接続先にアクセスしてもよい。検索対象のオーディオデータが、ネットワークを介して利用可能でない場合(ステップS501でNo)、処理はステップS502へ移行する。これに対し、検索対象のオーディオデータが、ネットワークを介して利用可能である場合(ステップS501でYes)、処理はステップS507へ移行する。
In step S501, the song
ステップS502は、ユーザが現在利用可能ではない音楽配信サービスにより提供されるオーディオデータの中に、検索対象のオーディオデータが存在するか否かを検索する。ここで、ユーザが現在利用可能ではない音楽配信サービスとは、具体的には例えば、ユーザが当該音楽配信サービスとの間にサービス提供についての契約又は購入手続きをしていないサービスをいう。検索対象のオーディオデータが、現在利用可能ではない音楽配信サービスにより提供可能である場合(ステップS502でYes)、処理はステップS503へ移行し、そうでない場合(ステップS502でNo)、処理はステップS505へ移行する。 Step S502 searches for whether or not the audio data to be searched exists in the audio data provided by the music distribution service that is not currently available to the user. Here, the music distribution service that is not currently available to the user specifically means, for example, a service for which the user has not made a contract or purchase procedure for providing the service with the music distribution service. If the audio data to be searched can be provided by a music distribution service that is not currently available (Yes in step S502), the process proceeds to step S503, and if not (No in step S502), the process is step S505. Move to.
ステップS503において、曲データ取得部202は、検索対象のオーディオデータを提供可能な音楽配信サービスであって、ユーザが現在利用可能でない音楽配信サービスに関する情報をディスプレイ21に提示する。すなわち、そのような音楽配信サービスを利用することにより、オーディオデータを取得できることをユーザに通知する。これにより、そのような音楽配信サービスとのストリーミング配信契約またはダウンロード購入手続きを促す。このように、曲データ取得部202は、曲情報により特定される曲のオーディオデータの取得のために、ユーザが現在利用可能ではない音楽配信サービスからのオーディオデータの提供が必要である場合、当該音楽配信サービスに関する情報を提示してもよい。こうすることにより、曲情報により特定される曲を出力することが可能となる。ステップS503の後、処理はステップS504へ移行する。
In step S503, the song
ステップS504において、曲データ取得部202は、検索対象のオーディオデータを提供可能な音楽配信サービスが利用可能となったか否かを判定する。音楽配信サービスが利用可能となっていない場合(ステップS504でNo)、処理はステップS505へ移行する。これに対し、音楽配信サービスが利用可能となった場合(ステップS504でYes)、処理はステップS507へ移行する。
In step S504, the song
ステップS505において、曲データ取得部202は、曲情報により特定される曲と関連する曲であって、オーディオデータが取得可能な曲のリスト(すなわち、関連曲リスト)を作成する。ステップS505の後、処理はステップS506へ移行する。
In step S505, the song
ステップS506において、指示受付部201が、関連曲リストから曲を選択する指示をユーザから受け付ける。ステップS506の後、処理はステップS507へ移行する。
In step S506, the
ステップS507において、再生制御部200は、開始タイミングから終了タイミングまでの区間の再生中に出力する曲を決定する。再生装置20内に検索対象のオーディオデータが存在する場合(ステップS500でYes)、ネットワークを介して利用可能である場合(ステップS501でYes、又はステップS504でYes)、再生制御部200は、録画データに設定された曲情報により特定される曲を出力対象の曲とする。これに対し、関連曲リストの中から指定された場合(ステップS506)、再生制御部200は、指定された曲を出力対象の曲とする。なお、出力する曲の決定に伴い、再生制御部200は、録画データにタグ情報として設定された曲情報を、決定された曲の曲情報に更新してもよい。すなわち、再生制御部200は、タグ情報を更新してもよい。
In step S507, the
以上、実施の形態3について説明した。本実施の形態によれば、関連曲リストが作成される。このため、録画装置10により録画データに設定された曲情報で特定される曲のオーディオデータ取得できない場合であっても、曲の再生を可能にすることができる。
The third embodiment has been described above. According to this embodiment, a related song list is created. Therefore, even when the audio data of the song specified by the song information set in the recording data by the
<実施の形態4>
上述した実施の形態では、記憶装置14の空き容量がなくなると、古い録画データから順に上書き処理をすることにより、新たな録画データを記憶するよう制御する。このため、上書き処理により、曲が歌われた区間の録画データが削除される恐れがある。これを防ぐために、上述の通り、曲が歌われた区間の録画データを上書き禁止にすることも可能である。しかしながら、その場合、上書きが禁止された録画データが記憶装置14において増加すればするほど、新たな録画データの記憶可能容量が減少してしまい、車両の事故発生時の映像などのように、より重要な映像を記憶できなくなる恐れがある。これを防ぐために、上述の通り、新たな録画データの記憶可能容量が少なくなった場合に、上書き禁止を解除することも可能である。しかしながら、その場合、曲が歌われた区間の録画データが削除される恐れが再び生じる。このように、上述した実施の形態では、曲が歌われた区間の録画データ及びより重要な録画データについて保存することが困難となる恐れがある。そこで、本実施の形態では、録画データを適切に保存することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
<Embodiment 4>
In the above-described embodiment, when the free space of the
図13は、本実施の形態における録画装置10のハードウェア構成の一例を示すブロック図である。図13に示した構成は、メモリカード、USB(Universal Serial Bus)メモリなどのリムーバブルメディア19が接続される外部ストレージインタフェース16をさらに有する点で、図2に示した構成と異なっている。外部ストレージインタフェース16は、録画装置10の外部ストレージとして機能するリムーバブルメディア19と録画装置10とを通信可能に接続するインタフェース回路である。
FIG. 13 is a block diagram showing an example of the hardware configuration of the
本実施の形態における記憶制御部102は、録画データのうち開始タイミングから終了タイミングまでの区間のデータ、すなわち曲が歌われた区間のデータを記憶装置14から他の記憶装置に移動するよう制御する。より詳細には、記憶制御部102は、上述した他の記憶装置の空き容量が、当該区間のデータのサイズ以上である場合、当該区間のデータを記憶装置14から他の記憶装置に移動する。ここで、他の記憶装置は、記憶装置14以外の任意の外部のストレージを言い、具体的には、リムーバブルメディア19であってもよいし、ネットワークインタフェース13を介して接続されるオンラインストレージであってもよい。なお、他の記憶装置としてオンラインストレージが用いられる場合、外部ストレージインタフェース16は必ずしも設けられなくてもよい。
The
次に、本実施の形態において、曲が歌われた区間の録画データを他の記憶装置に移動する動作の流れの一例を説明する。図14は、曲が歌われた区間の録画データを他の記憶装置に移動する処理の流れの一例を示すフローチャートである。以下、図14に沿って、録画データの移動の流れの一例を説明する。 Next, in the present embodiment, an example of the flow of the operation of moving the recorded data of the section in which the song is sung to another storage device will be described. FIG. 14 is a flowchart showing an example of the flow of processing for moving the recorded data of the section in which the song is sung to another storage device. Hereinafter, an example of the flow of movement of recorded data will be described with reference to FIG.
ステップS600において、記憶制御部102は、曲が歌われた区間を含む録画データが記憶装置14に記憶されているか否かを判定する。すなわち、記憶制御部102は、開始タイミングのタグ情報と終了タイミングのタグ情報とが設定された録画データが記憶装置14に記憶されているか否かを判定する。記憶制御部102は、そのような録画データがない場合、所定時間後に本ステップを繰り返す(ステップS600でNo)。これに対し、そのような録画データが記憶装置14に記憶されている場合(ステップS600でYes)、処理はステップS601へ移行する。
In step S600, the
ステップS601において、記憶制御部102は、ステップS600で見つかった、曲が歌われた区間を含む録画データについて、当該区間部分を移動対象とする。すなわち、記憶制御部102は、曲が歌われた区間を含む録画データのうち、当該区間部分に対応する部分的な録画データを他の記憶装置への移動対象とする。
In step S601, the
ステップS602において、記憶制御部102は、アクセス可能かつ空き容量が十分である他の記憶装置が存在するか否かを判定する。ここで、空き容量が十分であるとは、移動対象のデータのサイズ以上の空き容量があることをいう。なお、他の記憶装置として複数が存在しうる場合には、記憶制御部102は、これら全てについて順に、アクセス可能かつ空き容量が十分であるか否かを確認する。いずれかの他の記憶装置について、アクセス可能かつ空き容量が十分である場合(ステップS602でYes)、処理はステップS603へ移行する。これに対し、アクセス可能かつ空き容量が十分である他の記憶装置が存在しない場合(ステップS602でNo)、所定時間後、再び、ステップS600以降の処理が行なわれる。
In step S602, the
ステップS603において、記憶制御部102は、記憶装置14から、ステップS601で移動対象とされたデータを、アクセス可能かつ空き容量が十分である他の記憶装置へ移動する。これにより、移動対象とされたデータのサイズだけ、記憶装置14の記憶容量が回復する。ステップS603の後、所定時間後、再び、ステップS600以降の処理が行なわれる。
In step S603, the
以上、実施の形態4について説明した。上述の通り、本実施の形態では、記憶制御部102は、曲が歌われた区間のデータを、録画データが記憶される記憶装置14から他の記憶装置へと移動する。これにより、曲が歌われた区間のデータが、記憶装置14において上書きされてしまって削除されることを防ぐことができるとともに、車両の事故発生時の映像などのようにより重要な映像を記憶するための記憶容量を確保することができる。
The fourth embodiment has been described above. As described above, in the present embodiment, the
<実施の形態5>
本実施の形態では、録画データの再生開始位置の指定についての利便性を向上させる技術を提供する。具体的には、再生装置20は、ユーザが曲を歌った場合、その曲に対応する位置へ録画データの再生位置を移動する。以下、上述した実施の形態と異なる点について説明する。
<Embodiment 5>
In the present embodiment, a technique for improving the convenience of designating the playback start position of the recorded data is provided. Specifically, when the user sings a song, the
図15は、本実施の形態にかかる再生装置20のハードウェア構成の一例を示すブロック図である。図15に示した再生装置20は、マイク27が追加されている点で、図3に示した構成と異なっている。マイク27は、再生装置20の周辺の音を集音する装置であり、再生装置のユーザの声を取得する。
FIG. 15 is a block diagram showing an example of the hardware configuration of the
図16は、本実施の形態にかかる再生装置20の機能構成の一例を示すブロック図である。図16に示した再生装置20は、曲情報取得部204が追加されている点で、図5に示した構成と異なっている。曲情報取得部204の処理は、例えばプロセッサ26によるプログラムの実行により実現される。なお、本実施の形態の再生装置20も、図9と同様、注意喚起部203をさらに有してもよい。
FIG. 16 is a block diagram showing an example of the functional configuration of the
曲情報取得部204は、マイク27によって取得された音のオーディオデータから、再生装置20を利用するユーザにより歌われた曲の曲情報(例えば、識別情報)を取得する。また、曲情報取得部204は、ユーザによる歌い出しに対応する曲の一部分について、当該曲の全体における位置を特定する位置情報をさらに取得してもよい。つまり、曲情報取得部204は、ある曲が歌われた場合、その歌い出しが、当該曲のどこからであるか(例えば、曲の冒頭からなのか、サビからなのか、2番からなのか)を特定する位置情報を取得してもよい。なお、曲情報取得部204による曲情報の取得及び位置情報の取得については、録画装置10における曲情報取得部100と同様の処理により可能である。したがって、曲情報取得部204は、サーバから、解析対象のオーディオデータとの類似度が所定の閾値を超える曲の曲情報と、位置情報とを取得する。なお、再生装置20における曲情報及び位置情報の取得においても、解析処理は、サーバではなく、曲情報取得部204(すなわち、再生装置20)の処理として行なわれてもよい。
The song
本実施の形態にかかる再生制御部200は、曲情報取得部204が曲情報を取得した場合、録画データに付加されている曲情報のうち、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている区間を再生開始位置とする。そして、再生制御部200は、その再生開始位置から、曲の出力を伴いつつ録画データを再生する。図17は、録画データの再生開始位置について示す模式図である。図17に示すように、例えば、ある録画データにおいて、曲Aが関連づけられている区間と曲Bが関連づけられている区間が設定されているものとする。この場合、再生装置20の曲情報取得部204が曲Aの曲情報を取得した場合、再生制御部200は、曲Aの区間(具体的には例えば曲Aの区間の開始タイミングである再生開始位置P)から録画データの再生を開始する。これにより、ユーザは、所望の曲が歌われている箇所の視聴を容易に開始することができる。
In the
上述した再生開始位置の制御では、曲が歌われた区間の冒頭へのスキップが行なわれたが、位置情報を用いることにより、曲が歌われた区間の途中へのスキップも可能となる。すなわち、録画データが歌い出しの位置情報(以下、第1の位置情報と称す)を含み、再生装置20の曲情報取得部204が歌い出しの位置情報(以下、第2の位置情報と称す)を取得した場合、再生制御部200は、第1の位置情報と第2の位置情報の差に応じて、録画データの再生開始位置を調整してもよい。これについて、図18を用いて、具体的に説明する。図18は、録画データの再生開始位置について示す模式図である。図18に示すように、例えば、ある録画データにおいて、曲Aが関連づけられている区間と曲Bが関連づけられている区間が設定されているものとする。特に、曲Aが関連づけられている区間の開始タイミングには、第1の位置情報として、曲の冒頭から1分15秒経過した位置を表わす位置情報が関連づけられているものとする。すなわち、この場合、再生装置20は、曲が歌われた区間を開始タイミングから再生するとき、当該曲の途中から(より詳細には曲の冒頭から1分15秒経過した位置から)、当該曲を出力する。ここで、再生装置20の曲情報取得部204が、曲Aの曲情報を取得し、さらに、第2の位置情報として、曲Aの冒頭から2分15秒経過した位置を表わす位置情報を取得したとする。この場合、再生制御部200は、曲Aが歌われた区間の冒頭から1分(=[2分15秒]−[1分15秒])経過した時点である再生開始位置Pから録画データの再生を開始する。これにより、より詳細に再生開始位置を決定することができる。
In the above-mentioned control of the playback start position, the skip to the beginning of the section in which the song is sung is performed, but by using the position information, it is possible to skip to the middle of the section in which the song is sung. That is, the recorded data includes the singing position information (hereinafter referred to as the first position information), and the song
また、本実施の形態において、取得された曲情報に基づく再生開始位置からの再生を実施して良いか否かについて、ユーザが指示してもよい。すなわち、指示受付部201は、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている録画データの区間が特定された場合に、当該区間を再生開始位置とすることを許可する指示を受け付けてもよい。この場合、再生制御部200は、許可する指示が得られた場合に、当該区間を再生開始位置とする。このような構成によれば、ユーザは、曲情報による再生開始位置の制御を行なうか否かを決定することができる。
Further, in the present embodiment, the user may instruct whether or not the reproduction from the reproduction start position based on the acquired song information may be performed. That is, when the
また、指示受付部201は、再生装置20の曲情報取得部204が取得した曲情報に対応する曲情報と関連づけられている録画データの区間が複数特定された場合に、いずれの区間を再生開始位置とするかを選択する指示を受け付けてもよい。この場合、再生制御部200は、指示により選択された区間を再生開始位置とする。このような構成によれば、より適切な区間を再生することができる。
Further, when a plurality of sections of recorded data associated with the song information corresponding to the song information acquired by the song
なお、指示受付部201は、曲情報に基づく再生開始位置をユーザに明示するために、曲情報に基づく再生開始位置における時刻情報又はサムネイル画像の一覧をディスプレイ21に表示してもよい。
The
次に、本実施の形態における、再生開始位置の決定動作の流れの一例を説明する。図19は、録画データの再生開始位置の決定動作の流れの一例を示すフローチャートである。以下、図19に沿って、再生開始位置の決定動作の流れの一例を説明する。 Next, an example of the flow of the operation of determining the reproduction start position in the present embodiment will be described. FIG. 19 is a flowchart showing an example of the flow of the operation of determining the reproduction start position of the recorded data. Hereinafter, an example of the flow of the operation of determining the reproduction start position will be described with reference to FIG.
ステップS700において、再生制御部200は、曲情報取得部204が曲情報を取得したか否かを判定する。曲情報が取得されていない場合(ステップS700でNo)、本処理が繰り返される。曲情報が取得されると(ステップS700でYes)、処理はステップS701へ移行する。
In step S700, the
ステップS701において、再生制御部200は、再生対象の録画データに、曲情報取得部204が取得した曲情報が設定された区間があるか否かを判定する。再生対象の録画データに当該曲情報が設定された区間がない場合(ステップS701でNo)、処理はステップS700に戻る。これに対し、再生対象の録画データに当該曲情報が設定された区間がある場合(ステップS701でYes)、処理はステップS702へ移行する。
In step S701, the
ステップS702において、再生制御部200は、指示受付部201が所定の指示を受け付けたか否かを判定する。具体的には、再生制御部200は、取得された曲情報に基づく再生開始位置からの再生を許可する指示が受け付けられたか否かを判定する。また、再生対象の録画データに、取得された曲情報が設定された区間が複数ある場合には、再生制御部200は、いずれの区間を再生開始位置とするかを選択する指示が受け付けられたか否かを判定する。そのような指示が受付けられなかった場合(ステップS702でNo)、処理はステップS700に戻る。これに対し、そのような指示が受付けられた場合(ステップS702でYes)、処理はステップS703へ移行する。
In step S702, the
ステップS703において、再生制御部200は、曲情報に基づく位置を、再生開始位置とする。これにより、再生装置20のユーザが歌った曲が歌われている区間から録画データの再生が開始される。
In step S703, the
以上、実施の形態5について説明した。上述の通り、本実施の形態では、再生装置20のユーザが歌った曲に対応する位置から録画データが再生される。したがって、本実施の形態によれば、録画データの再生開始位置の指定についての利便性を向上させることができる。
The fifth embodiment has been described above. As described above, in the present embodiment, the recorded data is reproduced from the position corresponding to the song sung by the user of the
<実施の形態6>
本実施の形態では、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる技術を提供する。以下、上述した実施の形態と異なる点について説明する。
<Embodiment 6>
The present embodiment provides a technique capable of appropriately setting song information in the recorded data even when a plurality of people sing a song at the same time in the vehicle. Hereinafter, points different from the above-described embodiment will be described.
本実施の形態にかかる録画データ生成部101は、所定の優先ルールにしたがって決定された人物により歌われた曲の曲情報と、当該曲の開始タイミングと、当該曲の終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。このような構成によれば、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる。
The recording
上述した所定の優先ルールは、例えば、車内の座席に対して設定された優先度により、曲情報の取得対象の人物を決定するものである。具体的には、例えば、特定の座席の人物が歌う曲の曲情報の取得を優先するために、当該特定の座席を他の座席よりも優先するというルールが用いられる。つまり、この特定の座席には、他の座席よりも高い優先度が設定されている。なお、特定の座席は、例えば、右側の後部座席であってもよいし、左側の後部座席であってもよいし、運転席であってもよい。なお、これらの席種は例に過ぎず、車両に設けられた任意の位置の座席が特定の座席として用いられてもよい。また、優先度は、いずれか1つの座席を他の座席よりも優先するために、当該1つの座席だけに他の座席よりも高い優先度を設定してもよいし、複数の座席の優先順位を決めるために、各座席に対して優先順位に相当する優先度を設定してもよい。 The predetermined priority rule described above determines, for example, a person to acquire song information according to a priority set for a seat in the vehicle. Specifically, for example, in order to prioritize the acquisition of song information of a song sung by a person in a specific seat, a rule is used in which the specific seat is prioritized over other seats. That is, this particular seat has a higher priority than the other seats. The specific seat may be, for example, a rear seat on the right side, a rear seat on the left side, or a driver's seat. It should be noted that these seat types are merely examples, and seats at arbitrary positions provided in the vehicle may be used as specific seats. Further, as the priority, in order to give priority to any one seat over the other seats, a higher priority may be set only for the one seat than the other seats, or a priority of a plurality of seats may be set. In order to determine, a priority corresponding to the priority may be set for each seat.
所定の優先ルールとして、車内の座席に対して設定された優先度により、曲情報の取得対象の人物を決定するものが用いられる場合、録画データ生成部101は、次のような録画データを生成する。すなわち、この場合、録画データ生成部101は、優先度に基づいて選ばれる座席にいる人物により歌われた曲の曲情報と、当該曲の前記開始タイミングと、当該曲の前記終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。
When a predetermined priority rule that determines a person to be acquired for song information is used according to a priority set for a seat in the vehicle, the recording
なお、優先度に基づいて選ばれる座席にいる人物により歌われた曲の曲情報は、次のようにして取得することができる。例えば、マイク12として指向性マイクを用いることにより、特定の座席の人物の声を抽出することができる。また、例えば、マイクロフォンアレーなどのような複数のマイク12を用いた公知のブラインド信号分離により、特定の座席の人物の声を抽出してもよい。曲情報取得部100は、このようにして抽出された声を使って、曲情報を取得する。すなわち、曲情報取得部100は、優先度に基づいて選ばれる座席からの声のオーディオデータを使って、当該座席にいる人物が歌った曲の曲情報を取得する。
The song information of the song sung by the person in the seat selected based on the priority can be obtained as follows. For example, by using a directional microphone as the
また、上述した所定の優先ルールは、人物の声に対して設定された優先度により、曲情報の取得対象の人物を決定するものであってもよい。具体的には、例えば、特定の人物が歌う曲の曲情報の取得を優先するために、当該特定の人物の声を他の人物の声よりも優先するというルールが用いられる。つまり、この特定の人物の声には、他の人物の声よりも高い優先度が設定されている。また、優先度は、いずれか1人を他の人物よりも優先するために、当該1人の声だけに他の人物の声よりも高い優先度を設定してもよいし、複数の人物の優先順位を決めるために、複数の人物の声に対して優先順位に相当する優先度を設定してもよい。 Further, the predetermined priority rule described above may determine the person to be acquired with the song information according to the priority set for the voice of the person. Specifically, for example, in order to prioritize the acquisition of song information of a song sung by a specific person, a rule is used in which the voice of the specific person is prioritized over the voice of another person. That is, the voice of this particular person has a higher priority than the voice of another person. Further, as the priority, in order to give priority to any one person over the other person, a higher priority may be set only for the voice of the one person than the voice of the other person, or the voice of a plurality of persons may be set. In order to determine the priority, the priority corresponding to the priority may be set for the voices of a plurality of persons.
所定の優先ルールとして、人物の声に対して設定された優先度により、曲情報の取得対象の人物を決定するものが用いられる場合、録画データ生成部101は、次のような録画データを生成する。すなわち、この場合、録画データ生成部101は、優先度に基づいて選ばれる声の人物により歌われた曲の曲情報と、当該曲の開始タイミングと、当該曲の終了タイミングとをカメラ11により撮影された動画の映像データに付加した録画データを生成する。
When a predetermined priority rule that determines the person to be acquired for the song information is used according to the priority set for the voice of the person, the recording
なお、優先度に基づいて選ばれる声の人物により歌われた曲の曲情報は、次のようにして取得することができる。曲情報取得部100は、公知の音源分離技術を用いて、マイク12によって取得されたオーディオデータから、特定の人物の声を抽出する。例えば、曲情報取得部100は、特定の人物の声を含む訓練データを用いて深層学習などの機械学習によって予め学習されたモデルに対し、マイク12によって取得されたオーディオデータを入力することにより音源分離処理を行ない、特定の人物の声を抽出する。曲情報取得部100は、このようにして抽出された声を使って、曲情報を取得する。すなわち、曲情報取得部100は、優先度に基づいて選ばれる声のオーディオデータを使って、当該声をもつ人物が歌った曲の曲情報を取得する。
The song information of the song sung by the person whose voice is selected based on the priority can be obtained as follows. The song
優先度を曲情報の取得対象の決定以外に用いてもよい。例えば、図20に示すように、録画装置10はカメラ制御部103をさらに有してもよい。カメラ制御部103の処理は、例えばプロセッサ15によるプログラムの実行により実現される。カメラ制御部103は、優先ルールにしたがって決定された人物にズームインして撮影を行なうよう、車内を撮影するカメラ11を制御する。このような構成によれば、優先度の高い人物について注目した録画データを生成することができる。具体的には、車内の座席に対して設定された優先度が用いられる場合、カメラ制御部103は、例えば、車内の各座席とカメラ11との相対的な位置関係を予め定義した情報を用いて、カメラ11の撮影範囲及びズーム倍率を制御する。また、人物の声に対して設定された優先度が用いられる場合、カメラ制御部103は、例えば、予め登録された当該人物の顔画像とカメラ11が撮影した画像とを照合する顔認識処理により、当該人物の位置を特定し、カメラ11の撮影範囲及びズーム倍率を制御する。
The priority may be used for purposes other than determining the acquisition target of song information. For example, as shown in FIG. 20, the
なお、撮影時に、優先ルールにしたがって決定された人物にズームインを行なうのではなく、録画データの再生時に当該人物にズームインした映像表示が行なわれてもよい。すなわち、再生装置20の再生制御部200は、曲が歌われた区間の再生の際に、当該人物にズームインした映像表示を行なってもよい。車内の座席に対して設定された優先度が用いられる場合、具体的には、例えば、次のようにして、優先ルールにしたがって決定された人物にズームインした映像表示が実現される。録画データ生成部101は、どの座席の人物の曲情報を付加したかを示す情報を、曲が歌われた区間毎に録画データに対し付加する。再生装置20の再生制御部200は、この情報と、カメラ11の撮影画像内のどの領域に各座席が写されるかを示す予め定義された情報とを用いて、カメラ11の撮影画像のうち当該領域を拡大することにより、当該人物にズームインした映像表示を行なう。また、人物の声に対して設定された優先度が用いられる場合、具体的には、例えば、次のようにして、優先ルールにしたがって決定された人物にズームインした映像表示が実現される。録画データ生成部101は、予め登録された当該人物の顔画像とカメラ11が撮影した画像とを照合する顔認識処理により、当該人物の画像内の位置を特定し、この位置を示す情報を曲が歌われた区間毎に録画データに対し付加する。再生装置20の再生制御部200は、この情報を用いて、カメラ11の撮影画像のうち当該人物が位置する領域を拡大することにより、当該人物にズームインした映像表示を行なう。
It should be noted that, instead of zooming in on the person determined according to the priority rule at the time of shooting, the video display zoomed in on the person may be performed at the time of reproducing the recorded data. That is, the
ところで、曲情報取得部100は、例えば、優先度に基づいて選ばれる一人について曲情報を取得するが、複数人の人物のそれぞれについて曲情報を取得してもよい。すなわち、曲情報取得部100は、マイク12によって取得された音のオーディオデータから、カメラ11の撮影中に同時に歌われた曲のそれぞれの曲情報を取得してもよい。この場合、曲情報取得部100は、マイク12によって取得された音のオーディオデータから、人物毎の声をそれぞれ抽出し、各声のオーディオデータを用いて、それぞれの曲情報を取得する。これにより、曲情報取得部100は、各人物が歌った曲をそれぞれ特定することができるため、優先度に基づいて選ばれる一人が、他の人物と同じ曲について合唱しているか否かを判定することができる。このため、複数人の人物のそれぞれについて曲情報を取得した場合、この判定結果を他の処理の制御に利用することができる。具体的には、例えば、カメラ制御部103が、次のような制御を行なってもよい。カメラ制御部103は、同時に歌われた曲の曲情報が同じである場合には、優先ルールにしたがって決定された人物にズームインせずに車内の全体を撮影するようカメラ11を制御し、同時に歌われた曲の曲情報が異なる場合に、優先ルールにしたがって決定された人物にズームインして撮影を行なうようカメラ11を制御してもよい。このような構成によれば、状況に応じた映像内容の録画データを生成することができる。なお、録画データの再生時にこのような制御が行なわれた映像表示が行なわれてもよい。この場合、録画データ生成部101は、曲が歌われた区間毎に、同時に歌われた曲の曲情報が同じであるか否かを示す情報を録画データに付加し、再生制御部200はこの情報に基づいて、上述した制御を行なう。
By the way, the song
次に、本実施の形態にかかる録画装置10によるタグ情報の設定動作について説明する。図21は、録画装置10によるタグ情報の設定動作の一例を示すフローチャートである。以下、図21に沿って、タグ情報の設定動作の一例を説明するが、図6に示したフローチャートと同様の処理については適宜、説明を省略する。
Next, the tag information setting operation by the
図21に示したフローチャートでは、ステップS100において、ユーザの音声が検出された場合(ステップS100でYes)、処理はステップS800へ移行する。 In the flowchart shown in FIG. 21, when the user's voice is detected in step S100 (Yes in step S100), the process proceeds to step S800.
ステップS800において、曲情報取得部100は、マイク12からのオーディオデータから、曲情報の取得対象の人物のオーディオデータを抽出する。優先度に基づいて選ばれる一人だけについて曲情報を取得する場合、曲情報取得部100は、マイク12からのオーディオデータから当該一人の声のオーディオデータを抽出する。また、複数人の人物のそれぞれについて曲情報を取得する場合、曲情報取得部100は、マイク12からのオーディオデータからこれらの人物の声のオーディオデータをそれぞれ抽出する。ステップS800の後、処理はステップS801へ移行する。
In step S800, the song
ステップS801において、曲情報取得部100は、ステップS800で抽出したオーディオデータのバッファへの蓄積を開始する。
In step S801, the song
次に、ステップS802において、曲情報取得部100は、曲情報の取得対象の人物の音声が検出されなくなったか否かを判定する。曲情報の取得対象の人物の音声が検出されなくなった場合(ステップS802でYes)、処理は図6を参照して説明したS109に移行する。すなわち、ステップS109では、開始タイミングのタグ情報だけが設定されている場合、終了タイミングのタグ情報が設定される。そして、オーディオデータの蓄積が終了される。曲情報の取得対象の人物の音声が検出されている場合(ステップS802でNo)、処理はステップS103へ移行する。
Next, in step S802, the song
ステップS103以降の処理は、図6を参照して説明した各ステップの処理と同じである。ただし、本実施の形態では、上述した通り、録画データに設定される曲情報、開始タイミング、及び終了タイミングのタグ情報は、所定の優先ルールにしたがって決定された一人についての曲情報、開始タイミング、及び終了タイミングである。 The processing after step S103 is the same as the processing of each step described with reference to FIG. However, in the present embodiment, as described above, the song information, the start timing, and the tag information of the end timing set in the recording data are the song information, the start timing, and the song information for one person determined according to a predetermined priority rule. And the end timing.
以上、実施の形態6について説明した。上述の通り、本実施の形態では、優先ルールにしたがって、いずれの人物についての曲情報を録画データに付加するのかが制御される。したがって、車内で複数人の人物が同時に曲を歌った場合であっても、適切に曲情報を録画データに設定することができる。 The sixth embodiment has been described above. As described above, in the present embodiment, it is controlled which person the song information is added to the recorded data according to the priority rule. Therefore, even when a plurality of people sing a song at the same time in the car, the song information can be appropriately set in the recorded data.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。技術的に矛盾が生じない限り、各実施の形態に記載された構成又は機能の一部又は全てを他の実施の形態に記載された構成又は機能と組み合わせてもよい。また、技術的に矛盾が生じない限り、各実施の形態の一部の機能又は構成を除いてもよい。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. As long as there is no technical conflict, some or all of the configurations or functions described in each embodiment may be combined with the configurations or functions described in other embodiments. In addition, some functions or configurations of each embodiment may be excluded as long as there is no technical contradiction.
1 動画システム
10 録画装置
11 カメラ
12 マイク
13 ネットワークインタフェース
14 記憶装置
15 プロセッサ
16 外部ストレージインタフェース
19 リムーバブルメディア
20 再生装置
21 ディスプレイ
22 スピーカ
23 入力装置
24 ネットワークインタフェース
25 記憶装置
26 プロセッサ
27 マイク
100 曲情報取得部
101 録画データ生成部
102 記憶制御部
103 カメラ制御部
200 再生制御部
201 指示受付部
202 曲データ取得部
203 注意喚起部
204 曲情報取得部
1
Claims (7)
前記録画データを前記録画装置から取得して前記録画データを再生する再生装置と
を備え、
前記録画装置は、
車内又は車外の動画を撮影するカメラと、
前記カメラの撮影中の前記車内の音を取得するマイクと、
前記マイクによって取得された音のオーディオデータから、前記カメラの撮影中に歌われた曲の曲情報と、当該曲の動画内における開始タイミングと終了タイミングとを取得する曲情報取得部と、
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成する録画データ生成部と
を有し、
前記曲情報取得部は、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データ生成部は、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記再生装置は、
前記録画データを再生する際、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記曲情報に基づいて曲を出力するよう制御する再生制御部と、
前記開始タイミングから前記終了タイミングまでの区間の曲の出力に関する指示を受け付ける指示受付部と
を有し、
前記指示受付部は、前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記再生制御部は、前記第1の閾値を超える曲が存在しない場合に、選択された前記曲情報に基づいて前記開始タイミングから前記終了タイミングまでの区間の曲の出力を行なうよう制御する
動画システム。 A recording device that generates recording data and
A playback device that acquires the recorded data from the recording device and reproduces the recorded data is provided.
The recording device is
With a camera that shoots videos inside or outside the car,
A microphone that acquires the sound inside the vehicle during shooting by the camera, and
A song information acquisition unit that acquires song information of a song sung during shooting by the camera and start timing and end timing of the song in the moving image from the audio data of the sound acquired by the microphone.
It has a recording data generation unit that generates recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera.
When there is a song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the song information acquisition unit sings the song information of the song during shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
When the recording data generation unit acquires the song information of the song exceeding the second threshold value, the recording data generation unit obtains the song information of the song exceeding the second threshold value of the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
The playback device is
When playing back the recorded data, a playback control unit that controls to output a song based on the song information during playback of a section from the start timing to the end timing.
It has an instruction receiving unit that receives instructions regarding the output of songs in the section from the start timing to the end timing.
The instruction receiving unit receives an instruction to select one of the song information listed in the candidate list when there is no song exceeding the first threshold value.
The playback control unit controls to output a song in a section from the start timing to the end timing based on the selected song information when there is no song exceeding the first threshold value. ..
前記再生制御部は、前記開始タイミングから前記終了タイミングまでの区間の再生中、指定された前記曲を出力するよう制御する
請求項1に記載の動画システム。 The instruction receiving unit receives an instruction to specify a song when there is no song exceeding the second threshold value.
The moving image system according to claim 1, wherein the reproduction control unit controls to output the designated song during reproduction of the section from the start timing to the end timing.
請求項1又は2に記載の動画システム。 The playback device further includes a warning unit that calls attention when the recorded data for which a song to be output is not specified during playback of the section from the start timing to the end timing is present. The video system described in 2.
請求項1乃至3のいずれか1項に記載の動画システム。 When the reproduction of the recorded data for which the song to be output is not specified during the reproduction of the section from the start timing to the end timing is started, the reproduction control unit outputs a predetermined song during the reproduction of the section. The moving image system according to any one of claims 1 to 3.
請求項4に記載の動画システム。 The moving image system according to claim 4, wherein the predetermined song is a song specified by any of the song information listed in the candidate list.
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成し、
前記曲情報の取得では、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データの生成では、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記録画データを再生する際、前記第1の閾値を超える曲が存在する場合に、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記カメラの撮影中に歌われた曲の曲情報として取得された前記曲情報に基づいて曲を出力し、前記第1の閾値を超える曲が存在しない場合に、前記区間の再生中、選択された前記曲情報に基づいて曲を出力する
再生方法。 Acquires the sound inside the vehicle while the camera is shooting the video inside or outside the vehicle. From the audio data of the sound acquired by the microphone, the song information of the song sung during the shooting by the camera and the video of the song. Get the start timing and end timing in
Recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera is generated.
In the acquisition of the song information, if there is a song whose similarity with the song sung during the shooting by the camera exceeds a predetermined first threshold value, the song information of the song is sung during the shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
In the generation of the recorded data, when the song information of the song exceeding the second threshold value is acquired, the song information of the song exceeding the second threshold value is the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
When there is no song that exceeds the first threshold value, an instruction to select one of the song information listed in the candidate list is accepted.
When the recorded data is reproduced, if there is a song exceeding the first threshold value, the song information of the song sung during the reproduction of the section from the start timing to the end timing and during the shooting by the camera is used. A playback method in which a song is output based on the acquired song information, and when there is no song exceeding the first threshold value, a song is output based on the selected song information during playback of the section.
前記曲情報と、前記開始タイミングと、前記終了タイミングとを前記カメラにより撮影された動画の映像データに付加した録画データを生成する録画データ生成ステップと、
前記開始タイミングから前記終了タイミングまでの区間の曲の出力に関する指示を受け付ける指示受付ステップと、
前記録画データを再生する際、前記開始タイミングから前記終了タイミングまでの区間の再生中、曲を出力するよう制御する再生制御ステップと
をコンピュータに実行させ、
前記曲情報取得ステップでは、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在する場合、当該曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報として取得し、前記カメラの撮影中に歌われた曲との類似度が所定の第1の閾値を超える曲が存在しない場合、前記類似度が前記第1の閾値よりも低い所定の第2の閾値を超える曲の曲情報を、前記カメラの撮影中に歌われた曲の曲情報の候補として取得し、
前記録画データ生成ステップでは、前記第2の閾値を超える曲の曲情報が取得された場合、前記第2の閾値を超える曲の曲情報を前記カメラの撮影中に歌われた曲の曲情報の候補リストとして付加した前記録画データを生成し、
前記指示受付ステップでは、前記第1の閾値を超える曲が存在しない場合に、前記候補リストに挙げられた前記曲情報の中からいずれかを選択する指示を受け付け、
前記再生制御ステップでは、前記録画データを再生する際、前記第1の閾値を超える曲が存在する場合に、前記開始タイミングから前記終了タイミングまでの区間の再生中、前記カメラの撮影中に歌われた曲の曲情報として取得された前記曲情報に基づいて曲を出力し、前記第1の閾値を超える曲が存在しない場合に、前記区間の再生中、選択された前記曲情報に基づいて曲を出力するよう制御する
プログラム。 Acquires the sound inside the vehicle while the camera is shooting the video inside or outside the vehicle. From the audio data of the sound acquired by the microphone, the song information of the song sung during the shooting by the camera and the video of the song. The song information acquisition step to acquire the start timing and end timing in
A recording data generation step of generating recording data in which the song information, the start timing, and the end timing are added to the video data of the moving image taken by the camera.
An instruction receiving step for receiving an instruction regarding the output of a song in the section from the start timing to the end timing, and
When the recorded data is reproduced, the computer is made to execute a reproduction control step for controlling the output of the song during the reproduction of the section from the start timing to the end timing.
In the song information acquisition step, if there is a song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the song information of the song is sung during shooting by the camera. When there is no song whose similarity with the song sung during shooting by the camera exceeds a predetermined first threshold value, the similarity is higher than the first threshold value. The song information of the song exceeding a low predetermined second threshold value is acquired as a candidate for the song information of the song sung during the shooting by the camera.
In the recording data generation step, when the song information of the song exceeding the second threshold value is acquired, the song information of the song exceeding the second threshold value is the song information of the song sung during the shooting by the camera. Generate the recorded data added as a candidate list,
In the instruction receiving step, when there is no song exceeding the first threshold value, an instruction to select one of the song information listed in the candidate list is received.
In the reproduction control step, when the recorded data is reproduced, if there is a song exceeding the first threshold value, the song is sung during the reproduction of the section from the start timing to the end timing and during the shooting by the camera. A song is output based on the song information acquired as the song information of the song, and when there is no song exceeding the first threshold value, the song is selected based on the song information selected during the playback of the section. A program that controls the output of.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233076A JP2021101526A (en) | 2019-12-24 | 2019-12-24 | Moving image system, reproduction method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233076A JP2021101526A (en) | 2019-12-24 | 2019-12-24 | Moving image system, reproduction method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021101526A true JP2021101526A (en) | 2021-07-08 |
Family
ID=76650918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019233076A Pending JP2021101526A (en) | 2019-12-24 | 2019-12-24 | Moving image system, reproduction method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021101526A (en) |
-
2019
- 2019-12-24 JP JP2019233076A patent/JP2021101526A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005128785A (en) | Recording medium and electronic album producing device | |
JP2006338553A (en) | Content reproducing device | |
JP7451999B2 (en) | Recording device, video system, recording method, and program | |
JP2021101530A (en) | Recording device, moving image system, recording method and program | |
JP7452000B2 (en) | Recording device, recording method, and program | |
JP2021101526A (en) | Moving image system, reproduction method and program | |
JP2021101527A (en) | Moving image system, reproduction method and program | |
JP2021101529A (en) | Moving image system, reproduction method and program | |
JP6058991B2 (en) | Singing video selection system corresponding to singing voice | |
JP2006109151A (en) | Image recording device and electronic album creation system | |
KR100924444B1 (en) | Information recording medium, recording apparatus, editing apparatus, reproduction apparatus, recording method, editing method, and reproduction method | |
JP6651413B2 (en) | Karaoke system | |
JP6582024B2 (en) | Information support system for shows | |
JP2014235301A (en) | Command input discrimination system using gesture | |
JP4353084B2 (en) | Video reproduction method, apparatus and program | |
JP2023125040A (en) | video creation program | |
JP6544147B2 (en) | Singing animation creation device and singing animation creation system | |
JP4322736B2 (en) | Audio equipment | |
JP6121139B2 (en) | Singing voice selection system for karaoke singing video | |
US11956498B2 (en) | Movie creation method, non-transitory computer readable medium, and movie creation apparatus | |
JP2023125039A (en) | video creation program | |
JP7197688B2 (en) | Playback control device, program and playback control method | |
JP2023125042A (en) | video creation program | |
JP2023125038A (en) | video creation program | |
JP2023125037A (en) | video creation program |