JP2008193561A - Image synchronization system and image synchronizing method - Google Patents
Image synchronization system and image synchronizing method Download PDFInfo
- Publication number
- JP2008193561A JP2008193561A JP2007027759A JP2007027759A JP2008193561A JP 2008193561 A JP2008193561 A JP 2008193561A JP 2007027759 A JP2007027759 A JP 2007027759A JP 2007027759 A JP2007027759 A JP 2007027759A JP 2008193561 A JP2008193561 A JP 2008193561A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- reproduction
- synchronization
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
Description
本発明は、複数の再生装置にて再生される画像を同期させる画像同期システム及び画像同期方法に関する。 The present invention relates to an image synchronization system and an image synchronization method for synchronizing images reproduced by a plurality of reproduction apparatuses.
従来、スポーツなどの一のシーンを視点を変えて設置した複数の撮像装置で撮像記録して、記録された動画像をディスプレイ上に2画面として同期をとりつつ再生する装置が開発されている。具体的には、複数の動画像を複数のチャネルデータファイルとしてハードディスクに蓄積して、これら複数のチャネルデータファイルの音声トラック部分に記録されたデータに基づいて同期開始位置を設定して、この同期開始位置に従って複数の動画像の同期をとって再生する(例えば、特許文献1参照)。
しかしながら、上記特許文献1等の場合、専用の複数チャンネル動画像同期表示装置が必要となるため、汎用性が低く、複数の動画像の同期した再生を簡便に行うことができないといった問題がある。
また、複数の動画像における同期開始位置の設定のために、撮影開始後にホイッスルや電子音発生器等により開始信号を発して記録させる必要があるため、その作業が煩わしいといった問題もある。
However, in the case of
In addition, in order to set the synchronization start position in a plurality of moving images, it is necessary to generate and record a start signal with a whistle, an electronic sound generator, or the like after the start of shooting, which causes a problem that the operation is troublesome.
そこで、本発明の課題は、複数の画像の同期した再生を簡便に行うことができる画像同期システム及び画像同期方法を提供することである。 Therefore, an object of the present invention is to provide an image synchronization system and an image synchronization method that can easily perform synchronized reproduction of a plurality of images.
請求項1に記載の発明は、
一のシーンに係る画像を同期して再生する複数の再生装置を備える画像同期システムであって、
前記複数の再生装置の各々は、
前記一のシーンを複数の撮像手段で撮像した複数の画像のうち、何れか一の画像を記録する画像記録手段と、
前記画像記録手段に記録されている画像を再生する画像再生手段とを備え、
前記複数の再生装置のうち、少なくとも何れか一の再生装置は、
前記複数の撮像手段により撮像された複数の画像と対応付けられて録音された音声情報を複数記録する複数音声記録手段と、
前記複数音声記録手段に記録されている複数の音声情報に基づいて、前記複数の再生装置の前記画像再生手段により複数の画像を同期して再生させるための画像同期情報を取得する画像同期情報取得手段と、
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第1の再生制御手段と、
前記画像同期情報取得手段により取得された前記画像同期情報を、前記複数の再生装置のうち、前記一の再生装置と異なる他の再生装置に送信する同期情報送信手段とを備え、
前記他の再生装置は、
前記同期情報送信手段から送信された前記画像同期情報を受信する同期情報受信手段と、
前記同期情報受信手段により受信された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第2の再生制御手段とを備えることを特徴としている。
The invention described in
An image synchronization system comprising a plurality of playback devices that play back images related to one scene in synchronization,
Each of the plurality of playback devices is
Image recording means for recording any one of a plurality of images obtained by capturing the one scene with a plurality of imaging means;
Image reproducing means for reproducing an image recorded in the image recording means,
Among the plurality of playback devices, at least one playback device is:
A plurality of sound recording means for recording a plurality of sound information recorded in association with a plurality of images picked up by the plurality of image pickup means;
Image synchronization information acquisition for acquiring image synchronization information for synchronizing and reproducing a plurality of images by the image reproduction means of the plurality of reproduction devices based on the plurality of audio information recorded in the plurality of audio recording means Means,
First reproduction control means for controlling the reproduction timing of the image by the image reproduction means based on the image synchronization information acquired by the image synchronization information acquisition means;
Synchronization information transmitting means for transmitting the image synchronization information acquired by the image synchronization information acquiring means to another playback device different from the one playback device among the plurality of playback devices,
The other playback device is:
Synchronization information receiving means for receiving the image synchronization information transmitted from the synchronization information transmitting means;
And a second reproduction control unit that controls the reproduction timing of the image by the image reproduction unit based on the image synchronization information received by the synchronization information reception unit.
請求項2に記載の発明は、請求項1に記載の画像同期システムにおいて、
前記画像同期情報取得手段は、
前記複数の音声情報の所定の探索範囲内にて相互相関関数の最大値をとるずれ情報を複数探索するずれ情報探索手段と、
前記ずれ情報探索手段により探索された前記複数のずれ情報の平均値を算出して前記画像同期情報とする画像同期情報算出手段とを備え、
前記画像同期情報算出手段は、前記相互相関関数の最大値を重み付け係数として前記平均値を算出することを特徴としている。
The invention according to
The image synchronization information acquisition means includes
Deviation information search means for searching for a plurality of deviation information taking a maximum value of a cross-correlation function within a predetermined search range of the plurality of voice information;
Image synchronization information calculating means for calculating an average value of the plurality of deviation information searched by the deviation information searching means and making the image synchronization information,
The image synchronization information calculation means calculates the average value using the maximum value of the cross-correlation function as a weighting coefficient.
請求項3に記載の発明は、請求項1又は2に記載の画像同期システムにおいて、
前記一の再生装置は、
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記複数の撮像手段で撮像した複数の画像群のうち、より遅く撮像が開始された画像群を前記画像再生手段により先頭画像から再生を開始する優先画像群とする優先画像群特定情報を取得する優先情報取得手段と、
前記複数の音声情報に基づいて、前記画像再生手段により同期して再生される前記複数の画像群のうち、前記画像再生手段による前記優先画像群の再生開始後により早期に再生が終了する画像群を早期終了画像群とする早期終了画像群特定情報を取得する終了情報取得手段と、
前記優先情報取得手段により取得された前記優先画像群特定情報及び前記終了情報取得手段により取得された前記早期終了画像群特定情報を前記他の再生装置に送信する特定情報送信手段と、を備え、
前記第1の再生制御手段は、さらに、前記優先情報取得手段により取得された前記優先画像群特定情報及び前記終了情報取得手段により取得された前記早期終了画像群特定情報に基づいて、前記画像再生手段による画像群の再生タイミングを前記複数の撮像手段により重複して撮像された重複画像を同期して再生するように制御し、
前記他の再生装置は、
前記特定情報送信手段から送信された前記優先画像群特定情報及び前記早期終了画像群特定情報を受信する特定情報受信手段を備え、
前記第2の再生制御手段は、さらに、前記特定情報受信手段により受信された前記優先画像群特定情報及び前記早期終了画像群特定情報に基づいて、前記画像再生手段による画像の再生タイミングを前記重複画像を同期して再生するように制御することを特徴としている。
The invention according to
The one playback device is:
Based on the image synchronization information acquired by the image synchronization information acquisition means, an image group whose imaging has been started later is selected by the image reproduction means from among the plurality of image groups captured by the plurality of imaging means. Priority information acquisition means for acquiring priority image group identification information as a priority image group for starting playback from:
An image group whose reproduction ends early after the reproduction of the priority image group by the image reproduction unit among the plurality of image groups reproduced in synchronization by the image reproduction unit based on the plurality of audio information An end information acquisition means for acquiring early end image group identification information,
Specific information transmitting means for transmitting the priority image group specifying information acquired by the priority information acquiring means and the early end image group specifying information acquired by the end information acquiring means to the other playback device,
The first reproduction control unit is further configured to reproduce the image based on the priority image group specifying information acquired by the priority information acquiring unit and the early end image group specifying information acquired by the end information acquiring unit. Controlling the reproduction timing of the image group by the means so as to reproduce the duplicate images captured by the plurality of imaging means in a synchronized manner,
The other playback device is:
Specific information receiving means for receiving the priority image group specifying information and the early ending image group specifying information transmitted from the specific information transmitting means,
The second reproduction control unit further sets the reproduction timing of the image by the image reproduction unit based on the priority image group identification information and the early end image group identification information received by the identification information reception unit. It is characterized by controlling to play back images synchronously.
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像同期システムにおいて、
前記他の再生装置は、
前記画像記録手段に記録される前記一の画像と対応付けられて録音された音声情報を記録する他の音声記録手段と、
前記他の音声記録手段に記録された音声情報を前記一の再生装置に送信する音声送信手段とを備え、
前記一の再生装置は、
前記音声送信手段から送信された音声情報を受信する音声受信手段とを備え、
前記複数音声記録手段は、前記音声受信手段により受信された音声情報を記録することを特徴としている。
The invention according to
The other playback device is:
Other audio recording means for recording audio information recorded in association with the one image recorded in the image recording means;
Voice transmission means for transmitting voice information recorded in the other voice recording means to the one playback device;
The one playback device is:
Voice receiving means for receiving voice information transmitted from the voice transmitting means,
The plural audio recording means records the audio information received by the audio receiving means.
請求項5に記載の発明は、
一のシーンを複数の撮像手段で撮像した複数の画像を記録する複数の再生装置を用いて、前記一のシーンに係る画像を同期して再生する画像同期方法であって、
前記複数の再生装置のうち、少なくとも何れか一の再生装置が、
前記一のシーンを複数の撮像手段で撮像した複数の画像と対応付けられて録音された音声情報を複数記録する複数音声記録手段を備え、
前記複数音声記録手段に記録されている複数の音声情報に基づいて、前記複数の再生装置により複数の画像を同期して再生させるための画像同期情報を取得するステップと、
取得された前記画像同期情報に基づいて、画像の再生タイミングを制御するステップと、
取得された前記画像同期情報を、前記複数の再生装置のうち、前記一の再生装置と異なる他の再生装置に送信するステップとを行い、
前記他の再生装置が、
送信された前記画像同期情報を受信するステップと、
受信された前記画像同期情報に基づいて、画像の再生タイミングを制御するステップとを行うことを特徴としている。
The invention described in
An image synchronization method for synchronously playing back an image related to the one scene using a plurality of playback devices that record a plurality of images obtained by capturing a scene with a plurality of imaging means,
Among the plurality of playback devices, at least one playback device is:
A plurality of sound recording means for recording a plurality of sound information recorded in association with a plurality of images obtained by capturing the one scene with a plurality of image capturing means;
Acquiring image synchronization information for reproducing a plurality of images synchronously by the plurality of reproduction devices based on the plurality of audio information recorded in the plurality of audio recording means;
Controlling the reproduction timing of the image based on the acquired image synchronization information;
Performing the step of transmitting the acquired image synchronization information to another playback device different from the one playback device among the plurality of playback devices;
The other playback device is
Receiving the transmitted image synchronization information;
And a step of controlling the reproduction timing of the image based on the received image synchronization information.
本発明によれば、正確な同期をとって複数の撮像手段により撮像された画像でなくても、複数の画像の同期した再生を簡便に行うことができる。 According to the present invention, a synchronized reproduction of a plurality of images can be easily performed even if the images are not captured by a plurality of imaging means with accurate synchronization.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の画像同期システム100の概略構成を模式的に示す図であり、図2は、画像同期システム100を構成する撮像装置1の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a diagram schematically illustrating a schematic configuration of an
本実施形態の画像同期システム100は、2つの撮像装置(再生装置)1、1により撮像された一のシーンに係る2つの画像を、当該シーンの撮像の際に記録された音声データに基づいて同期して再生させるものである。
具体的には、画像同期システム100は、例えば、図1に示すように、被写体を撮像する2つの撮像装置1、1から構成されている。
The
Specifically, the
各撮像装置1は、略同様の構成となっており、一方を第1のユーザにより操作される第1の撮像装置(一の撮像装置)1Aとし、他方を第2のユーザにより操作される第2の撮像装置(他の撮像装置)1Bとする。また、画像同期処理は、例えば、第1の撮像装置1A主導で行われるものとする。
Each
以下に、撮像装置1の構成について図2を参照して詳細に説明する。
撮像装置1は、撮像部2、集音部3、符号化部4、メモリ5、復号部6、通信部7、音声同期検出部8、画像再生部9、音声再生部10、操作部11、制御部12等を備えて構成されている。
Below, the structure of the
The
撮像部2は、被写体を撮像するものである。具体的には、撮像部2は、例えば、図示は省略するが、撮像レンズと、電子撮像部と、AE・AF制御部と、A/D変換部と、画像処理部等を備えている。
The
撮像レンズは、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズから構成されている。 The imaging lens has, for example, a focus function and a zoom function, and includes a plurality of imaging lenses.
電子撮像部は、撮像レンズを通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等の撮像素子を備えている。 The electronic imaging unit includes an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor) that converts a subject image that has passed through the imaging lens into a two-dimensional image signal.
A/D変換部は、例えば、プリフィルタやADC(Analog Digital Converter)回路等を備え、電子撮像部から出力され入力されたアナログ画像信号をデジタル画像信号に変換するものである。 The A / D conversion unit includes, for example, a prefilter, an ADC (Analog Digital Converter) circuit, and the like, and converts an analog image signal output and input from the electronic imaging unit into a digital image signal.
AE・AF制御部は、A/D変換部から出力され入力されたデジタル画像信号に基づいて、自動露光調節(AE:Auto Exposure)処理及び自動焦点調節(AF)処理を実行する。
自動露光調節処理とは、撮影対象の明るさに応じて撮像素子の露光を自動的に調節する処理である。また、自動焦点調節処理とは、撮影レンズの焦点を撮影対象に対して自動的に合わせる処理である。
The AE / AF control unit performs an automatic exposure adjustment (AE) process and an automatic focus adjustment (AF) process based on the digital image signal output from the A / D conversion unit and input.
The automatic exposure adjustment process is a process for automatically adjusting the exposure of the image sensor in accordance with the brightness of the subject to be photographed. The automatic focus adjustment process is a process for automatically adjusting the focus of the photographing lens with respect to the photographing target.
画像処理部は、AE・AF制御部から出力され入力された画像信号に対して所定の画像処理を施して、制御部12に出力する。
The image processing unit performs predetermined image processing on the input image signal output from the AE / AF control unit and outputs the image signal to the
集音部3は、音声を集音して記録するものであり、マイクと、A/D変換部等を備えている。
The
マイクは、被写体の撮像の際に音声を集音する。
A/D変換部は、例えば、プリフィルタやADC回路等を備え、マイクから出力され入力されたアナログ音声信号をPCM形式のデジタル音声信号に変換するものである。
The microphone collects sound when the subject is imaged.
The A / D conversion unit includes, for example, a prefilter, an ADC circuit, and the like, and converts an analog audio signal output from a microphone and input into a digital audio signal in PCM format.
符号化部4は、例えば、エンコーダを備え、各種データを所定の圧縮方式により圧縮する。即ち、符号化部4は、例えば、撮像部2により撮像された画像のデジタル画像データをMPEG4等のファイル形式に圧縮する。また、符号化部4は、例えば、集音部3により集音された音声のPCM形式のデジタル音声データをMP3等のファイル形式に圧縮する。これにより、データ量を少なくすることができ、通信部7によるデジタル音声データの伝送時間の短縮化を図ることができる点で好ましい。
The
メモリ5は、例えば、不揮発性メモリやハードディスク等により構成され、圧縮デジタル画像データや圧縮デジタル音声データを記録する。
ここで、メモリ5は、画像記録手段として、一のシーンを撮像部2により撮像した画像の符号化画像データを記録している。即ち、第1の撮像装置1Aのメモリ5は、当該第1の撮像装置1Aの撮像部2により一のシーンを撮像した画像の圧縮デジタル画像データを記録し、一方、第2の撮像装置1Bのメモリ5は、当該第2の撮像装置1Bの撮像部2により一のシーンを撮像した画像の圧縮デジタル画像データを記録している。
The
Here, the
メモリ5は、符号化画像データと対応づけて圧縮デジタル音声データを記録する。即ち、第1の撮像装置1Aのメモリ5は、当該第1の撮像装置1Aの撮像部2により撮像された画像と対応付けて集音部3により録音された音声の圧縮デジタル音声データを記録し、一方、第2の撮像装置1Bのメモリ5は、他の音声記録手段として、当該第2の撮像装置1Bの撮像部2により撮像された画像と対応付けて集音部3により録音された音声の圧縮デジタル音声データを記録する。
The
また、第1の撮像装置1Aのメモリ5は、音声同期検出部8による時間ずれ情報(後述)の算出用に、当該第1の撮像装置1Aの集音部3により集音された音声データに加えて、第2の撮像装置1Bの集音部3により集音された音声データを記録する。即ち、第1の撮像装置1Aのメモリ5は、圧縮デジタル音声データを復号部6により復号したPCM形式のデジタル音声データを記録する。さらに、当該メモリ5は、第2の撮像装置1Bの通信部7から送信され第1の撮像装置1Aの通信部7により受信された圧縮デジタル音声データを復号部6により復号したPCM形式のデジタル音声データを記録する。
ここで、第1の撮像装置1Aのメモリ5は、複数の撮像部2、…により撮像された複数の画像と対応付けられて録音された音声データを複数記録する複数音声記録手段を構成している。
In addition, the
Here, the
復号部6は、例えば、デコーダを備え、所定の圧縮方式より圧縮された各種データを復号する。即ち、復号部6は、例えば、MPEG4等のファイル形式のデータをデジタル画像データに復号する。また、復号部6は、例えば、MP3等のファイル形式のデータをPCM形式のデジタル音声データに復号する。
The
通信部7は、例えば、赤外線を用いて他の撮像装置1の通信部7との間で各種データの送受信を行う。具体的には、通信部7は、図示は省略するが、各種データを赤外線により送信する送信部と、他の撮像装置の通信部7から送信される赤外線を受信する受信部を備えている。
即ち、第2の撮像装置1Bの通信部7は、音声送信手段として、当該第2の撮像装置1Bのメモリ5に記録された圧縮デジタル音声データを送信する(図3参照)。
また、第1の撮像装置1Aは、音声受信手段として、第2の撮像装置1Bの通信部7から送信された圧縮デジタル音声データを受信する。
The
That is, the
Further, the
また、第1の撮像装置1Aの通信部7は、同期情報送信手段として、音声同期検出部8により取得された時間ずれ情報を第2の撮像装置1Bに送信する(図4参照)。
一方、第2の撮像装置1Bの通信部7は、同期情報受信手段として、第1の撮像装置1Aの通信部7から送信された時間ずれ情報を受信する。
Further, the
On the other hand, the
音声同期検出部8は、画像同期情報取得手段として、2つの撮像装置1、1による一のシーンの撮像の際に記録されたデジタル音声データに基づいて、当該音声データ間のずれ時間に係る時間ずれ情報を取得する。即ち、音声同期検出部8は、メモリ5から読み出された2つのPCM形式のデジタル音声データに基づいて、第1の撮像装置1Aの画像再生部9及び第2の撮像装置1Bの画像再生部9により画像を同期して再生させるための時間ずれ情報を算出する。
The audio
以下に、図5(a)及び図5(b)を参照して、時間ずれ情報の算出方法について詳細に説明する。
ここで、図5(a)は、第1の撮像装置1Aにより取得された音声データと撮像された画像との対応を模式的に示す図であり、図5(b)は、第2の撮像装置1Bにより取得された音声データと撮像された画像との対応を模式的に示す図である。
なお、図5(a)にて、時刻t1における再生画像を画像A1とし、時刻t2における再生画像を画像A2とし、時刻t3における再生画像を画像A3とする。また、図5(b)にて、時刻t4における再生画像を画像B4とし、時刻t5における再生画像を画像B5とする。
Hereinafter, a method for calculating the time lag information will be described in detail with reference to FIGS. 5 (a) and 5 (b).
Here, FIG. 5A is a diagram schematically showing the correspondence between the audio data acquired by the
In FIG. 5A, the reproduced image at time t1 is image A1, the reproduced image at time t2 is image A2, and the reproduced image at time t3 is image A3. In FIG. 5B, the reproduced image at time t4 is referred to as an image B4, and the reproduced image at time t5 is referred to as an image B5.
音声同期検出部8は、下記式(1)に従って、第1の撮像装置1Aのデジタル音声データと第2の撮像装置1Bのデジタル音声データに基づいて、互いの時系列波形の類似度を示す相互相関関数を算出する。具体的には、第1の撮像装置1Aのデジタル音声データをx(t)とし、第2の撮像装置1Bのデジタル音声データをy(t)として、第1の撮像装置1Aの音声信号x(t)を固定し、第2の撮像装置1Bの音声信号y(t)の所定の探索範囲N内で時間ずれτを−PからPまで増加させながら、相互相関関数Rxy(t)を算出する。
そして、相互相関関数Rxy(t)が最大値をとる時間ずれτを1回目の探索範囲Nにおけるずれ情報τ1とする。
相互相関関数Rxy(t)を探索範囲Nを所定の大きさ(例えば、2/N)ずつ移動させて、相互相関関数Rxy(t)が最大値をとる時間ずれτを求める。これにより、例えば、探索範囲Nを(k−1)回移動させると、時間ずれがt1、τ2…τkとk個算出される。
ここで、音声同期検出部8は、2つのデジタル音声データの所定の探索範囲N内にて相互相関関数Rxy(t)の最大値をとるずれ情報を複数探索するずれ情報探索手段として機能する。
The time shift τ at which the cross-correlation function Rxy (t) has the maximum value is set as shift information τ1 in the first search range N.
The cross-correlation function Rxy (t) is moved within the search range N by a predetermined size (for example, 2 / N) to obtain a time shift τ at which the cross-correlation function Rxy (t) takes a maximum value. Accordingly, for example, when the search range N is moved (k−1) times, k time differences are calculated as t1, τ2,.
Here, the audio
次に、音声同期検出部8は、下記式(2)に従って、k個のずれ情報の平均値Aveτを算出して、第1の撮像装置1Aのデジタル音声データx(t)と第2の撮像装置1Bのデジタル音声データy(t)との間の時間ずれτとする。
具体的には、例えば、図5(a)及び図5(b)に示すように、第1の撮像装置1Aによる撮像開始後、時刻t2付近における音声信号の波形部分w1と、第2の撮像装置1Bによる撮像開始直後の時刻t4付近における音声信号の波形部分w2との類似度が高くなっている。これにより、第1の撮像装置1Aによる撮像開始後、波形部分w1の開始時刻taまでの時間を時間ずれτとすることができる。
Specifically, for example, as shown in FIGS. 5A and 5B, the waveform portion w1 of the audio signal near the time t2 and the second imaging after the start of imaging by the
画像再生部9は、例えば、DAC回路や表示パネル等を備え、デジタル画像信号をアナログ画像信号に変換して、画像を表示パネルに表示するものである。即ち、画像再生部9は、画像再生手段として、制御部12の制御下にて、メモリ5から読み出され復号部6により復号された画像データに基づいて所定の画像を表示(再生)する。
The
音声再生部10は、例えば、DAC回路やスピーカ等を備え、デジタル音声信号をアナログ音声信号に変換して、音声をスピーカから出力するものである。
なお、画像同期処理の際には、第1の撮像装置1Aの音声再生部10のみが音声を出力するようになっている。
The
In the image synchronization process, only the
操作部11は、当該撮像装置1の所定操作を行うためのものであり、例えば、図示は省略するが、シャッターボタン、モード切替ボタン等の各種操作ボタン等を備えている。
The
シャッターボタンは、撮像部2による被写体の撮像を指示する。
モード切替ボタンは、静止画や動画の撮像モードと画像の再生モードとの切替えを指示する。
なお、各種操作ボタンが操作されると、所定の操作信号をCPU121に出力する。
The shutter button instructs imaging of the subject by the
The mode switching button instructs switching between a still image / moving image capturing mode and an image reproduction mode.
When various operation buttons are operated, a predetermined operation signal is output to the
制御部12は、撮像装置1の各部を制御するものであり、例えば、CPU121と、RAM122と、ROM123等を備えている。
The
CPU121は、ROM123に記憶された撮像装置1用の各種処理プログラムに従って各種の制御動作を行うものである。
The
RAM122は、CPU121によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。
The
ROM123は、CPU121の動作に必要な各種プログラムやデータを記憶するものである。具体的には、ROM123は、第1の再生制御プログラム123a、第2の再生制御プログラム123b等を記憶する。
The
第1の再生制御プログラム123aは、CPU121を第1の再生制御手段として機能させるものである。即ち、第1の再生制御プログラム123aは、音声同期検出部8により取得した時間ずれ情報に基づいて、画像再生部9による画像の再生タイミングを制御する第1の再生制御処理に係る機能をCPU121に実現させるためのプログラムである。具体的には、第1の撮像装置1Aにあっては、CPU121による第1の再生制御プログラム123aの実行に基づいて、音声同期検出部8により取得した時間ずれ情報に従って画像再生部9による画像の再生タイミングを制御する第1の再生制御処理を実行する。
この第1の再生制御処理にあっては、例えば、時間ずれτが正である場合、つまり、第1の撮像装置1Aの撮像開始後に所定時間遅れて第2の撮像装置1Bの撮像が開始された場合には、当該第1の撮像装置1Aの画像再生が指示されると、CPU121は、画像再生部9による画像の再生を開始させるとともに、第2の撮像装置1Bの再生開始信号及び所定の時間ずれτに係る時間ずれ情報を通信部7から送信させる。
また、例えば、時間ずれτが負である場合、つまり、第2の撮像装置1Bの撮像開始後に所定時間遅れて第1の撮像装置1Aの撮像が開始された場合には、当該第1の撮像装置1Aの画像再生が指示されると、CPU121は、第2の撮像装置1Bの再生開始信号及び時間ずれτ=0とする時間ずれ情報を通信部7から送信させるとともに、時間ずれτの時間だけ遅れて画像の再生を開始させる。
The first
In the first reproduction control process, for example, when the time lag τ is positive, that is, the imaging of the
Further, for example, when the time shift τ is negative, that is, when imaging of the
第2の再生制御プログラム123bは、CPU121を第2の再生制御手段として機能させるものである。即ち、第2の再生制御プログラム123bは、通信部7を介して受信した時間ずれ情報に基づいて、画像再生部9による画像の再生タイミングを制御する第2の再生制御処理に係る機能をCPU121に実現させるためのプログラムである。具体的には、第2の撮像装置1Bにあっては、CPU121による第2の再生制御プログラム123bの実行に基づいて、第1の撮像装置1Aから送信され通信部7により受信した時間ずれ情報に従って画像再生部9による画像の再生タイミングを制御する第2の再生制御処理を実行する。
この第2の再生制御処理にあっては、例えば、時間ずれτが正である時間ずれ情報を受信した場合には、CPU121は、再生開始信号の受信後、時間ずれτの時間だけ遅れて画像の再生を開始させる(図6参照)。
また、例えば、時間ずれτ=0の時間ずれ情報を受信した場合には、CPU121は、再生開始信号の受信後すぐに画像の再生を開始させる。
The second
In the second reproduction control process, for example, when time lag information having a positive time lag τ is received, the
Further, for example, when the time shift information of time shift τ = 0 is received, the
次に、画像同期処理について図6及び図7を参照して説明する。
ここで、図6は、画像同期処理に係る動作の一例を示すフローチャートであり、図7は、第1の撮像装置1A及び第2の撮像装置1Bにより再生される画像と音声データとの対応を模式的に示す図である。
Next, image synchronization processing will be described with reference to FIGS.
Here, FIG. 6 is a flowchart showing an example of the operation related to the image synchronization processing, and FIG. 7 shows the correspondence between the images reproduced by the
図6に示すように、第1のユーザが第1の撮像装置1Aを用いて、また、第2のユーザが第2の撮像装置1Bを用いて一のシーンの動画を異なる方向から撮像する(ステップS1及びステップS2)。このとき、第1のユーザ及び第2のユーザは、撮像開始時間を正確に合わせる必要はなく、所望の場面が記録されるように個別に撮像が開始される。
As shown in FIG. 6, the first user uses the
第2の撮像装置1Bにあっては、撮像部2による撮像が終了すると(ステップS3)、CPU121は、メモリ5に記録された圧縮デジタル音声データを通信部7により送信させる(ステップS4)。
In the
一方、第1の撮像装置1Aにあっては、撮像部2による撮像が終了すると(ステップS5)、CPU121は、圧縮デジタル音声データを復号部6により復号してPCM形式のデジタル音声データをメモリ5に記録させる(ステップS6)。また、CPU121は、第2の撮像装置1Bから送信された圧縮デジタル音声データを通信部7により受信すると(ステップS7)、当該データを復号部6により復号してPCM形式のデジタル音声データをメモリ5に記録させる(ステップS8)。
On the other hand, in the
次に、第1の撮像装置1AのCPU121は、音声同期検出部8を制御して、メモリ5から読み出された2つのPCM形式のデジタル音声データに基づいて、時間ずれ情報を算出させる(ステップS9)。
Next, the
その後、第1の撮像装置1A及び第2の撮像装置1Bの再生モードが画像同期再生モードに設定された状態で、第1の撮像装置1Aの操作部11の所定操作に基づいて画像同期再生の実行が指示されると(ステップS10)、CPU121は、通信部7を制御して、第2の撮像装置1Bの再生開始信号及び所定の時間ずれτに係る時間ずれ情報を送信させる(ステップS11)。
Thereafter, in a state where the reproduction mode of the
その後、第1の撮像装置1AのCPU121は、ROM123から読み出した所定の判定プログラム(図示略)を実行して、時間ずれτが正であるか否かを判定する(ステップS12)。ここで、時間ずれτが正であると判定されると(ステップS12;YES)、CPU121は、ROM123から第1の再生制御プログラム123aを読み出して実行して、画像再生部9による画像の再生を開始させる(ステップS13)。
一方、第2の撮像装置1Bにあっては、第1の撮像装置1Aから送信された再生開始信号及び時間ずれ情報を通信部7により受信すると(ステップS14)、CPU121は、ROM123から読み出した所定の判定プログラム(図示略)を実行して、時間ずれτが負あるか否かを判定する(ステップS15)。ここで、時間ずれτが負ではないと判定されると(ステップS15;NO)、CPU121は、ROM123から第2の再生制御プログラム123bを読み出して実行して、再生開始信号を受信してから時間ずれτの時間だけ待機した後(ステップS16)、画像再生部9により画像の再生を開始させる(ステップS17)。
これにより、例えば、図7に示すように、第1の撮像装置1Aによる画像の再生後、時刻taまでは第1の撮像装置1Aのみで画像の再生が行われる。そして、時刻ta以降は、時刻t2(t4)で第1の撮像装置1Aの画像再生部9に画像A2が表示されるととともに、第2の撮像装置1Bの画像再生部9に画像B4が表示され、且つ、時刻t3(t5)で第1の撮像装置1Aの画像再生部9に画像A3が表示されるととともに、第2の撮像装置1Bの画像再生部9に画像B5が表示されるように、2つの撮像装置1、1にて画像を同期して再生する。
Thereafter, the
On the other hand, in the
Thereby, for example, as shown in FIG. 7, after the image is reproduced by the
また、第1の撮像装置1Aにあっては、ステップS12にて、時間ずれτが正ではないと判定されると(ステップS12;NO)、CPU121は、ROM123から第1の再生制御プログラム123aを読み出して実行して、時間ずれτの時間だけ待機した後(ステップS18)、ステップS13に移行して、画像再生部9により画像の再生を開始させる。
一方、第2の撮像装置1Bにあっては、ステップS15にて、時間ずれτが負であると判定されると(ステップS15;YES)、CPU121は、ROM123から第2の再生制御プログラム123bを読み出して実行し、ステップS17に移行して、すぐに画像再生部9により画像の再生を開始させる。
In the
On the other hand, in the
以上のように、本実施形態の画像同期システム100によれば、第2の撮像装置1Bは、一のシーンの撮像の際に録音された音声データを第1の撮像装置1Aに送信して、第1の撮像装置1Aは、第1の撮像装置1A及び第2の撮像装置1Bによる一のシーンの撮像の際に録音された2つの音声データに基づいて時間ずれ情報を算出することができ、当該時間ずれ情報に基づいて第1の撮像装置1Aに記録されている画像の再生タイミングを制御することができる。さらに、第2の撮像装置1Bは、第1の撮像装置1Aから送信された時間ずれ情報に基づいて、当該第2の撮像装置1Bに記録されている画像の再生タイミングを制御することができる。従って、正確な同期をとって2つの撮像装置1、1により撮像された画像でなくても、時間ずれ情報に基づいて簡便に2つの画像を同期させて再生することができる。
As described above, according to the
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、画像同期システム100の変形例について図8〜図10を参照して説明する。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
Hereinafter, modified examples of the
<変形例1>
変形例1の画像同期システムを構成する撮像装置201の音声同期検出部208は、図8に示すように、相互相関関数自体の最大値を重み付け係数として複数の時間ずれτの平均値Aveτを算出する。
具体的には、式(1)にて求めたm回目の探索範囲における相互相関関数Rxy(τ)の最大値Rxy(τm)をメモリ5に記憶しておき、当該Rxy(τm)を時間ずれτの信頼度とする。即ち、相互相関関数Rxy(τm)が高いほど該当τmの信頼度が高くなるため、当該相互相関関数Rxy(τm)を重み係数として式(3)により平均値Aveτを算出する。
なお、最大値Rxy(τm)をメモリ5に記憶しない場合、式(1)のτにτmを代入して再度計算するようにしても良い。
As shown in FIG. 8, the audio
Specifically, the maximum value Rxy (τm) of the cross-correlation function Rxy (τ) in the m-th search range obtained by the equation (1) is stored in the
When the maximum value Rxy (τm) is not stored in the
従って、変形例1の画像同期システムによれば、第1の撮像装置のデジタル音声データx(t)及び第2の撮像装置のデジタル音声データy(t)の所定の探索範囲N内にて相互相関関数Rxy(τ)の最大値をとる複数のずれ情報の平均値Aveτを算出して時間ずれ情報とする際に、相互相関関数の最大値Rxy(τm)を重み付け係数として平均値Aveτを算出することにより、より信頼性の高い時間ずれ情報を算出することができる。
即ち、同じスポーツシーンやフォーム等の動作を同時に記録する場合には、スポーツシーンにより発生する打球音、スイング音、被写体の発生音といった時間ずれ情報の算出の目的となる音声に加えて、周囲環境のノイズも集音される。このとき、ほぼ静寂とされる環境中で目的音が発生する場合の静寂部分や、周期性がなくランダムに出ているノイズ部分の音声区間を探索範囲とするずれ情報は、正確な時間遅れを表しているとは言えない。そこで、相互相関関数の最大値Rxy(τm)を重み付け係数とすることにより、より信頼性の高い時間ずれ情報を算出することができる。
Therefore, according to the image synchronization system of the first modification, the digital audio data x (t) of the first imaging device and the digital audio data y (t) of the second imaging device are mutually within a predetermined search range N. When calculating the average value Aveτ of a plurality of deviation information taking the maximum value of the correlation function Rxy (τ) to obtain time deviation information, the average value Aveτ is calculated using the maximum value Rxy (τm) of the cross-correlation function as a weighting coefficient. By doing so, more reliable time shift information can be calculated.
In other words, when recording the same sports scene or motion of the form at the same time, in addition to the sound that is the purpose of calculating the time lag information such as the hitting sound, swing sound, and subject sound generated by the sports scene, the surrounding environment Noise is also collected. At this time, if the target sound is generated in an almost quiet environment, the deviation information with the search range of the speech section of the noise part that is random and has no periodicity has an accurate time delay. It cannot be said that it represents. Therefore, by using the maximum value Rxy (τm) of the cross-correlation function as a weighting coefficient, it is possible to calculate more reliable time shift information.
<変形例2>
変形例2の画像同期システムは、2つの撮像装置301、301のメモリ5に記録されている2つの動画像(画像群)のうち、当該2つの撮像装置301、301により重複して撮像された重複画像のみを再生するものである。
<
In the image synchronization system of the second modification, among the two moving images (image groups) recorded in the
即ち、当該画像同期システムを構成する撮像装置301の制御部312のROM123には、例えば、図9に示すように、第1の再生制御プログラム123a、第2の再生制御プログラム123bに加えて、優先情報取得プログラム123c、終了情報取得プログラム123dが記録されている。
That is, in the
優先情報取得プログラム123cは、CPU121を優先情報取得手段として機能させるものである。即ち、優先情報取得プログラム123cは、音声同期検出部8により取得された時間ずれ情報に基づいて、2つの撮像装置301にて撮像した2つの動画像のうち、より遅く撮像が開始された動画像を画像再生部9により先頭画像から再生を開始する優先動画像(優先画像群)とする優先動画像特定情報(優先画像群特定情報)を取得する優先情報取得処理に係る機能をCPU121に実現させるためのプログラムである。
具体的には、第1の撮像装置のCPU121による優先情報取得プログラム123cの実行に基づいて、時間ずれτが正である場合、つまり、第1の撮像装置の撮像開始後に所定時間遅れて第2の撮像装置の撮像が開始された場合には、第2の撮像装置により撮像された動画像を優先動画像とする優先動画像特定情報を取得し、一方、時間ずれτが負である場合、つまり、第2の撮像装置の撮像開始後に所定時間遅れて第1の撮像装置の撮像が開始された場合には、第1の撮像装置により撮像された動画像を優先動画像とする優先動画像特定情報を取得する処理を行う。
The priority
Specifically, based on the execution of the priority
終了情報取得プログラム123dは、CPU121を終了情報取得手段として機能させるものである。即ち、終了情報取得プログラム123dは、2つの音声データに基づいて、画像再生部により同期して再生される2つの動画像のうち、優先動画像の再生開始後により早期に再生が終了する動画像を早期終了動画像(早期終了画像群)とする早期終了動画像特定情報(早期終了画像群特定情報)を取得する終了情報取得処理に係る機能をCPU121に実現させるためのプログラムである。
具体的には、CPU121による終了情報取得プログラム123dの実行に基づいて、音声同期検出部8により検出された2つの音声信号における類似度の高い波形部分w1(w2)を基準にして、各音声信号について当該波形部分w1(w2)から音声が終了するまでの長さを取得して、互いに比較することによって2つの動画像のうちでより早期に再生が終了する動画像を早期終了動画像とする早期終了動画像特定情報を取得する処理を行う。
The end
Specifically, based on the execution of the end
また、第1の撮像装置の通信部307は、特定情報送信手段として、優先情報取得処理にて取得された優先動画像特定情報及び終了情報取得処理にて取得された早期終了動画像特定情報を第2の撮像装置に送信する。
一方、第2の撮像装置の通信部307は、特定情報受信手段として、第1の撮像装置の通信部307から送信された優先動画像特定情報及び早期終了動画像特定情報を受信する。
In addition, the
On the other hand, the
次に、変形例2の画像同期システムによる画像同期処理について説明する。
画像同期処理にて、第1の撮像装置は、優先動画像特定情報及び早期終了動画像特定情報に基づいて、画像再生部9による動画像の再生タイミングを重複画像を同期して再生するように制御する第1の再生制御処理を行う。また、第2の撮像装置は、第1の撮像装置から送信され通信部を介して受信した優先動画像特定情報及び早期終了動画像特定情報に基づいて、画像再生部9による動画像の再生タイミングを重複画像を同期して再生するように制御する第2の再生制御処理を行う。
具体的には、第1の撮像装置及び第2の撮像装置は、撮像された動画像が優先動画像の場合には、優先動画像特定情報に基づいて当該優先動画像の先頭画像から再生を行う一方で、優先動画像でない場合には、非優先動画像における優先動画像の先頭画像と同時刻に撮像された画像から再生を行う。また、第1の撮像装置及び第2の撮像装置のうち、一方の撮像装置は、当該撮像装置により撮像された動画像が早期終了動画像でない場合には、早期終了動画像特定情報に基づいて他方の撮像装置にて再生される早期終了動画像の終了タイミングに合わせて非早期終了動画像の再生を停止させる。
Next, an image synchronization process performed by the image synchronization system according to the second modification will be described.
In the image synchronization process, the first imaging device reproduces the overlapping timing of the moving image reproduction timing by the
Specifically, when the captured moving image is a priority moving image, the first imaging device and the second imaging device perform reproduction from the top image of the priority moving image based on the priority moving image specifying information. On the other hand, if it is not a priority moving image, reproduction is performed from an image captured at the same time as the head image of the priority moving image in the non-priority moving image. In addition, one of the first imaging device and the second imaging device is based on the early end moving image specifying information when the moving image captured by the imaging device is not the early end moving image. The reproduction of the non-early end moving image is stopped in accordance with the end timing of the early end moving image reproduced by the other imaging device.
以下に、図10(a)〜図10(d)を参照して画像同期処理における同期再生態様について説明する。
ここで、図10(a)は、第2の撮像装置にて撮像された画像を優先動画像及び早期終了動画像とする例であり、図10(b)は、第2の撮像装置にて撮像された画像を優先動画像とするとともに第1の撮像装置で撮像された画像を早期終了動画像とする例であり、図10(c)は、第1の撮像装置にて撮像された画像を優先動画像早期終了動画像とする例であり、図10(d)は、第1の撮像装置にて撮像された画像を優先動画像とするとともに第2の撮像装置で撮像された画像を早期終了動画像とする例である。
なお、図10(a)〜図10(d)中、「α」は優先動画像の先頭画像を表し、「β」は非優先動画像における優先動画像の先頭画像αと同時刻に撮像された画像を表している。また、動画像中の実線で示した部分が重複画像を表している。
Hereinafter, a synchronized reproduction mode in the image synchronization process will be described with reference to FIGS. 10 (a) to 10 (d).
Here, FIG. 10A is an example in which an image captured by the second imaging device is used as a priority moving image and an early end moving image, and FIG. 10B is an example of the second imaging device. FIG. 10C illustrates an example in which the captured image is set as the priority moving image and the image captured by the first imaging device is the early end moving image. FIG. 10C illustrates an image captured by the first imaging device. 10D is an example in which the priority moving image is an early end moving image. FIG. 10D illustrates the image captured by the first imaging device as the priority moving image and the image captured by the second imaging device. This is an example of an early end moving image.
In FIGS. 10A to 10D, “α” represents the head image of the priority moving image, and “β” is captured at the same time as the head image α of the priority moving image in the non-priority moving image. Represents the image. In addition, a portion indicated by a solid line in the moving image represents an overlapping image.
図10(a)に示す同期再生態様の場合、第1の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させ、これと同期して、第2の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像から再生させる処理を行う。
また、第2の撮像装置のCPU121は、早期終了動画像特定情報に基づいて画像再生部9を制御して、動画像(早期終了動画像)の再生を停止させ、これと同期して、第1の撮像装置のCPU121は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。
In the synchronous playback mode shown in FIG. 10A, the
Further, the
図10(b)に示す同期再生態様の場合、第1の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させ、これと同期して、第2の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像から再生させる処理を行う。
また、第1の撮像装置のCPU121は、早期終了動画像特定情報に基づいて画像再生部9を制御して、動画像(早期終了動画像)の再生を停止させ、これと同期して、第2の撮像装置のCPU121は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。
In the case of the synchronous playback mode shown in FIG. 10B, the
Further, the
図10(c)に示す同期再生態様の場合、第1の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像から再生させ、これと同期して、第2の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させる処理を行う。
また、第1の撮像装置のCPU121は、早期終了動画像特定情報に基づいて画像再生部9を制御して、動画像(早期終了動画像)の再生を停止させ、これと同期して、第2の撮像装置のCPU121は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。
In the case of the synchronous playback mode shown in FIG. 10C, the
Further, the
図10(d)に示す同期再生態様の場合、第1の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像から再生させ、これと同期して、第2の撮像装置のCPU121は、優先動画像特定情報に基づいて画像再生部9を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させる処理を行う。
また、第2の撮像装置のCPU121は、早期終了動画像特定情報に基づいて画像再生部9を制御して、動画像(早期終了動画像)の再生を停止させ、これと同期して、第1の撮像装置のCPU121は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。
In the case of the synchronous playback mode shown in FIG. 10D, the
Further, the
従って、変形例2の画像同期システムによれば、2つの撮像装置301、301により撮像された動画像のうち、より遅く撮像が開始された優先動画像の先頭画像の再生タイミングに合わせて非優先動画像の再生を開始することができ、優先画像群の再生開始後により早期に再生が終了する早期終了動画像の停止タイミングに合わせて非早期終了動画像の再生を停止させることができる。これにより、2つの撮像装置301、301により重複して撮像された重複画像のみを適正に再生することができ、より利便性の高い画像同期システムを提供することができる。
Therefore, according to the image synchronization system of the second modification, out of the moving images captured by the two
なお、上記実施形態では、通信部7の通信方式として赤外線通信を例示したが、これに限られるものではなく、例えば、Bluetooth(登録商標)規格やIEEE802.11規格等に準じた無線LANや、有線LAN、USBケーブル等を利用した有線方式等であっても良い。
In the above embodiment, infrared communication is exemplified as the communication method of the
また、上記実施形態では、第1の撮像装置1Aにより記録された画像データや音声データに基づいて画像同期処理を行うようにしたが、これに限られるものではなく、例えば、他の撮像装置1により記録された画像データや音声データを通信部7を介して取得して、これらのデータに基づいて画像同期処理を行うようにしても良い。このとき、第1の撮像装置1Aの画像再生部9の表示パネルをマルチ画面として複数の画像を同時に表示するようにしても良い。
In the above embodiment, the image synchronization processing is performed based on the image data and audio data recorded by the
さらに、上記実施形態では、画像同期システム100として2つの撮像装置1、1からなる構成のものを例示したが、撮像装置1の数は、2つに限られるものではなく複数であれば良い。
この場合、各撮像装置1にID番号を設定して、当該ID番号を時間ずれ情報や再生開始信号に付して送信することにより、各撮像装置1に所定の時間ずれ情報等を的確に送信することができ、画像同期処理を簡易な構成で確実に実行することができる。
Furthermore, in the above-described embodiment, the
In this case, by setting an ID number for each
また、第2の撮像装置1Bを第1の撮像装置1Aの操作に連動して動作させるような構成としても良く、例えば、第1の撮像装置1Aにおける再生、早送り、巻き戻し、スロー再生といった操作に基づいて第2の撮像装置1Bの動作を連動させるようにしても良い。
The
加えて、上記実施形態では、第1の再生制御手段、第2の再生制御手段としての機能を、CPU121によって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
In addition, in the above-described embodiment, the functions as the first reproduction control unit and the second reproduction control unit are realized by the
100 画像同期システム
1、201、301 撮像装置(再生装置)
2 撮像部(撮像手段)
311 操作部(操作入力手段)
5 メモリ(画像記録手段、複数音声記録手段、他の音声記録手段)
7 通信部(同期情報送信手段、同期情報受信手段、音声送信手段、音声受信手段)
8、208 音声同期検出部(画像同期情報取得手段、ずれ情報探索手段、画像同期情報算出手段)
9、309 画像再生部(画像再生手段、撮像順報知手段)
121 CPU(第1の再生制御手段、第2の再生制御手段)
100
2 Imaging unit (imaging means)
311 Operation unit (operation input means)
5 Memory (image recording means, multiple audio recording means, other audio recording means)
7 Communication unit (synchronization information transmission means, synchronization information reception means, voice transmission means, voice reception means)
8, 208 Audio synchronization detection unit (image synchronization information acquisition means, deviation information search means, image synchronization information calculation means)
9,309 Image reproduction unit (image reproduction means, imaging order notification means)
121 CPU (first reproduction control means, second reproduction control means)
Claims (5)
前記複数の再生装置の各々は、
前記一のシーンを複数の撮像手段で撮像した複数の画像のうち、何れか一の画像を記録する画像記録手段と、
前記画像記録手段に記録されている画像を再生する画像再生手段とを備え、
前記複数の再生装置のうち、少なくとも何れか一の再生装置は、
前記複数の撮像手段により撮像された複数の画像と対応付けられて録音された音声情報を複数記録する複数音声記録手段と、
前記複数音声記録手段に記録されている複数の音声情報に基づいて、前記複数の再生装置の前記画像再生手段により複数の画像を同期して再生させるための画像同期情報を取得する画像同期情報取得手段と、
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第1の再生制御手段と、
前記画像同期情報取得手段により取得された前記画像同期情報を、前記複数の再生装置のうち、前記一の再生装置と異なる他の再生装置に送信する同期情報送信手段とを備え、
前記他の再生装置は、
前記同期情報送信手段から送信された前記画像同期情報を受信する同期情報受信手段と、
前記同期情報受信手段により受信された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第2の再生制御手段とを備えることを特徴とする画像同期システム。 An image synchronization system comprising a plurality of playback devices that play back images related to one scene in synchronization,
Each of the plurality of playback devices is
Image recording means for recording any one of a plurality of images obtained by capturing the one scene with a plurality of imaging means;
Image reproducing means for reproducing an image recorded in the image recording means,
Among the plurality of playback devices, at least one playback device is:
A plurality of sound recording means for recording a plurality of sound information recorded in association with a plurality of images picked up by the plurality of image pickup means;
Image synchronization information acquisition for acquiring image synchronization information for synchronizing and reproducing a plurality of images by the image reproduction means of the plurality of reproduction devices based on the plurality of audio information recorded in the plurality of audio recording means Means,
First reproduction control means for controlling the reproduction timing of the image by the image reproduction means based on the image synchronization information acquired by the image synchronization information acquisition means;
Synchronization information transmitting means for transmitting the image synchronization information acquired by the image synchronization information acquiring means to another playback device different from the one playback device among the plurality of playback devices,
The other playback device is:
Synchronization information receiving means for receiving the image synchronization information transmitted from the synchronization information transmitting means;
An image synchronization system comprising: second reproduction control means for controlling reproduction timing of an image by the image reproduction means based on the image synchronization information received by the synchronization information receiving means.
前記複数の音声情報の所定の探索範囲内にて相互相関関数の最大値をとるずれ情報を複数探索するずれ情報探索手段と、
前記ずれ情報探索手段により探索された前記複数のずれ情報の平均値を算出して前記画像同期情報とする画像同期情報算出手段とを備え、
前記画像同期情報算出手段は、前記相互相関関数の最大値を重み付け係数として前記平均値を算出することを特徴とする請求項1に記載の画像同期システム。 The image synchronization information acquisition means includes
Deviation information search means for searching for a plurality of deviation information taking a maximum value of a cross-correlation function within a predetermined search range of the plurality of voice information;
Image synchronization information calculating means for calculating an average value of the plurality of deviation information searched by the deviation information searching means and making the image synchronization information,
The image synchronization system according to claim 1, wherein the image synchronization information calculation unit calculates the average value using a maximum value of the cross-correlation function as a weighting coefficient.
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記複数の撮像手段で撮像した複数の画像群のうち、より遅く撮像が開始された画像群を前記画像再生手段により先頭画像から再生を開始する優先画像群とする優先画像群特定情報を取得する優先情報取得手段と、
前記複数の音声情報に基づいて、前記画像再生手段により同期して再生される前記複数の画像群のうち、前記画像再生手段による前記優先画像群の再生開始後により早期に再生が終了する画像群を早期終了画像群とする早期終了画像群特定情報を取得する終了情報取得手段と、
前記優先情報取得手段により取得された前記優先画像群特定情報及び前記終了情報取得手段により取得された前記早期終了画像群特定情報を前記他の再生装置に送信する特定情報送信手段と、を備え、
前記第1の再生制御手段は、さらに、前記優先情報取得手段により取得された前記優先画像群特定情報及び前記終了情報取得手段により取得された前記早期終了画像群特定情報に基づいて、前記画像再生手段による画像群の再生タイミングを前記複数の撮像手段により重複して撮像された重複画像を同期して再生するように制御し、
前記他の再生装置は、
前記特定情報送信手段から送信された前記優先画像群特定情報及び前記早期終了画像群特定情報を受信する特定情報受信手段を備え、
前記第2の再生制御手段は、さらに、前記特定情報受信手段により受信された前記優先画像群特定情報及び前記早期終了画像群特定情報に基づいて、前記画像再生手段による画像の再生タイミングを前記重複画像を同期して再生するように制御することを特徴とする請求項1又は2に記載の画像同期システム。 The one playback device is:
Based on the image synchronization information acquired by the image synchronization information acquisition means, an image group whose imaging has been started later is selected by the image reproduction means from among the plurality of image groups captured by the plurality of imaging means. Priority information acquisition means for acquiring priority image group identification information as a priority image group for starting playback from:
An image group whose reproduction ends early after the reproduction of the priority image group by the image reproduction unit among the plurality of image groups reproduced in synchronization by the image reproduction unit based on the plurality of audio information An end information acquisition means for acquiring early end image group identification information,
Specific information transmitting means for transmitting the priority image group specifying information acquired by the priority information acquiring means and the early end image group specifying information acquired by the end information acquiring means to the other playback device,
The first reproduction control unit is further configured to reproduce the image based on the priority image group specifying information acquired by the priority information acquiring unit and the early end image group specifying information acquired by the end information acquiring unit. Controlling the reproduction timing of the image group by the means so as to reproduce the duplicate images captured by the plurality of imaging means in a synchronized manner,
The other playback device is:
Specific information receiving means for receiving the priority image group specifying information and the early ending image group specifying information transmitted from the specific information transmitting means,
The second reproduction control unit further sets the reproduction timing of the image by the image reproduction unit based on the priority image group identification information and the early end image group identification information received by the identification information reception unit. The image synchronization system according to claim 1, wherein the image synchronization system is controlled so as to reproduce the image in synchronization.
前記画像記録手段に記録される前記一の画像と対応付けられて録音された音声情報を記録する他の音声記録手段と、
前記他の音声記録手段に記録された音声情報を前記一の再生装置に送信する音声送信手段とを備え、
前記一の再生装置は、
前記音声送信手段から送信された音声情報を受信する音声受信手段とを備え、
前記複数音声記録手段は、前記音声受信手段により受信された音声情報を記録することを特徴とする請求項1〜3の何れか一項に記載の画像同期システム。 The other playback device is:
Other audio recording means for recording audio information recorded in association with the one image recorded in the image recording means;
Voice transmission means for transmitting voice information recorded in the other voice recording means to the one playback device;
The one playback device is:
Voice receiving means for receiving voice information transmitted from the voice transmitting means,
The image synchronization system according to any one of claims 1 to 3, wherein the plurality of sound recording means records sound information received by the sound receiving means.
前記複数の再生装置のうち、少なくとも何れか一の再生装置が、
前記一のシーンを複数の撮像手段で撮像した複数の画像と対応付けられて録音された音声情報を複数記録する複数音声記録手段を備え、
前記複数音声記録手段に記録されている複数の音声情報に基づいて、前記複数の再生装置により複数の画像を同期して再生させるための画像同期情報を取得するステップと、
取得された前記画像同期情報に基づいて、画像の再生タイミングを制御するステップと、
取得された前記画像同期情報を、前記複数の再生装置のうち、前記一の再生装置と異なる他の再生装置に送信するステップとを行い、
前記他の再生装置が、
送信された前記画像同期情報を受信するステップと、
受信された前記画像同期情報に基づいて、画像の再生タイミングを制御するステップとを行うことを特徴とする画像同期方法。 An image synchronization method for synchronously playing back an image related to the one scene using a plurality of playback devices that record a plurality of images obtained by capturing a scene with a plurality of imaging means,
Among the plurality of playback devices, at least one playback device is:
A plurality of sound recording means for recording a plurality of sound information recorded in association with a plurality of images obtained by capturing the one scene with a plurality of image capturing means;
Acquiring image synchronization information for reproducing a plurality of images synchronously by the plurality of reproduction devices based on the plurality of audio information recorded in the plurality of audio recording means;
Controlling the reproduction timing of the image based on the acquired image synchronization information;
Performing the step of transmitting the acquired image synchronization information to another playback device different from the one playback device among the plurality of playback devices;
The other playback device is
Receiving the transmitted image synchronization information;
And a step of controlling the reproduction timing of the image based on the received image synchronization information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007027759A JP4748075B2 (en) | 2007-02-07 | 2007-02-07 | Image synchronization system and image synchronization method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007027759A JP4748075B2 (en) | 2007-02-07 | 2007-02-07 | Image synchronization system and image synchronization method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011061476A Division JP5413616B2 (en) | 2011-03-18 | 2011-03-18 | REPRODUCTION CONTROL DEVICE, IMAGE SYNCHRONIZATION SYSTEM, REPRODUCTION CONTROL METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008193561A true JP2008193561A (en) | 2008-08-21 |
JP4748075B2 JP4748075B2 (en) | 2011-08-17 |
Family
ID=39753194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007027759A Expired - Fee Related JP4748075B2 (en) | 2007-02-07 | 2007-02-07 | Image synchronization system and image synchronization method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4748075B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010130086A (en) * | 2008-11-25 | 2010-06-10 | Casio Computer Co Ltd | Image processor and program |
JP2011103616A (en) * | 2009-11-12 | 2011-05-26 | Funai Electric Co Ltd | Mobile terminal device and method of communication between mobile terminal devices |
JP2012015809A (en) * | 2010-06-30 | 2012-01-19 | Kddi Corp | Music selection apparatus, music selection method, and music selection program |
JP2013175964A (en) * | 2012-02-27 | 2013-09-05 | Sony Corp | Signal processor, signal processing method, program, electronic apparatus, and signal processing system, and signal processing method for signal processing system |
JP2013225930A (en) * | 2013-07-09 | 2013-10-31 | Casio Comput Co Ltd | Image processor and program |
US8615154B2 (en) | 2010-12-08 | 2013-12-24 | JVC Kenwood Corporation | Video-audio processing apparatus and video-audio processing method |
US10250927B2 (en) | 2014-01-31 | 2019-04-02 | Interdigital Ce Patent Holdings | Method and apparatus for synchronizing playbacks at two electronic devices |
US10504559B2 (en) | 2016-03-09 | 2019-12-10 | Yamaha Corporation | Recorded data processing method and recorded data processing device |
US10629240B2 (en) | 2016-03-09 | 2020-04-21 | Yamaha Corporation | Recorded data processing method and recorded data processing device |
WO2021229828A1 (en) | 2020-05-11 | 2021-11-18 | ヤマハ株式会社 | Signal processing method, signal processing device, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0876967A (en) * | 1994-08-31 | 1996-03-22 | Matsushita Electric Ind Co Ltd | Device for controlling synchronization multimedia |
JPH1092112A (en) * | 1996-09-13 | 1998-04-10 | Nippon Columbia Co Ltd | Digital data series synchronous reproduction and synchronous reproducing apparatus |
JP2001351366A (en) * | 2000-06-07 | 2001-12-21 | Roland Corp | Digital audio device |
-
2007
- 2007-02-07 JP JP2007027759A patent/JP4748075B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0876967A (en) * | 1994-08-31 | 1996-03-22 | Matsushita Electric Ind Co Ltd | Device for controlling synchronization multimedia |
JPH1092112A (en) * | 1996-09-13 | 1998-04-10 | Nippon Columbia Co Ltd | Digital data series synchronous reproduction and synchronous reproducing apparatus |
JP2001351366A (en) * | 2000-06-07 | 2001-12-21 | Roland Corp | Digital audio device |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010130086A (en) * | 2008-11-25 | 2010-06-10 | Casio Computer Co Ltd | Image processor and program |
JP2011103616A (en) * | 2009-11-12 | 2011-05-26 | Funai Electric Co Ltd | Mobile terminal device and method of communication between mobile terminal devices |
JP2012015809A (en) * | 2010-06-30 | 2012-01-19 | Kddi Corp | Music selection apparatus, music selection method, and music selection program |
US8615154B2 (en) | 2010-12-08 | 2013-12-24 | JVC Kenwood Corporation | Video-audio processing apparatus and video-audio processing method |
JP2013175964A (en) * | 2012-02-27 | 2013-09-05 | Sony Corp | Signal processor, signal processing method, program, electronic apparatus, and signal processing system, and signal processing method for signal processing system |
JP2013225930A (en) * | 2013-07-09 | 2013-10-31 | Casio Comput Co Ltd | Image processor and program |
US10250927B2 (en) | 2014-01-31 | 2019-04-02 | Interdigital Ce Patent Holdings | Method and apparatus for synchronizing playbacks at two electronic devices |
US10504559B2 (en) | 2016-03-09 | 2019-12-10 | Yamaha Corporation | Recorded data processing method and recorded data processing device |
US10629240B2 (en) | 2016-03-09 | 2020-04-21 | Yamaha Corporation | Recorded data processing method and recorded data processing device |
WO2021229828A1 (en) | 2020-05-11 | 2021-11-18 | ヤマハ株式会社 | Signal processing method, signal processing device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4748075B2 (en) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4748075B2 (en) | Image synchronization system and image synchronization method | |
JP4985834B2 (en) | Imaging apparatus and image processing apparatus | |
TW200414770A (en) | Image pickup device and image pickup method | |
JP2007159088A (en) | Imaging apparatus and method of controlling same | |
JP2011250340A (en) | Imaging apparatus and control method of same | |
JP2008271082A (en) | Apparatus for recording images with sound data, and program | |
KR101760345B1 (en) | Moving image photographing method and moving image photographing apparatus | |
JP2006262135A (en) | Photographing device, moving picture reproducing device, and moving picture recording/reproduction program | |
JP2010074323A (en) | Recording apparatus and method, and recording and playback apparatus and method | |
JP2008048374A (en) | Video camera apparatus | |
JP5413616B2 (en) | REPRODUCTION CONTROL DEVICE, IMAGE SYNCHRONIZATION SYSTEM, REPRODUCTION CONTROL METHOD, AND PROGRAM | |
JP2008182374A (en) | Imaging apparatus, imaging method, image reproducing method, and programs for them | |
JP2011030089A (en) | Image processing apparatus and program | |
JP5045785B2 (en) | Imaging device | |
JP6229356B2 (en) | Imaging apparatus, imaging method, and program | |
JP2013055590A (en) | Imaging device and imaging method | |
JP6136662B2 (en) | Camera system, camera, shooting control program, and shooting method | |
JP2013183280A (en) | Information processing device, imaging device, and program | |
JP2013055440A (en) | Imaging device and image sound reproduction device | |
JP4189556B2 (en) | Moving image processing apparatus and program thereof | |
JP2010171626A (en) | Motion picture generation device, and motion picture generation method | |
CN109257544B (en) | Image recording apparatus, image recording method, and recording medium | |
JP2020107971A (en) | Imaging apparatus, recording device, information processing device, imaging method, recording method, moving image editing method, and program | |
JP5500188B2 (en) | Imaging device | |
JP5401930B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4748075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |