JP2019208117A - Video and audio reproduction device - Google Patents
Video and audio reproduction device Download PDFInfo
- Publication number
- JP2019208117A JP2019208117A JP2018102076A JP2018102076A JP2019208117A JP 2019208117 A JP2019208117 A JP 2019208117A JP 2018102076 A JP2018102076 A JP 2018102076A JP 2018102076 A JP2018102076 A JP 2018102076A JP 2019208117 A JP2019208117 A JP 2019208117A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- unit
- delay
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、映像と音声を同期させる処理を行う映像音声再生装置に関する。 The present invention relates to a video / audio reproduction apparatus that performs processing for synchronizing video and audio.
映像および音声を再生（出力）する再生装置は、映像および音声の再生において、視聴者が違和感を持たないように、同期制御を行う。当該再生装置は、例えば、テレビである。当該テレビは、例えば、デジタル放送規格に準拠したテレビである。 A playback device that plays back (outputs) video and audio performs synchronization control so that the viewer does not feel uncomfortable in the playback of video and audio. The playback device is, for example, a television. The television is, for example, a television compliant with a digital broadcasting standard.
一方で、昨今、映像および音声を再生する機能を有する再生装置が、映像または音声を外部機器へ出力し、当該外部機器が映像または音声を再生する形態が増えている。例えば、映像はテレビが再生し、音声は、テレビに接続された、外部機器としての外部スピーカが出力（再生）するという形態である。 On the other hand, in recent years, a reproduction apparatus having a function of reproducing video and audio outputs video or audio to an external device, and the external device reproduces video or audio. For example, the video is reproduced by a television, and the audio is output (reproduced) by an external speaker connected to the television as an external device.
しかしながら、このような形態では、外部機器における、音声の再生のために必要な処理時間が不明なため、映像および音声が同期せず、視聴者が違和感を感じる場合があった。 However, in such a form, since the processing time required for audio reproduction in the external device is unknown, the video and audio are not synchronized, and the viewer may feel uncomfortable.
特許文献１には、上記課題を解決するための構成（以下、「関連構成Ａ」ともいう）が開示されている。関連構成Ａでは、映像と音声を同期させるための遅延量を設定するための同期専用のモード（調整モード）が使用される。また、動作モードが調整モードである状態において、テレビが出力する映像と、当該テレビと通信する外部機器（ヘッドホン）が出力する音声を同期させるための遅延量の設定が行われる。そして、動作モードが調整モードから視聴モードに切り換えられることにより、遅延量を使用して、映像と音声とが同期される。 Patent Document 1 discloses a configuration for solving the above problem (hereinafter also referred to as “related configuration A”). In the related configuration A, a synchronization-dedicated mode (adjustment mode) for setting a delay amount for synchronizing video and audio is used. In addition, in a state where the operation mode is the adjustment mode, a delay amount for synchronizing the video output from the television and the audio output from the external device (headphone) communicating with the television is set. Then, when the operation mode is switched from the adjustment mode to the viewing mode, the video and audio are synchronized using the delay amount.
以下においては、テレビ等の映像音声再生装置が出力する映像を、「内部映像」ともいう。また、以下においては、映像音声再生装置と通信する外部機器が出力する音声を、「外部音声」ともいう。 In the following, a video output from a video / audio reproduction device such as a television is also referred to as “internal video”. In the following, audio output from an external device that communicates with the video / audio reproduction device is also referred to as “external audio”.
関連構成Ａでは、動作モードが調整モードである状態において、内部映像と、外部音声を同期させるための遅延量が設定される。また、関連構成Ａでは、内部映像と外部音声を同期させるためには、動作モードを調整モードから視聴モードに切り換える必要がある。 In the related configuration A, the delay amount for synchronizing the internal video and the external audio is set in a state where the operation mode is the adjustment mode. In the related configuration A, in order to synchronize the internal video and the external audio, it is necessary to switch the operation mode from the adjustment mode to the viewing mode.
なお、関連構成Ａでは、動作モードを調整モードから視聴モードに切り換えるためには、視聴者がリモコンを操作する必要がある。そのため、内部映像と外部音声を同期させるまでに、時間がかかるという問題がある。 In the related configuration A, the viewer needs to operate the remote controller to switch the operation mode from the adjustment mode to the viewing mode. Therefore, there is a problem that it takes time to synchronize the internal video and the external audio.
本発明は、このような問題を解決するためになされたものであり、内部映像と外部音声を迅速に同期させることが可能な映像音声再生装置を提供することを目的とする。 The present invention has been made to solve such a problem, and an object thereof is to provide a video / audio reproduction device capable of quickly synchronizing internal video and external audio.
上記目的を達成するために、本発明の一態様に係る映像音声再生装置は、映像を出力する機能を有し、かつ、音声信号の受信に応じて当該音声信号に基づいた音声を出力する外部機器と通信する。前記映像音声再生装置は、前記音声信号を前記外部機器へ送信する送信部と、前記映像音声再生装置が出力する映像である内部映像が、前記外部機器が前記音声信号の受信に応じて出力する音声である外部音声と同期するようにするための遅延時間を算出する遅延算出部とを備え、少なくとも前記内部映像の出力に関する、前記映像音声再生装置の状態である装置状態が変化した場合、前記遅延算出部は前記遅延時間を算出し、前記映像音声再生装置は、前記遅延時間の算出に応じて、当該遅延時間を使用して、当該映像音声再生装置が出力する前記内部映像と、前記外部機器が出力する前記外部音声を同期させる。 In order to achieve the above object, a video / audio reproduction device according to an aspect of the present invention has a function of outputting video and externally outputs audio based on the audio signal in response to reception of the audio signal. Communicate with the device. The video / audio reproduction device outputs an internal video, which is a video output from the video / audio reproduction device, in response to reception of the audio signal by a transmission unit that transmits the audio signal to the external device. A delay calculation unit that calculates a delay time for synchronizing with external audio that is audio, and at least when the device state that is the state of the video and audio reproduction device regarding the output of the internal video has changed, The delay calculation unit calculates the delay time, and the video / audio reproduction device uses the delay time according to the calculation of the delay time to output the internal video output by the video / audio reproduction device and the external video The external sound output from the device is synchronized.
本発明によれば、少なくとも前記内部映像の出力に関する、前記映像音声再生装置の状態である装置状態が変化した場合、前記遅延算出部は前記遅延時間を算出する。前記映像音声再生装置は、前記遅延時間の算出に応じて、当該遅延時間を使用して、当該映像音声再生装置が出力する前記内部映像と、前記外部機器が出力する前記外部音声を同期させる。 According to the present invention, the delay calculation unit calculates the delay time when the device state, which is the state of the video / audio reproduction device, relating to at least the output of the internal video has changed. In accordance with the calculation of the delay time, the video / audio reproduction device uses the delay time to synchronize the internal video output by the video / audio reproduction device and the external audio output by the external device.
すなわち、上記の構成を有する映像音声再生装置は、関連構成Ａのように視聴者がリモコンを操作しなくても、内部映像と外部音声を同期させることができる。これにより、内部映像と外部音声を迅速に同期させることができる。 That is, the video / audio reproduction device having the above-described configuration can synchronize the internal video and the external audio even when the viewer does not operate the remote control as in the related configuration A. Thereby, the internal video and the external audio can be quickly synchronized.
以下、図面を参照しつつ、実施の形態について説明する。以下の図面では、同一の各構成要素には同一の符号を付してある。同一の符号が付されている各構成要素の名称および機能は同じである。したがって、同一の符号が付されている各構成要素の一部についての詳細な説明を省略する場合がある。 Hereinafter, embodiments will be described with reference to the drawings. In the following drawings, the same components are denoted by the same reference numerals. The names and functions of the components having the same reference numerals are the same. Therefore, a detailed description of some of the components having the same reference numerals may be omitted.
＜実施の形態１＞
図１は、実施の形態１に係る映像音声再生装置１００の構成を示すブロック図である。なお、図１には、外部機器２００も示されている。映像音声再生装置１００は、映像および音声を出力する機能を有する。映像音声再生装置１００は、例えば、テレビである。外部機器２００は、音声を出力（再生）する機能を有する音声再生機器である。
<Embodiment 1>
FIG. 1 is a block diagram showing a configuration of a video /
なお、映像音声再生装置１００は、テレビ以外の他の装置であってもよい。映像音声再生装置１００は、映像および音声を処理することが可能な装置であればよい。
The video /
映像音声再生装置１００は、外部機器２００と通信可能なように、当該外部機器２００に接続される。映像音声再生装置１００が外部機器２００と通信可能な状況において、当該映像音声再生装置１００は、外部機器２００と通信する。具体的には、映像音声再生装置１００は、有線接続手段または無線接続手段により、外部機器２００に接続される。有線接続手段とは、例えば、ケーブルを使用した接続手段である。無線接続手段とは、無線通信を利用した接続手段である。当該無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準拠した通信である。
The video /
図１を参照して、映像音声再生装置１００は、制御部４０と、映像処理部１１と、映像遅延付加部１２と、映像表示部１３と、音声処理部２１と、音声遅延付加部２２と、音声出力部２３と、送信部６０と、遅延算出部５０と、マイクＭｋ１とを備える。
Referring to FIG. 1, video /
制御部４０は、映像音声再生装置１００に含まれる各構成要素に対し制御を行う。本実施の形態では、制御部４０は、映像表示部１３、音声処理部２１、音声出力部２３および遅延算出部５０を制御する。
The
映像音声再生装置１００は、外部（例えば、アンテナ）から、元の映像信号である映像信号Ｖｎ、および、元の音声信号である音声信号Ａｎを受信する。音声信号Ａｎは、映像信号Ｖｎに対応する信号である。映像信号Ｖｎおよび音声信号Ａｎは、例えば、デジタル放送の規格に準拠した信号である。
The video /
映像信号Ｖｎは、映像データＤｖを含む。映像データＤｖは、例えば、圧縮された映像データである。映像処理部１１は、映像信号Ｖｎ（元の映像信号）に対し信号処理Ｐｖを行う。信号処理Ｐｖは、映像デコード処理、映像処理等を含む。映像デコード処理は、映像信号Ｖｎに含まれる映像データＤｖをデコードする処理である。以下においては、デコードされた映像データＤｖを、「映像データＤｖｂ」ともいう。映像データＤｖｂは、映像（動画像）を示す。
The video signal Vn includes video data Dv. The video data Dv is, for example, compressed video data. The
映像処理は、例えば、映像データＤｖｂが示す映像の画質を、所定の画質にするための処理である。なお、信号処理Ｐｖに含まれる処理の数は、２に限定されず、１または３以上であってもよい。信号処理Ｐｖに含まれる処理は、例えば、映像デコード処理のみであってもよい。 The video processing is, for example, processing for setting the image quality of the video indicated by the video data Dvb to a predetermined image quality. Note that the number of processes included in the signal processing Pv is not limited to 2, and may be 1 or 3 or more. The processing included in the signal processing Pv may be only video decoding processing, for example.
以下においては、映像信号Ｖｎに対し信号処理Ｐｖが行われることにより得られる映像データＤｖｂを含む映像信号を、「映像信号Ｖｚ」ともいう。映像処理部１１は、映像信号Ｖｚを出力する。以下においては、映像データＤｖｂが示す映像を、「映像Ｖ１」ともいう。すなわち、映像データＤｖｂを含む映像信号Ｖｚは、映像Ｖ１を含む。映像Ｖ１は、動画像である。なお、以下においては、映像信号に含まれる映像を、「映像信号に基づいた映像」と表記する場合がある。
Hereinafter, the video signal including the video data Dvb obtained by performing the signal processing Pv on the video signal Vn is also referred to as “video signal Vz”. The
音声信号Ａｎは、音声データＤａを含む。音声データＤａは、例えば、圧縮された音声データである。音声処理部２１は、音声信号Ａｎ（元の音声信号）に対し信号処理Ｐａを行う。信号処理Ｐａは、音声デコード処理、音声処理等を含む。音声デコード処理は、音声信号Ａｎに含まれる音声データＤａをデコードする処理である。以下においては、デコードされた音声データＤａを、「音声データＤａｂ」ともいう。
The audio signal An includes audio data Da. The audio data Da is, for example, compressed audio data. The
音声処理は、例えば、音声データＤａｂが示す音声の音量を、基準レベルにするための処理である。また、音声処理は、例えば、音声データＤａｂが示す音声の音質を、基準となる音質にするための処理である。なお、信号処理Ｐａに含まれる処理の数は、２に限定されず、１または３以上であってもよい。信号処理Ｐａに含まれる処理は、例えば、音声デコード処理のみであってもよい。 The audio process is a process for setting the sound volume indicated by the audio data Dab to a reference level, for example. In addition, the sound processing is processing for, for example, making the sound quality of the sound indicated by the sound data Dab a reference sound quality. The number of processes included in the signal processing Pa is not limited to 2, and may be 1 or 3 or more. The processing included in the signal processing Pa may be only audio decoding processing, for example.
以下においては、音声信号Ａｎに対し信号処理Ｐａが行われることにより得られる音声データＤａｂを含む音声信号を、「音声信号Ａｚ」ともいう。すなわち、音声信号Ａｚは、信号処理Ｐａが行われた音声信号Ａｎ（元の音声信号Ａｎ）である。音声信号Ａｚは、映像信号Ｖｚに対応する信号である。 Hereinafter, the audio signal including the audio data Dab obtained by performing the signal processing Pa on the audio signal An is also referred to as “audio signal Az”. That is, the audio signal Az is the audio signal An (original audio signal An) that has been subjected to the signal processing Pa. The audio signal Az is a signal corresponding to the video signal Vz.
音声処理部２１は、音声信号Ａｚを出力する。以下においては、音声データＤａｂが示す音声を、「音声Ａ１」ともいう。すなわち、音声データＤａｂを含む音声信号Ａｚは、音声Ａ１を含む。音声Ａ１は、映像Ｖ１に対応した音声である。なお、以下においては、音声信号に含まれる映像を、「音声信号に基づいた映像」と表記する場合がある。
The
また、以下においては、音声処理部２１が信号処理Ｐａを開始してから当該音声処理部２１が音声信号Ａｚを出力するまでの時間を、「処理時間ｔｓ」または「ｔｓ」ともいう。音声処理部２１は、処理時間ｔｓを制御部４０に通知する。
In the following, the time from when the
送信部６０は、音声処理部２１が出力した音声信号Ａｚを外部機器２００へ送信する。
The
なお、映像処理部１１が出力する映像信号Ｖｚ（映像Ｖ１）が、音声処理部２１が出力する音声信号Ａｚ（音声Ａ１）と同期するように、当該映像処理部１１および当該音声処理部２１は、それぞれ、映像信号Ｖｚ（映像Ｖ１）および音声信号Ａｚ（音声Ａ１）を出力する。そのため、映像処理部１１が出力する映像信号Ｖｚ（映像Ｖ１）は、音声処理部２１が出力する音声信号Ａｚ（音声Ａ１）と同期している。
The
以下においては、映像音声再生装置１００が出力する映像を、「内部映像」ともいう。また、以下においては、外部機器２００が出力する音声を、「外部音声Ａｘ」または「Ａｘ」ともいう。また、以下においては、映像音声再生装置１００が出力する内部映像が、外部機器２００が出力する外部音声Ａｘと同期するようにするための時間を「遅延時間ＥｘＤ」または「ＥｘＤ」ともいう。
Hereinafter, the video output by the video /
詳細は後述するが、映像音声再生装置１００は、遅延時間ＥｘＤの算出に応じて、遅延時間ＥｘＤを使用して、当該映像音声再生装置１００が出力する内部映像と、外部機器２００が出力する外部音声Ａｘを同期させる。
Although details will be described later, the video /
映像遅延付加部１２は、詳細は後述するが、音声信号Ａｚに対応する映像信号Ｖｚを遅延時間ＥｘＤだけ遅延させて出力する機能を有する。
As will be described in detail later, the video
映像表示部１３は、映像遅延付加部１２が出力する映像信号Ｖｚに基づいた内部映像を出力（表示）する機能を有する。映像表示部１３は、例えば、ディスプレイである。以下においては、映像表示部１３が映像を出力可能な状況における、当該映像表示部１３の状態を、「出力状態Ｓｖ」ともいう。また、以下においては、映像表示部１３が映像を出力しない状況における、当該映像表示部１３の状態を、「出力停止状態Ｓｖｎ」ともいう。
The
制御部４０および遅延算出部５０の各々は、映像表示部１３が映像信号Ｖｚに基づいた内部映像を出力するタイミングを制御する。具体的には、制御部４０および遅延算出部５０の各々は、必要に応じて、映像表示部１３の状態を、出力停止状態Ｓｖｎまたは出力状態Ｓｖに設定する。
Each of the
音声遅延付加部２２は、詳細は後述するが、音声信号Ａｚを遅延時間ＥｘＤだけ遅延させて出力する機能を有する。以下においては、音声遅延付加部２２が出力する音声信号Ａｚに含まれる音声Ａ１を、「内部音声」ともいう。
The audio
音声出力部２３は、音声遅延付加部２２から出力された音声信号Ａｚに基づいた音声Ａ１（内部音声）を出力する機能を有する。音声出力部２３は、例えば、スピーカである。以下においては、音声出力部２３が音声を出力可能な状況における、当該音声出力部２３の状態を、「出力状態Ｓａ」ともいう。また、以下においては、音声出力部２３が音声を出力しない状況における、当該音声出力部２３の状態を、「出力停止状態Ｓａｎ」ともいう。制御部４０および遅延算出部５０の各々は、音声出力部２３が音声信号Ａｚに基づいた内部音声（音声Ａ１）を出力するタイミングを制御する。具体的には、制御部４０および遅延算出部５０の各々は、必要に応じて、音声出力部２３の状態を、出力停止状態Ｓａｎまたは出力状態Ｓａに設定する。
The
以下においては、少なくとも内部映像の出力に関する、映像音声再生装置１００の状態を、「装置状態Ｓｔ」ともいう。制御部４０は、常時、装置状態Ｓｔを監視する。制御部４０は、装置状態Ｓｔの変化を検出する機能を有する。装置状態Ｓｔには、例えば、映像音声再生装置１００が起動（稼動）していない状態（以下、「状態Ｓｔｎ」ともいう）が存在する。状態Ｓｔｎは、映像音声再生装置１００が映像および音声を出力不能な状態である。
Hereinafter, the state of the video /
また、装置状態Ｓｔには、例えば、映像音声再生装置１００が映像および音声を出力可能な状態（以下、「状態Ｓｔｍ」ともいう）が存在する。状態Ｓｔｍでは、映像表示部１３が映像を出力可能であり、音声出力部２３が音声を出力可能な状態である。
In the device state St, for example, there is a state in which the video /
例えば、映像音声再生装置１００が、起動処理、入力切換処理、再生コンテンツ切換処理等を行う場合、装置状態Ｓｔは変化する。起動処理は、例えば、装置状態Ｓｔを、状態Ｓｔｎから状態Ｓｔｍへ移行させる処理である。すなわち、起動処理が行われる場合、装置状態Ｓｔは、状態Ｓｔｎから状態Ｓｔｍへ移行する。つまり、起動処理が行われる場合、状態Ｓｔｎである装置状態Ｓｔは変化する。
For example, when the video /
以下においては、装置状態Ｓｔが変化することを、「状態変化」ともいう。装置状態Ｓｔが、状態Ｓｔｎから状態Ｓｔｍへ移行（変化）する場合、状態変化が発生する。なお、詳細は後述するが、遅延算出部５０は、装置状態Ｓｔの変化（状態変化）が発生する毎に、遅延時間ＥｘＤを算出する。
Hereinafter, the change of the device state St is also referred to as “state change”. When the device state St changes (changes) from the state Stn to the state Stm, a state change occurs. Although details will be described later, the
また、装置状態Ｓｔには、例えば、映像処理部１１および音声処理部２１の各々が、信号（映像信号または音声信号）を出力していない状態（以下、「状態Ｓｔｃｎ」ともいう）が存在する。また、装置状態Ｓｔには、例えば、映像処理部１１および音声処理部２１の各々が、信号（映像信号または音声信号）を出力する状態（以下、「状態Ｓｔｃ」ともいう）が存在する。装置状態Ｓｔが、例えば、状態Ｓｔｃｎから状態Ｓｔｃへ移行（変化）する場合、状態変化が発生する。
In the device state St, for example, there is a state in which each of the
なお、図１に示される、矢印付きの実線は、映像信号または音声信号等の流れを示す。矢印付き破線は、指示（制御）、情報（データ）等の流れを示す。また、図１では、後述する位置Ｐ１，Ｐ２，Ｐ３が示されている。 In addition, the solid line with an arrow shown by FIG. 1 shows flows, such as a video signal or an audio | voice signal. A broken line with an arrow indicates a flow of instructions (control), information (data), and the like. In FIG. 1, positions P1, P2, and P3 described later are shown.
外部機器２００は、外部からの音声信号の受信に応じて当該音声信号に基づいた音声（外部音声Ａｘ）を出力する。
The
具体的には、外部機器２００は、受信部２０１と、外部音声処理部２０２と、スピーカＳｐ１とを含む。受信部２０１は、映像音声再生装置１００から音声信号Ａｚを受信し、当該音声信号Ａｚを外部音声処理部２０２へ送信する。外部音声処理部２０２は、音声信号Ａｚに対し、各種の音声処理を行い、当該音声信号ＡｚをスピーカＳｐ１へ送信する。スピーカＳｐ１は、音声信号Ａｚに含まれる音声Ａ１を出力する。すなわち、外部機器２００は、音声信号Ａｚの受信に応じて、音声Ａ１（外部音声Ａｘ）を出力する。
Specifically, the
映像音声再生装置１００のマイクＭｋ１は、外部音声Ａｘ（音声Ａ１）を取得する機能を有する。マイクＭｋ１は、取得した外部音声Ａｘを遅延算出部５０へ送信する。
The microphone Mk1 of the video /
遅延算出部５０は、外部音声Ａｘ（音声Ａ１）を受信する。すなわち、遅延算出部５０は、外部音声Ａｘ（音声Ａ１）を検出する機能を有する。また、遅延算出部５０は、詳細は後述するが、装置状態Ｓｔが変化した場合、遅延時間ＥｘＤを算出する。また、遅延算出部５０は、詳細は後述するが、外部機器２００が出力する外部音声ＡｘをマイクＭｋ１が取得したことに応じて、処理時間ｔｓを使用して、遅延時間ＥｘＤを算出する。
The
遅延算出部５０は、遅延時間ＥｘＤを映像遅延付加部１２および音声遅延付加部２２に通知する。
The
なお、前述したように、映像処理部１１が出力する映像信号Ｖｚ（映像Ｖ１）は、音声処理部２１が出力する音声信号Ａｚ（音声Ａ１）と同期している。そのため、遅延算出部５０が映像処理部１１に通知する遅延時間ＥｘＤの値は、遅延算出部５０が音声処理部２１に通知する遅延時間ＥｘＤの値と同じである。
As described above, the video signal Vz (video V1) output from the
また、遅延算出部５０は、遅延時間ＥｘＤを算出するための処理を行っている期間に、映像表示部１３の状態が出力状態Ｓｖにならず、かつ、音声出力部２３の状態が出力状態Ｓａにならないように、必要に応じて、映像表示部１３の状態を出力停止状態Ｓｖｎに設定する処理、音声出力部２３の状態を出力停止状態Ｓａｎに設定する処理を行うことができる。
Further, the
音声遅延付加部２２が出力する音声信号Ａｚ（音声Ａ１）と、外部機器２００が出力する音声Ａ１とを同期させることにより、映像音声再生装置１００が出力する映像Ｖ１と、外部機器２００が出力する音声Ａ１とを同期させることができる。
By synchronizing the audio signal Az (audio A1) output from the audio
したがって、以下においては、映像音声再生装置１００が出力する音声Ａ１と、外部機器２００が出力する音声Ａ１を同期させることのみに着目した説明を行う。なお、当該説明は、映像音声再生装置１００が出力する映像Ｖ１と、外部機器２００が出力する音声Ａ１とを同期させるための説明と同じである。
Therefore, in the following description, only the synchronization of the audio A1 output from the video /
次に、映像音声再生装置１００が行う処理（以下、「同期制御処理」ともいう）について説明する。同期制御処理は、状態変化が発生する毎に行われる。
Next, a process (hereinafter also referred to as “synchronous control process”) performed by the video /
図２は、実施の形態１に係る同期制御処理を説明するための図である。図２は、音声波形の一例を示す。図２の横軸は時間である。図２において、「無音」とは、音声が発生していない期間を示す。「有音」とは、音声が発生している期間を示す。 FIG. 2 is a diagram for explaining the synchronization control process according to the first embodiment. FIG. 2 shows an example of a speech waveform. The horizontal axis in FIG. 2 is time. In FIG. 2, “silence” indicates a period in which no sound is generated. “Sound” indicates a period during which sound is generated.
図２の「Ｐ１」は、図１の位置Ｐ１における音声の波形の一例を示す。具体的には、「Ｐ１」は、音声処理部２１が出力する音声信号Ａｚに含まれる音声Ａ１の波形の一例を示す。
“P1” in FIG. 2 shows an example of a sound waveform at the position P1 in FIG. Specifically, “P1” indicates an example of a waveform of the sound A1 included in the sound signal Az output from the
図２の「Ｐ２」は、図１の位置Ｐ２における音声の波形の一例を示す。具体的には、「Ｐ２」は、遅延算出部５０が受信する外部音声Ａｘ（音声Ａ１）に含まれる音声Ａ１の波形の一例を示す。図２の「Ｐ３」は、図１の位置Ｐ３における音声の波形の一例を示す。具体的には、「Ｐ３」は、音声遅延付加部２２が出力する音声信号Ａｚに含まれる音声Ａ１の波形の一例を示す。
“P2” in FIG. 2 shows an example of a sound waveform at the position P2 in FIG. Specifically, “P2” indicates an example of a waveform of the voice A1 included in the external voice Ax (voice A1) received by the
ここで、同期制御処理の一例を説明するために、以下の前提Ｐｍ１を考慮する。前提Ｐｍ１では、映像を映像音声再生装置１００が出力し、音声は外部機器２００が出力する。すなわち、前提Ｐｍ１では、映像音声再生装置１００は、音声を出力しない。また、前提Ｐｍ１では、前述の起動処理が行われる。
Here, in order to explain an example of the synchronization control process, the following premise Pm1 is considered. In the premise Pm1, the video /
また、前提Ｐｍ１では、起動処理は、図２の時刻ｔ１の直前で終了する。そのため、時刻ｔ１の直前において、状態Ｓｔｎである装置状態Ｓｔは、状態Ｓｔｍに変化する。すなわち、時刻ｔ１の直前において、状態変化が発生する。また、前提Ｐｍ１では、起動処理が行われる前において、映像音声再生装置１００は外部機器２００と通信不能な状態である。
Further, in the premise Pm1, the activation process ends just before time t1 in FIG. Therefore, immediately before time t1, the device state St, which is the state Stn, changes to the state Stm. That is, a state change occurs immediately before time t1. Further, in the premise Pm1, the video /
また、前提Ｐｍ１では、同期制御処理として、今回（最新）の同期制御処理が行われる。また、前提Ｐｍ１では、今回の同期制御処理が行われる前に、前回の同期制御処理がすでに行われている。また、前回の同期制御処理は、図２および図３を使用して説明される後述の同期制御処理と同様な処理である。 In the premise Pm1, the current (latest) synchronous control process is performed as the synchronous control process. In the premise Pm1, the previous synchronization control process has already been performed before the current synchronization control process is performed. The previous synchronization control process is the same as the later-described synchronization control process described with reference to FIGS. 2 and 3.
以下においては、遅延算出部５０により算出された今回（最新）の遅延時間ＥｘＤを、「今回ＥｘＤ」または「今回遅延時間」ともいう。今回ＥｘＤは、今回の同期制御処理において算出される遅延時間ＥｘＤである。また、以下においては、遅延算出部５０により算出された前回の遅延時間ＥｘＤを、「前回ＥｘＤ」または「前回遅延時間」ともいう。前回ＥｘＤは、前回の同期制御処理において算出された遅延時間ＥｘＤである。
Hereinafter, the current (latest) delay time ExD calculated by the
また、前提Ｐｍ１では、映像遅延付加部１２、音声遅延付加部２２および遅延算出部５０の各々は、同一の値を示す前回ＥｘＤを記憶している。
In the assumption Pm1, each of the video
前回ＥｘＤの値は、起動処理が行われた場合、０に設定（初期化）される。そのため、起動処理が行われたことにより、映像音声再生装置１００が起動した時点では、映像遅延付加部１２および音声遅延付加部２２の各々が記憶している前回ＥｘＤの値は、０である。
The value of the previous ExD is set to 0 (initialized) when the activation process is performed. Therefore, the value of the previous ExD stored in each of the video
図３は、前提Ｐｍ１における今回の同期制御処理のフローチャートである。なお、起動処理が行われたことにより、映像音声再生装置１００が起動した直後には、信号出力不可期間が存在する。信号出力不可期間は、映像処理部１１が映像信号を出力できず、かつ、音声処理部２１が音声信号を出力できない期間である。
FIG. 3 is a flowchart of the current synchronization control process in the premise Pm1. Note that a signal output impossibility period exists immediately after the video /
前述したように、起動処理が終了した時刻ｔ１の直前において、状態変化が発生する。以下においては、状態変化を通知するための情報を、「状態変化通知情報」ともいう。 As described above, a state change occurs immediately before time t1 when the activation process ends. Hereinafter, the information for notifying the state change is also referred to as “state change notification information”.
図１、図２および図３を参照して、前提Ｐｍ１における同期制御処理では、まず、出力停止処理が行われる（Ｓ１０１）。出力停止処理では、制御部４０が、映像表示部１３の状態を出力停止状態Ｓｖｎに設定し、音声出力部２３の状態を出力停止状態Ｓａｎに設定する。これにより、信号出力不可期間において、映像表示部１３の状態が出力停止状態Ｓｖｎを維持し、音声出力部２３の状態が出力停止状態Ｓａｎを維持される。
With reference to FIG. 1, FIG. 2, and FIG. 3, in the synchronous control process in premise Pm1, an output stop process is first performed (S101). In the output stop process, the
次に、通信接続処理が行われる（Ｓ１０２）。通信接続処理では、映像音声再生装置１００が外部機器２００と通信可能となるように、当該映像音声再生装置１００が当該外部機器２００に接続するための処理を行う。
Next, communication connection processing is performed (S102). In the communication connection process, a process for connecting the video /
制御部４０は、装置状態Ｓｔの変化に応じて、状態変化通知情報を音声処理部２１へ送信する。例えば、制御部４０は、時刻ｔ１において、状態変化通知情報を音声処理部２１へ送信する（Ｓ１０３）。
The
音声処理部２１は、状態変化通知情報の受信に応じて、処理時間ｔｓを特定する（Ｓ１０４）。処理時間ｔｓの特定は、以下のようにして行われる。処理時間ｔｓは、固定値である。そのため、例えば、音声処理部２１が処理時間ｔｓを予め記憶しておき、当該音声処理部２１が当該処理時間ｔｓを参照することにより、当該音声処理部２１は処理時間ｔｓを特定する。
The
なお、処理時間ｔｓの特定は、上記の方法に限定されない。例えば、処理時間ｔｓの測定のために、音声処理部２１が前述の信号処理Ｐａを行うことにより、当該音声処理部２１が、音声信号Ａｚの出力までに要する時間（処理時間ｔｓ）を測定してもよい。なお、この場合、音声信号Ａｚは音声遅延付加部２２へ送信されない。
The specification of the processing time ts is not limited to the above method. For example, in order to measure the processing time ts, the
次に、音声処理部２１は、時刻ｔ２において、処理時間ｔｓを制御部４０に通知する（Ｓ１０５）。
Next, the
以下においては、遅延時間ＥｘＤを算出するための時間を、「算出用時間ｔｄ」または「ｔｄ」ともいう。 In the following, the time for calculating the delay time ExD is also referred to as “calculation time td” or “td”.
また、処理時間ｔｓの通知に応じて、制御部４０は、時刻ｔ２において、遅延算出部５０が算出用時間ｔｄの計測を開始するように、当該遅延算出部５０を制御する。具体的には、制御部４０は、ＥｘＤ算出指示を、遅延算出部５０へ送信する（Ｓ１０６）。ＥｘＤ算出指示は、遅延算出部５０に、算出用時間ｔｄの計測を開始させ、かつ、遅延時間ＥｘＤを算出させるための指示である。なお、ＥｘＤ算出指示は、処理時間ｔｓを示す。
In response to the notification of the processing time ts, the
遅延算出部５０は、ＥｘＤ算出指示の受信に応じて、時刻ｔ２において、算出用時間ｔｄの計測を開始する（Ｓ１０７）。
In response to receiving the ExD calculation instruction, the
以下においては、算出用時間ｔｄを計測する処理を、「計測処理」ともいう。計測処理は、経過時間を計測する処理である。すなわち、遅延算出部５０は、ＥｘＤ算出指示の受信に応じて、計測処理を開始する。遅延算出部５０は、計測処理は、他の処理とは、独立して行われる。
Hereinafter, the process of measuring the calculation time td is also referred to as “measurement process”. The measurement process is a process for measuring elapsed time. That is, the
また、音声処理部２１は、時刻ｔ２に、前述の信号処理Ｐａを開始する。これにより、時刻ｔ２から処理時間ｔｓだけ経過した時刻ｔ３に、音声処理部２１は、音声信号Ａｚ（音声Ａ１）を音声遅延付加部２２および送信部６０へ出力する（図２の「Ｐ１」の波形参照）。なお、この時点では、音声遅延付加部２２の前回ＥｘＤが０であるため、当該音声遅延付加部２２は、遅延していない音声信号Ａｚを音声出力部２３へ出力する。また、この時点では、音声出力部２３の状態が出力停止状態Ｓａｎであるため、音声出力部２３は音声を出力しない。
In addition, the
また、時刻ｔ３に、送信部６０は音声信号Ａｚ（音声Ａ１）を受信し、当該音声信号Ａｚを外部機器２００へ送信する。外部機器２００は、音声信号Ａｚの受信に応じて、当該音声信号Ａｚに対し前述の音声処理を行い、外部音声Ａｘ（音声Ａ１）を出力する。
Further, at time t3, the
時刻ｔ３から、遅延時間ＥｘＤだけ経過した時刻ｔ４に、マイクＭｋ１は、外部機器２００から出力された外部音声Ａｘ（音声Ａ１）を取得し、当該外部音声Ａｘを遅延算出部５０へ送信する。これにより、遅延算出部５０は、時刻ｔ４に、外部音声Ａｘ（音声Ａ１）を検出する（Ｓ１０８でＹＥＳ、図２の「Ｐ２」の波形参照）。
At time t4 when the delay time ExD has elapsed from time t3, the microphone Mk1 acquires the external audio Ax (audio A1) output from the
外部音声Ａｘ（音声Ａ１）の検出に応じて、遅延算出部５０は、計測処理を開始した時刻ｔ２から、音声Ａ１を検出した時刻ｔ４までの時間を、算出用時間ｔｄとして算出する。すなわち、算出用時間ｔｄは、外部機器２００が出力する、音声信号Ａｚに基づいた外部音声ＡｘをマイクＭｋ１が取得することにより確定される。
In response to the detection of the external voice Ax (voice A1), the
また、時刻ｔ３に、映像処理部１１から映像信号Ｖｚ（映像Ｖ１）が映像遅延付加部１２に向けて出力される。なお、この時点では、映像遅延付加部１２の前回ＥｘＤが０であるため、当該映像遅延付加部１２は、遅延していない映像信号Ｖｚを映像表示部１３へ出力する。また、この時点では、映像表示部１３の状態は出力停止状態Ｓｖｎであるため、映像表示部１３は、映像を出力しない。
At time t3, the video signal Vz (video V1) is output from the
次に、遅延算出部５０が、ＥｘＤ算出処理を行う（Ｓ１０９）。ＥｘＤ算出処理では、遅延算出部５０は、算出用時間ｔｄと、制御部４０から通知された処理時間ｔｓとに基づいて、遅延時間ＥｘＤを算出する。具体的には、遅延算出部５０が、ｔｄ−ｔｓの式により、遅延時間ＥｘＤを算出する。
Next, the
なお、遅延時間ＥｘＤには、送信部６０およびマイクＭｋ１による処理の時間も含まれる。しかしながら、送信部６０およびマイクＭｋ１による処理時間は、処理時間ｔｓと比較して、無視できるほど短い時間である。そのため、本実施の形態では、送信部６０およびマイクＭｋ１による処理による、音声信号または音声の遅延はないものとする。
Note that the delay time ExD includes processing time by the
仮に、送信部６０およびマイクＭｋ１による処理により、音声信号または音声の遅延が発生する場合、当該遅延の時間は、映像音声再生装置１００内で把握できる。そのため、遅延算出部５０が予め当該遅延の時間を記憶しておき、ｔｄ−ｔｓから当該遅延の時間を減算した値を、遅延時間ＥｘＤとして算出してもよい。
If an audio signal or audio delay occurs due to processing by the
次に、遅延算出部５０は、今回ＥｘＤと前回ＥｘＤとを比較する。具体的には、遅延算出部５０が、今回ＥｘＤが前回ＥｘＤと一致するか否かを判定する（Ｓ１１０）。当該判定は、閾値Ｔｈ１（以下、「Ｔｈ１」ともいう）を使用して行われる。閾値Ｔｈ１の値は、映像と音声との同期に対し、影響を与えない程度の小さい値である。閾値Ｔｈ１の値は、例えば、０より大きく、かつ、１フレームが表示される時間（１／６０秒）未満である。
Next, the
具体的には、関係式１が満たされる場合、遅延算出部５０は今回ＥｘＤが前回ＥｘＤと一致すると判定する。関係式１は、前回ＥｘＤ−Ｔｈ１≦今回ＥｘＤ≦前回ＥｘＤ＋Ｔｈ１で示される。
Specifically, when the relational expression 1 is satisfied, the
また、関係式２ａまたは関係式２ｂが満たされる場合、遅延算出部５０は今回ＥｘＤが前回ＥｘＤと一致しないと判定する。関係式２ａは、今回ＥｘＤ＜前回ＥｘＤ−Ｔｈ１で示される。また、関係式２ｂは、前回ＥｘＤ＋Ｔｈ１＜今回ＥｘＤで示される。
When the relational expression 2a or the relational expression 2b is satisfied, the
ステップＳ１１０においてＹＥＳならば処理はステップＳ１１４へ移行する。一方、ステップＳ１１０においてＮＯならば処理はステップＳ１１１へ移行する。なお、前提Ｐｍ１では、起動処理が行われることにより、前回ＥｘＤは０である。そのため、関係式２ｂに基づくＴｈ１＜今回ＥｘＤが満たされるため、遅延算出部５０は今回ＥｘＤが前回ＥｘＤと一致しないと判定する。そのため、処理はステップＳ１１１へ移行する。
If YES in step S110, the process proceeds to step S114. On the other hand, if NO at step S110, the process proceeds to step S111. Note that in the premise Pm1, the previous ExD is 0 because the activation process is performed. Therefore, since Th1 <current ExD based on the relational expression 2b is satisfied, the
そして、遅延算出部５０は、時刻４において、今回ＥｘＤである遅延時間ＥｘＤを映像遅延付加部１２および音声遅延付加部２２に通知する（Ｓ１１１）。
Then, at time 4, the
音声遅延付加部２２は、遅延時間ＥｘＤが通知された場合、当該遅延時間ＥｘＤが通知された時点から当該音声遅延付加部２２に入力される音声信号Ａｚを、新たな遅延対象の音声信号とする。なお、音声遅延付加部２２は、当該音声遅延付加部２２に遅延時間ＥｘＤが通知される直前に、当該音声遅延付加部２２に入力されていた音声信号Ａｚ（音声Ａ１）は破棄する。
When the delay time ExD is notified, the audio
以下においては、音声遅延付加部２２に遅延時間ＥｘＤが通知された時点から当該音声遅延付加部２２に入力される音声信号Ａｚを、「音声信号Ａｚａ」ともいう。また、以下においては、音声信号Ａｚａに含まれる音声Ａ１を、「音声Ａ１ａ」ともいう。音声Ａ１ａは、例えば、図２の「Ｐ１」に対応する、時刻ｔ４以降の波形を示す音声である。また、例えば、音声遅延付加部２２に遅延時間ＥｘＤが通知された時点以降に外部機器２００が出力する音声Ａ１は、例えば、図２の「Ｐ２」に対応する、時刻ｔ５以降の波形を示す音声である。
Hereinafter, the audio signal Az input to the audio
また、映像遅延付加部１２は、遅延時間ＥｘＤが通知された場合、当該遅延時間ＥｘＤが通知された時点から当該映像遅延付加部１２に入力される映像信号Ｖｚを、新たな遅延対象の映像信号とする。なお、映像遅延付加部１２は、当該映像遅延付加部１２に遅延時間ＥｘＤが通知される直前に、当該映像遅延付加部１２に入力されていた映像信号Ｖｚ（映像Ｖ１）は破棄する。
In addition, when the delay time ExD is notified, the video
以下においては、映像遅延付加部１２に遅延時間ＥｘＤが通知された時点から当該映像遅延付加部１２に入力される映像信号Ｖｚを、「映像信号Ｖｚａ」ともいう。また、以下においては、映像信号Ｖｚａに含まれる映像Ｖ１を、「映像Ｖ１ａ」ともいう。映像Ｖ１ａは、例えば、図２の「Ｐ１」に対応する、時刻ｔ４以降の波形を示す音声Ａ１ａに対応する映像である。すなわち、映像Ｖ１ａは、音声Ａ１ａと同期した映像である。換言すれば、音声Ａ１ａは、映像Ｖ１ａと同期した音声である。
Hereinafter, the video signal Vz input to the video
遅延時間ＥｘＤが通知された音声遅延付加部２２は、音声信号Ａｚａを遅延時間ＥｘＤ（今回ＥｘＤ）だけ遅延させて音声出力部２３へ出力する。これにより、時刻ｔ４から遅延時間ＥｘＤだけ経過した時刻ｔ５において、音声遅延付加部２２は、音声信号Ａｚａ（音声Ａ１ａ）を出力する。これにより、音声遅延付加部２２が出力する音声信号Ａｚａに含まれる音声Ａ１ａの波形は、図２の「Ｐ３」に対応する波形となる。すなわち、時刻ｔ５以降に、音声Ａ１ａの波形が示される。これにより、図２の時刻ｔ５以降では、音声遅延付加部２２が音声出力部２３へ出力する音声Ａ１ａ（「Ｐ３」の波形）と、外部機器２００が出力する、外部音声Ａｘとしての音声Ａ１（「Ｐ２」の波形）は、同期した音声となる。
The audio
また、遅延時間ＥｘＤが通知された映像遅延付加部１２は、映像表示部１３が出力する内部映像が、外部機器２００が出力する外部音声Ａｘ（音声Ａ１）と同期した映像となるように、映像遅延付加部１２は映像信号Ｖｚａ（映像Ｖ１ａ）を遅延時間ＥｘＤ（今回ＥｘＤ）だけ遅延させて出力する。
In addition, the video
これにより、時刻ｔ４から遅延時間ＥｘＤだけ経過した時刻ｔ５において、映像遅延付加部１２は、映像信号Ｖｚａ（映像Ｖ１ａ）を映像表示部１３へ出力する。これにより、時刻ｔ５以降において映像遅延付加部１２が映像表示部１３へ出力する映像Ｖ１ａは、音声遅延付加部２２が出力する音声Ａ１ａと同期した映像となる。
Thereby, at time t5 when the delay time ExD has elapsed from time t4, the video
また、遅延算出部５０は、停止延長処理を行う（Ｓ１１２）。停止延長処理では、遅延算出部５０は、映像表示部１３および音声出力部２３の出力停止状態を、時刻ｔ４から今回ＥｘＤだけ延長する。
In addition, the
次に、遅延算出部５０は、時刻ｔ５において、停止解除処理を行う（Ｓ１１４）。停止解除処理では、映像表示部１３の出力停止状態Ｓｖｎが解除される。具体的には、遅延算出部５０は、映像表示部１３の状態を、出力状態Ｓｖに設定する。なお、前提Ｐｍ１では、映像音声再生装置１００は音声を出力しないため、音声出力部２３の出力停止状態Ｓａｎは維持されたままにされる。
Next, the
前述したように、図２の時刻ｔ５以降では、音声遅延付加部２２が音声出力部２３へ出力する音声Ａ１ａ（「Ｐ３」の波形）と、外部機器２００が出力する音声Ａ１（「Ｐ２」の波形）とは、同期した音声となる。また、前述したように、時刻ｔ５以降において映像遅延付加部１２が映像表示部１３へ出力する映像Ｖ１ａは、音声遅延付加部２２が出力する音声Ａ１ａと同期した映像である。
As described above, after time t5 in FIG. 2, the sound A1a (“P3” waveform) output from the sound
したがって、映像表示部１３の状態が出力状態Ｓｖに設定されることにより、時刻ｔ５以降において映像表示部１３（映像音声再生装置１００）が出力する映像Ｖ１ａは、時刻ｔ５以降において外部機器２００が出力する音声Ａ１と同期した映像となる。すなわち、時刻ｔ５以降では、映像表示部１３（映像音声再生装置１００）が出力する映像Ｖ１ａは外部機器２００が出力する音声Ａ１と同期する。
Therefore, when the state of the
次に、今回ＥｘＤが前回ＥｘＤと一致する処理について説明する。一例として、入力切換処理が行われることにより、装置状態Ｓｔが変化する場合における、同期制御処理について説明する。入力切換処理は、例えば、映像音声再生装置１００が出力する映像を、内部処理映像から外部入力映像に切換える処理である。内部処理映像は、映像処理部１１が出力する映像信号Ｖｚに基づいた映像である。外部入力映像は、例えば、映像音声再生装置１００に接続された、外部機器としての映像再生装置（図示せず）から当該映像音声再生装置１００に入力された映像である。
Next, a process in which the current ExD matches the previous ExD will be described. As an example, the synchronization control process in the case where the apparatus state St changes due to the input switching process will be described. The input switching process is, for example, a process of switching the video output from the video /
図４は、入力切換処理に関わる同期制御処理を説明するための図である。図４は、音声波形の一例を示す。なお、図４における、「Ｐ１」、「Ｐ２」および「Ｐ３」は、図２と同様であるので、説明は省略する。 FIG. 4 is a diagram for explaining a synchronization control process related to the input switching process. FIG. 4 shows an example of a speech waveform. In FIG. 4, “P1”, “P2”, and “P3” are the same as those in FIG.
ここで、同期制御処理の一例を説明するために、以下の前提Ｐｍ２を考慮する。前提Ｐｍ２では、映像を映像音声再生装置１００が出力し、音声は外部機器２００が出力する。すなわち、前提Ｐｍ２では、映像音声再生装置１００は、音声を出力しない。
Here, in order to explain an example of the synchronization control process, the following premise Pm2 is considered. In the premise Pm2, the video /
また、前提Ｐｍ２では、同期制御処理として、今回（最新）の同期制御処理が行われる。また、前提Ｐｍ２では、今回の同期制御処理が行われる前に、前回の同期制御処理がすでに行われている。また、前回の同期制御処理は、例えば、前述した前提Ｐｍ１における同期制御処理である。 In the premise Pm2, the current (latest) synchronization control process is performed as the synchronization control process. Further, in the premise Pm2, the previous synchronization control process has already been performed before the current synchronization control process is performed. The previous synchronization control process is, for example, the synchronization control process in the premise Pm1 described above.
また、前提Ｐｍ２では、映像音声再生装置１００は外部機器２００と通信可能である。また、前提Ｐｍ２では、前述した前提Ｐｍ１における同期制御処理により、映像表示部１３（映像音声再生装置１００）が出力する映像は、外部機器２００が出力する音声と同期している。また、前提Ｐｍ２では、映像音声再生装置１００が出力する映像が、外部機器２００が出力する音声と同期している状態において、入力切換処理が行われる。
Further, in the assumption Pm2, the video /
また、前提Ｐｍ２では、入力切換処理は、図４の時刻ｔ１の直前で終了する。そのため、時刻ｔ１の直前において、状態変化が発生する。 Further, in the premise Pm2, the input switching process ends immediately before time t1 in FIG. Therefore, a state change occurs immediately before time t1.
また、前提Ｐｍ２では、映像遅延付加部１２、音声遅延付加部２２および遅延算出部５０の各々は、同一の値を示す前回ＥｘＤを記憶している。前提Ｐｍ２における前回ＥｘＤは、前提Ｐｍ１における同期制御処理のＥｘＤ算出処理により算出された遅延時間ＥｘＤである。また、前提Ｐｍ２における前回ＥｘＤは、図２の「Ｐ２」に対応する「ＥｘＤ」に相当する。また、前提Ｐｍ２では、今回の同期制御処理のＥｘＤ算出処理により算出される後述の今回ＥｘＤは、前回ＥｘＤと一致する。
In the assumption Pm2, each of the video
前提Ｐｍ２における同期制御処理は、前提Ｐｍ１における同期制御処理と比較して、主に、ステップＳ１０２，Ｓ１１１，Ｓ１１２の処理が行われない点が異なる。前提Ｐｍ２における同期制御処理では、前提Ｐｍ１における同期制御処理と同様な処理は簡略化して説明する。なお、以下に示すステップ番号は、図３の同期制御処理におけるステップ番号に相当する。 The synchronization control process in the premise Pm2 is different from the synchronization control process in the premise Pm1 mainly in that the processes in steps S102, S111, and S112 are not performed. In the synchronization control process in the premise Pm2, a process similar to the synchronization control process in the premise Pm1 will be described in a simplified manner. Note that the step numbers shown below correspond to the step numbers in the synchronization control process of FIG.
図１、図３および図４を参照して、前提Ｐｍ２における同期制御処理では、まず、出力停止処理が行われる（Ｓ１０１）。これにより、映像表示部１３の状態が出力停止状態Ｓｖｎに設定され、音声出力部２３の状態が出力停止状態Ｓａｎに設定される。なお、映像音声再生装置１００は外部機器２００と通信可能であるため、ステップＳ１０２の処理は行われない。
With reference to FIG. 1, FIG. 3, and FIG. 4, in the synchronous control process in premise Pm2, an output stop process is first performed (S101). Thereby, the state of the
制御部４０が、時刻ｔ１において、状態変化通知情報を音声処理部２１へ送信する（Ｓ１０３）。音声処理部２１は、状態変化通知情報の受信に応じて、処理時間ｔｓを特定する（Ｓ１０４）。
The
音声処理部２１は、時刻ｔ２において、処理時間ｔｓを制御部４０に通知する（Ｓ１０５）。処理時間ｔｓの通知に応じて、制御部４０は、時刻ｔ２において、遅延算出部５０が算出用時間ｔｄの計測を開始するように、当該遅延算出部５０を制御する。具体的には、制御部４０は、ＥｘＤ算出指示を、遅延算出部５０へ送信する（Ｓ１０６）。
The
遅延算出部５０は、ＥｘＤ算出指示の受信に応じて、時刻ｔ２において、算出用時間ｔｄの計測を開始する（Ｓ１０７）。すなわち、遅延算出部５０は、ＥｘＤ算出指示の受信に応じて、計測処理を開始する。
In response to receiving the ExD calculation instruction, the
また、音声処理部２１は、時刻ｔ２に、前述の信号処理Ｐａを開始する。これにより、時刻ｔ２から処理時間ｔｓだけ経過した時刻ｔ３に、音声処理部２１は、音声信号Ａｚ（音声Ａ１）を音声遅延付加部２２および送信部６０へ出力する（図４の「Ｐ１」の波形参照）。
In addition, the
また、時刻ｔ３に、送信部６０は音声信号Ａｚ（音声Ａ１）を受信し、当該音声信号Ａｚを外部機器２００へ送信する。外部機器２００は、音声信号Ａｚの受信に応じて、当該音声信号Ａｚに対し前述の音声処理を行い、外部音声Ａｘ（音声Ａ１）を出力する。
Further, at time t3, the
時刻ｔ３から、遅延時間ＥｘＤだけ経過した時刻ｔ４に、マイクＭｋ１は、外部機器２００から出力された外部音声Ａｘ（音声Ａ１）を取得し、当該外部音声Ａｘを遅延算出部５０へ送信する。これにより、遅延算出部５０は、時刻ｔ４に、外部音声Ａｘ（音声Ａ１）を検出する（Ｓ１０８でＹＥＳ、図４の「Ｐ２」の波形参照）。
At time t4 when the delay time ExD has elapsed from time t3, the microphone Mk1 acquires the external audio Ax (audio A1) output from the
外部音声Ａｘ（音声Ａ１）の検出に応じて、遅延算出部５０は、計測処理を開始した時刻ｔ２から、音声Ａ１を検出した時刻ｔ４までの時間を、算出用時間ｔｄとして算出する。
In response to the detection of the external voice Ax (voice A1), the
次に、遅延算出部５０が、ＥｘＤ算出処理を行う（Ｓ１０９）。ＥｘＤ算出処理では、遅延算出部５０が、ｔｄ−ｔｓの式により、遅延時間ＥｘＤを算出する。
Next, the
次に、遅延算出部５０が、今回ＥｘＤが前回ＥｘＤと一致するか否かを判定する（Ｓ１１０）。前提Ｐｍ２では、今回ＥｘＤは前回ＥｘＤと一致する。そのため、処理はステップＳ１１４へ移行する。
Next, the
そのため、図３のステップＳ１１１の処理が行われない。すなわち、遅延算出部５０は、今回ＥｘＤである遅延時間ＥｘＤを映像遅延付加部１２および音声遅延付加部２２に通知しない。そのため、映像遅延付加部１２が映像信号を遅延させる時間、および、音声遅延付加部２２が音声信号を遅延させる時間の両方が前回ＥｘＤである状態が維持される。
Therefore, the process of step S111 in FIG. 3 is not performed. That is, the
また、ステップＳ１１２の前述の停止延長処理が行われない。そして、前述と同様に、ステップＳ１１４の停止解除処理が行われる。停止解除処理では、映像表示部１３の出力停止状態Ｓｖｎが解除される。具体的には、遅延算出部５０は、映像表示部１３の状態を、出力状態Ｓｖに設定する。なお、前提Ｐｍ２では、映像音声再生装置１００は音声を出力しないため、音声出力部２３の出力停止状態Ｓａｎは維持されたままにされる。
Further, the above-described stop extension process in step S112 is not performed. Then, in the same manner as described above, stop cancellation processing in step S114 is performed. In the stop release process, the output stop state Svn of the
したがって、時刻ｔ４以降は、映像表示部１３（映像音声再生装置１００）が出力する映像Ｖ１ａは、外部機器２００が出力する音声Ａ１と同期する。
Therefore, after time t4, the video V1a output from the video display unit 13 (video / audio reproduction device 100) is synchronized with the audio A1 output from the
以上説明したように、本実施の形態によれば、少なくとも内部映像の出力に関する、映像音声再生装置１００の状態である装置状態が変化した場合、遅延算出部５０は遅延時間ＥｘＤを算出する。映像音声再生装置１００は、遅延時間ＥｘＤの算出に応じて、当該遅延時間ＥｘＤを使用して、当該映像音声再生装置１００が出力する内部映像と、外部機器２００が出力する外部音声を同期させる。
As described above, according to the present embodiment, the
すなわち、上記の構成を有する映像音声再生装置１００は、関連構成Ａのように視聴者がリモコンを操作しなくても、内部映像と外部音声を同期させることができる。これにより、内部映像と外部音声を迅速に同期させることができる。
That is, the video /
また、本実施の形態では、映像音声再生装置１００が外部機器２００と通信可能となった場合、視聴者がリモコンを操作しなくても、自動で、内部映像と外部音声を同期させることができる。そのため、視聴者の利便性を向上させることができる。
In the present embodiment, when the video /
また、本実施の形態では、遅延算出部５０が、今回ＥｘＤが前回ＥｘＤと一致するか否かを判定する。そして、今回ＥｘＤが前回ＥｘＤと一致する場合（すなわち、外部機器２００による音声の遅延時間が変化しない場合）、映像と音声とを同期させるための同期処理を行う必要がない。そのため、映像と音声とが同期している同期状態を、視聴者に提供することができる。また、今回ＥｘＤが前回ＥｘＤと一致するか否かを判定することにより、映像音声再生装置１００の状態変化時における、映像および音声の同期のための処理を効率的に行うことができる。
In the present embodiment, the
また、本実施の形態では、同期制御処理は、状態変化が発生する毎に行われる。そのため、例えば、外部機器２００の動作状態の変化に伴い、遅延時間が変化した場合でも、映像音声再生装置１００の状態変化が発生した場合に、自動で同期制御処理が実施される。すなわち、関連構成Ａのように、映像音声再生装置１００の動作モードを、同期専用のモードに設定する必要はない。したがって、視聴者の利便性を向上させることができる。
In the present embodiment, the synchronization control process is performed every time a state change occurs. Therefore, for example, even when the delay time changes due to a change in the operating state of the
また、本実施の形態では、制御部４０が、同期制御処理における主な処理を行う。例えば、制御部４０は、装置状態Ｓｔの変化を検出する。また、制御部４０は、映像表示部１３、音声処理部２１、音声出力部２３および遅延算出部５０を制御する。そのため、制御部４０は、映像表示部１３の状態（出力状態Ｓｖ、出力停止状態Ｓｖｎ）と、音声出力部２３の状態（（出力状態Ｓａ、出力停止状態Ｓａｎ）と連携して、各構成要素を制御できる。そのため、例えば、視聴者が不快に感じる音等の発生を抑制することができる。
In the present embodiment, the
なお、関連構成Ａでは、内部映像と外部音声を同期させるためには、動作モードを調整モードから視聴モードに切り換える必要がある。また、関連構成Ａでは、動作モードを調整モードから視聴モードに切り換えるためには、視聴者がリモコンを操作する必要がある。そのため、視聴者の利便性がよくないという問題がある。 In the related configuration A, in order to synchronize the internal video and the external audio, it is necessary to switch the operation mode from the adjustment mode to the viewing mode. In the related configuration A, the viewer needs to operate the remote controller to switch the operation mode from the adjustment mode to the viewing mode. Therefore, there is a problem that the convenience of the viewer is not good.
そこで、本実施の形態の映像音声再生装置１００は、上記の効果を奏するための構成を有する。そのため、本実施の形態の映像音声再生装置１００により、上記の問題を解決することができる。
Therefore, the video /
なお、本実施の形態では、映像音声再生装置１００が音声を出力しない前提Ｐｍ１，Ｐｍ２における処理について説明した。しかしながら、視聴者が、映像音声再生装置１００および外部機器２００の両方が、同時に音声を出力することを望む場合、音声出力部２３の出力停止状態Ｓａｎを解除してもよい。この場合、遅延算出部５０は、音声出力部２３の状態を出力状態Ｓａに設定する。これにより、映像音声再生装置１００（音声出力部２３）および外部機器２００の両方から、音声が出力される。
In the present embodiment, the processing in the assumptions Pm1 and Pm2 in which the audio /
＜変形例１＞
以下においては、実施の形態１の構成を、「構成Ｃｔ１」ともいう。また、以下においては、本変形例の構成を「構成Ｃｔｍ１」ともいう。構成Ｃｔｍ１は、実施の形態１において制御部４０が行っていた処理の一部を、音声処理部２１が行う構成である。構成Ｃｔｍ１は、構成Ｃｔ１（実施の形態１）に適用される。
<Modification 1>
Hereinafter, the configuration of the first embodiment is also referred to as “configuration Ct1”. In the following, the configuration of this modification is also referred to as “configuration Ctm1”. The configuration Ctm1 is a configuration in which the
図５は、変形例１に係る映像音声再生装置１００の構成を示すブロック図である。構成Ｃｔｍ１では、音声処理部２１は、映像表示部１３が映像信号に基づいた内部映像を出力するタイミングを制御する。具体的には、音声処理部２１は、必要に応じて、映像表示部１３の状態を、出力停止状態Ｓｖｎまたは出力状態Ｓｖに設定する。また、音声処理部２１は、音声出力部２３が音声信号に基づいた内部音声を出力するタイミングを制御する。具体的には、音声処理部２１は、必要に応じて、音声出力部２３の状態を、出力停止状態Ｓａｎまたは出力状態Ｓａに設定する。
FIG. 5 is a block diagram showing the configuration of the video /
例えば、構成Ｃｔｍ１における、図３のステップＳ１０１（出力停止処理）では、音声処理部２１が、映像表示部１３の状態を出力停止状態Ｓｖｎに設定し、音声出力部２３の状態を出力停止状態Ｓａｎに設定する。
For example, in the configuration Ctm1, in step S101 (output stop process) in FIG. 3, the
なお、制御部４０は、装置状態Ｓｔの変化に応じて、状態変化通知情報を音声処理部２１へ送信する。音声処理部２１は、状態変化通知情報の受信に応じて、処理時間ｔｓを特定する（Ｓ１０４）。
Note that the
また、構成Ｃｔｍ１におけるステップＳ１０５の処理では、音声処理部２１は、処理時間ｔｓを遅延算出部５０に通知する。
In the process of step S105 in the configuration Ctm1, the
また、音声処理部２１は、時刻ｔ２において、遅延算出部５０が算出用時間ｔｄの計測を開始するように、当該遅延算出部５０を制御する。具体的には、構成Ｃｔｍ１におけるステップＳ１０６の処理では、音声処理部２１は、ＥｘＤ算出指示を、遅延算出部５０へ送信する。
In addition, the
すなわち、構成Ｃｔｍ１では、制御部４０が送信した状態変化通知情報を音声処理部２１が受信した後における、実施の形態１の同期制御処理の各処理を、制御部４０以外の各構成要素が行う。これにより、制御部４０にかかる負荷を低減させることができる。
That is, in the configuration Ctm1, each component other than the
なお、状態変化通知情報を音声処理部２１へ送信する処理を、制御部４０以外の構成要素が行う構成とすれば、制御部４０を不要とすることができる。そのため、当該構成では、同期制御処理を、より少ない構成要素で実現することができる。
In addition, if the process which transmits state change notification information to the audio |
（機能ブロック図）
図６は、映像音声再生装置ＢＬ１０の特徴的な機能構成を示すブロック図である。映像音声再生装置ＢＬ１０は、映像音声再生装置１００に相当する。つまり、図６は、映像音声再生装置ＢＬ１０の有する機能のうち、本発明に関わる主要な機能を示すブロック図である。
(Function block diagram)
FIG. 6 is a block diagram showing a characteristic functional configuration of the video / audio reproduction device BL10. The video / audio reproduction device BL10 corresponds to the video /
映像音声再生装置ＢＬ１０は、映像を出力する機能を有し、かつ、音声信号の受信に応じて当該音声信号に基づいた音声を出力する外部機器ＢＬ２０と通信する。外部機器ＢＬ２０は、外部機器２００に相当する。
The video / audio reproduction device BL10 has a function of outputting video and communicates with an external device BL20 that outputs audio based on the audio signal in response to reception of the audio signal. The external device BL20 corresponds to the
映像音声再生装置ＢＬ１０は、機能的には、送信部ＢＬ１と、遅延算出部ＢＬ２とを備える。送信部ＢＬ１は、前記音声信号を前記外部機器ＢＬ２０へ送信する。送信部ＢＬ１は、送信部６０に相当する。
The video / audio reproduction device BL10 functionally includes a transmission unit BL1 and a delay calculation unit BL2. The transmission unit BL1 transmits the audio signal to the external device BL20. The transmission unit BL1 corresponds to the
遅延算出部ＢＬ２は、映像音声再生装置ＢＬ１０が出力する映像である内部映像が、外部機器ＢＬ２０が前記音声信号の受信に応じて出力する音声である外部音声と同期するようにするための遅延時間を算出する。遅延算出部ＢＬ２は、遅延算出部５０に相当する。
The delay calculation unit BL2 delays the internal video that is the video output from the video / audio reproduction device BL10 to synchronize with the external audio that is the audio that the external device BL20 outputs in response to the reception of the audio signal. Is calculated. The delay calculation unit BL2 corresponds to the
少なくとも前記内部映像の出力に関する、映像音声再生装置ＢＬ１０の状態である装置状態が変化した場合、遅延算出部ＢＬ２は前記遅延時間を算出する。映像音声再生装置ＢＬ１０は、前記遅延時間の算出に応じて、当該遅延時間を使用して、当該映像音声再生装置ＢＬ１０が出力する前記内部映像と、前記外部機器が出力する前記外部音声を同期させる。 At least when the device state, which is the state of the video / audio reproduction device BL10, relating to the output of the internal video has changed, the delay calculation unit BL2 calculates the delay time. In accordance with the calculation of the delay time, the video / audio reproduction device BL10 uses the delay time to synchronize the internal video output by the video / audio reproduction device BL10 and the external audio output by the external device. .
（その他の変形例）
以上、本発明に係る映像音声再生装置について、実施の形態および変形例に基づいて説明したが、本発明は、当該実施の形態および変形例に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を実施の形態および変形例に施したものも、本発明に含まれる。つまり、本発明は、その発明の範囲内において、実施の形態、変形例を自由に組み合わせたり、実施の形態、変形例を適宜、変形、省略することが可能である。
(Other variations)
The video / audio reproduction device according to the present invention has been described based on the embodiment and the modification. However, the present invention is not limited to the embodiment and the modification. The present invention includes those in which the modifications conceived by those skilled in the art have been made to the embodiments and modifications within the scope not departing from the gist of the present invention. That is, within the scope of the present invention, the present invention can be freely combined with the embodiments and modifications, and the embodiments and modifications can be appropriately modified and omitted.
また、映像音声再生装置１００は、図で示される全ての構成要素を含まなくてもよい。すなわち、映像音声再生装置１００は、本発明の効果を実現できる最小限の構成要素のみを含めばよい。例えば、映像音声再生装置１００は、映像表示部１３および音声出力部２３を備えない構成としてもよい。当該構成では、例えば、映像表示部１３および音声出力部２３を含む外部機器が、映像音声再生装置１００に接続される。
Further, the video /
また、映像音声再生装置１００に含まれる、送信部６０および遅延算出部５０の各々の機能は、処理回路により実現されてもよい。
The functions of the
当該処理回路は、前記音声信号を前記外部機器へ送信するための回路である。 The processing circuit is a circuit for transmitting the audio signal to the external device.
また、当該処理回路は、前記映像音声再生装置が出力する映像である内部映像が、前記外部機器が前記音声信号の受信に応じて出力する音声である外部音声と同期するようにするための遅延時間を算出するための回路でもある。 In addition, the processing circuit delays the internal video, which is the video output from the video / audio reproduction device, to synchronize with the external audio, which is the audio output by the external device in response to reception of the audio signal. It is also a circuit for calculating time.
また、当該処理回路は、少なくとも前記内部映像の出力に関する、前記映像音声再生装置の状態である装置状態が変化した場合、前記遅延時間を算出するための回路でもある。 The processing circuit is also a circuit for calculating the delay time when a device state, which is a state of the video / audio reproduction device, at least regarding the output of the internal video is changed.
処理回路は、専用のハードウエアであってよい。また、処理回路は、メモリに格納されるプログラムを実行するプロセッサであってもよい。当該プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。 The processing circuit may be dedicated hardware. The processing circuit may be a processor that executes a program stored in the memory. The processor is, for example, a CPU (Central Processing Unit), a central processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
以下においては、処理回路が専用のハードウエアである構成を、「構成Ｃｓ１」ともいう。また、以下においては、処理回路が、プロセッサである構成を、「構成Ｃｓ２」ともいう。また、以下においては、送信部６０および遅延算出部５０の各々の機能を、ハードウエアとソフトウエアとの組み合わせにより実現する構成を、「構成Ｃｓ３」ともいう。
Hereinafter, the configuration in which the processing circuit is dedicated hardware is also referred to as “configuration Cs1”. In the following, the configuration in which the processing circuit is a processor is also referred to as “configuration Cs2”. Hereinafter, a configuration in which the functions of the
構成Ｃｓ１では、処理回路は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。送信部６０および遅延算出部５０の機能は、それぞれ、２つの処理回路で実現されてもよい。また、送信部６０および遅延算出部５０の全ての機能が、１つの処理回路で実現されてもよい。
In the configuration Cs1, the processing circuit is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination thereof. Applicable. The functions of the
なお、映像音声再生装置１００に含まれる各構成要素の全てまたは一部を、ハードウエアで示した構成は、例えば、以下のようになる。以下においては、映像音声再生装置１００に含まれる各構成要素の全てまたは一部を、ハードウエアで示した映像音声再生装置を、「映像音声再生装置ｈｄ１０」ともいう。
Note that a configuration in which all or a part of each component included in the video /
図７は、映像音声再生装置ｈｄ１０のハードウエア構成図である。図７を参照して、映像音声再生装置ｈｄ１０は、プロセッサｈｄ１と、メモリｈｄ２とを備える。メモリｈｄ２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性または揮発性の半導体メモリである。また、メモリｈｄ２は、例えば、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等である。また、メモリｈｄ２は、今後使用されるあらゆる記憶媒体であってもよい。 FIG. 7 is a hardware configuration diagram of the video / audio reproduction device hd10. Referring to FIG. 7, the video / audio reproduction device hd10 includes a processor hd1 and a memory hd2. The memory hd2 is, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM, or an EEPROM. The memory hd2 is, for example, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. The memory hd2 may be any storage medium that will be used in the future.
構成Ｃｓ２では、処理回路は、プロセッサｈｄ１である。構成Ｃｓ２では、送信部６０および遅延算出部５０の各々の機能は、ソフトウエア、ファームウエア、またはソフトウエアとファームウエアとの組み合わせにより実現される。ソフトウエアまたはファームウエアは、プログラムとして記述され、メモリｈｄ２に格納される。
In the configuration Cs2, the processing circuit is the processor hd1. In the configuration Cs2, the functions of the
また、構成Ｃｓ２では、処理回路（プロセッサｈｄ１）が、メモリｈｄ２に記憶されたプログラムを読み出して、当該プログラムを実行することにより、送信部６０および遅延算出部５０の各々の機能は実現される。すなわち、メモリｈｄ２は、以下のプログラムを格納する。
In the configuration Cs2, the processing circuit (processor hd1) reads out the program stored in the memory hd2 and executes the program, whereby the functions of the
当該プログラムは、前記音声信号を前記外部機器へ送信するステップを、処理回路（プロセッサｈｄ１）に実行させるためのプログラムである。 The program is a program for causing a processing circuit (processor hd1) to execute the step of transmitting the audio signal to the external device.
また、当該プログラムは、前記映像音声再生装置が出力する映像である内部映像が、前記外部機器が前記音声信号の受信に応じて出力する音声である外部音声と同期するようにするための遅延時間を算出するステップを、処理回路（プロセッサｈｄ１）に実行させるためのプログラムでもある。 The program also includes a delay time for synchronizing an internal video, which is a video output by the video / audio reproduction device, with an external audio, which is a sound output by the external device in response to reception of the audio signal. Is also a program for causing the processing circuit (processor hd1) to execute the step of calculating.
また、当該プログラムは、少なくとも前記内部映像の出力に関する、前記映像音声再生装置の状態である装置状態が変化した場合、前記遅延時間を算出するステップを、処理回路（プロセッサｈｄ１）に実行させるためのプログラムでもある。 Further, the program causes the processing circuit (processor hd1) to execute the step of calculating the delay time when the device state, which is the state of the video / audio reproduction device, at least regarding the output of the internal video has changed. It is also a program.
また、当該プログラムは、送信部６０および遅延算出部５０の各々が行う処理の手順、当該処理を実行する方法等をコンピュータに実行させるものでもある。
The program also causes the computer to execute a procedure of processing performed by each of the
構成Ｃｓ３では、送信部６０および遅延算出部５０の一部の機能は、専用のハードウエアで実現される。また、構成Ｃｓ３では、送信部６０および遅延算出部５０の別の一部の機能は、ソフトウエアまたはファームウエアで実現される。
In the configuration Cs3, some functions of the
例えば、送信部６０の機能は、処理回路がメモリに格納されたプログラムを読み出して実行することによって実現される。また、例えば、遅延算出部５０の機能は、専用のハードウエアとしての処理回路で実現される。
For example, the function of the
以上の構成Ｃｓ１、構成Ｃｓ２および構成Ｃｓ３のように、処理回路は、ハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせによって、上述の各機能を実現することができる。 Like the configuration Cs1, the configuration Cs2, and the configuration Cs3 described above, the processing circuit can realize the functions described above by hardware, software, firmware, or a combination thereof.
また、本発明は、映像音声再生装置１００が備える特徴的な構成部の動作をステップとする同期制御方法として実現してもよい。また、本発明は、そのような同期制御方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
In addition, the present invention may be realized as a synchronization control method in which operations of characteristic components included in the video /
また、本発明に係る同期制御方法は、例えば、図３の同期制御処理に相当する。 Further, the synchronization control method according to the present invention corresponds to, for example, the synchronization control process of FIG.
上記実施の形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施の形態で用いた各数値に制限されない。 All the numerical values used in the above-mentioned embodiment are examples of numerical values for specifically explaining the present invention. That is, the present invention is not limited to the numerical values used in the above embodiments.
なお、本発明は、その発明の範囲内において、実施の形態、変形例を自由に組み合わせたり、実施の形態、変形例を適宜、変形、省略することが可能である。 It should be noted that the present invention can be freely combined with the embodiments and modifications within the scope of the invention, and the embodiments and modifications can be appropriately modified and omitted.
１１ 映像処理部、１２ 映像遅延付加部、１３ 映像表示部、２１ 音声処理部、２２ 音声遅延付加部、２３ 音声出力部、４０ 制御部、５０，ＢＬ２ 遅延算出部、６０，ＢＬ１ 送信部、１００，ＢＬ１０，ｈｄ１０ 映像音声再生装置、２００ 外部機器、Ｍｋ１ マイク。 11 video processing unit, 12 video delay adding unit, 13 video display unit, 21 audio processing unit, 22 audio delay adding unit, 23 audio output unit, 40 control unit, 50, BL2 delay calculating unit, 60, BL1 transmitting unit, 100 , BL10, hd10 Video / audio playback device, 200 external device, Mk1 microphone.
Claims (10)
前記映像音声再生装置は、
前記音声信号を前記外部機器へ送信する送信部と、
前記映像音声再生装置が出力する映像である内部映像が、前記外部機器が前記音声信号の受信に応じて出力する音声である外部音声と同期するようにするための遅延時間を算出する遅延算出部とを備え、
少なくとも前記内部映像の出力に関する、前記映像音声再生装置の状態である装置状態が変化した場合、前記遅延算出部は前記遅延時間を算出し、
前記映像音声再生装置は、前記遅延時間の算出に応じて、当該遅延時間を使用して、当該映像音声再生装置が出力する前記内部映像と、前記外部機器が出力する前記外部音声を同期させる
映像音声再生装置。 A video / audio playback device that has a function of outputting video and communicates with an external device that outputs audio based on the audio signal in response to reception of the audio signal,
The video / audio reproduction device includes:
A transmitter for transmitting the audio signal to the external device;
A delay calculation unit that calculates a delay time for causing an internal video that is a video output from the video / audio reproduction device to synchronize with an external audio that is a sound output by the external device in response to reception of the audio signal. And
When the device state that is the state of the video / audio reproduction device at least regarding the output of the internal video has changed, the delay calculation unit calculates the delay time,
The video / audio reproduction device uses the delay time in accordance with the calculation of the delay time to synchronize the internal video output by the video / audio reproduction device and the external audio output by the external device. Audio playback device.
元の音声信号に対し信号処理を行い、当該信号処理が行われた当該元の音声信号である前記音声信号を出力する音声処理部と、
前記外部機器が出力する前記外部音声を取得するマイクとを備え、
前記送信部は、前記音声処理部が出力した前記音声信号を前記外部機器へ送信し、
前記遅延算出部は、前記音声信号を受信した前記外部機器が出力する前記外部音声を前記マイクが取得したことに応じて、前記音声処理部が前記信号処理を開始してから当該音声処理部が当該音声信号を出力するまでの時間である処理時間を使用して、前記遅延時間を算出する
請求項１に記載の映像音声再生装置。 The video / audio reproduction device further includes:
An audio processing unit that performs signal processing on the original audio signal and outputs the audio signal that is the original audio signal that has been subjected to the signal processing;
A microphone for acquiring the external sound output by the external device;
The transmission unit transmits the audio signal output by the audio processing unit to the external device,
In response to the microphone acquiring the external sound output by the external device that has received the audio signal, the delay calculation unit is configured so that the audio processing unit starts after the audio processing unit starts the signal processing. The video / audio reproduction device according to claim 1, wherein the delay time is calculated using a processing time which is a time until the audio signal is output.
前記装置状態を監視する制御部を備え、
前記制御部は、前記装置状態の変化に応じて、当該変化を通知するための状態変化通知情報を前記音声処理部へ送信し、
前記音声処理部は、
（ａ１）前記状態変化通知情報の受信に応じて、前記処理時間を特定し、
（ａ２）前記処理時間を前記制御部に通知する
請求項２に記載の映像音声再生装置。 The video / audio reproduction device further includes:
A control unit for monitoring the device state;
The control unit transmits state change notification information for notifying the change to the sound processing unit according to the change in the device state,
The voice processing unit
(A1) Specifying the processing time in response to receiving the state change notification information,
(A2) The video / audio reproduction device according to claim 2, wherein the control unit is notified of the processing time.
前記算出用時間は、前記外部機器が出力する前記外部音声を前記マイクが取得することにより確定され、
前記遅延算出部は、前記算出用時間と、前記制御部から通知された前記処理時間とに基づいて、前記遅延時間を算出する
請求項３に記載の映像音声再生装置。 The delay calculation unit measures a calculation time which is a time for calculating the delay time,
The calculation time is determined by the microphone acquiring the external sound output by the external device,
The video / audio reproduction device according to claim 3, wherein the delay calculation unit calculates the delay time based on the calculation time and the processing time notified from the control unit.
前記音声信号に対応する映像信号を遅延させて出力する機能を有する映像遅延付加部と、
前記映像遅延付加部が出力する前記映像信号に基づいた前記内部映像を出力する機能を有する映像表示部とを備え、
前記遅延算出部は、前記遅延時間を前記映像遅延付加部に通知し、
前記映像表示部が出力する前記内部映像が、前記外部機器が出力する前記外部音声と同期した映像となるように、前記映像遅延付加部は前記映像信号を前記遅延時間だけ遅延させて出力する
請求項１から４のいずれか１項に記載の映像音声再生装置。 The video / audio reproduction device further includes:
A video delay adding unit having a function of delaying and outputting a video signal corresponding to the audio signal;
A video display unit having a function of outputting the internal video based on the video signal output by the video delay adding unit;
The delay calculating unit notifies the video delay adding unit of the delay time;
The video delay adding unit delays and outputs the video signal by the delay time so that the internal video output from the video display unit is a video synchronized with the external audio output from the external device. Item 5. The video / audio reproduction device according to any one of Items 1 to 4.
前記遅延算出部は、算出された今回の前記遅延時間である今回遅延時間と、算出された前回の前記遅延時間である前回遅延時間とを比較し、
前記遅延算出部は、
（ｂ１）前記今回遅延時間が前記前回遅延時間と一致する場合、当該今回遅延時間を前記映像遅延付加部に通知せず、
（ｂ２）前記今回遅延時間が前記前回遅延時間と一致しない場合、当該今回遅延時間を前記映像遅延付加部に通知する
請求項５に記載の映像音声再生装置。 The delay calculation unit calculates the delay time each time a change in the device state occurs,
The delay calculation unit compares the current delay time that is the current delay time calculated with the previous delay time that is the previous delay time calculated,
The delay calculation unit
(B1) When the current delay time coincides with the previous delay time, the current delay time is not notified to the video delay adding unit,
(B2) The video / audio reproduction device according to claim 5, wherein, when the current delay time does not coincide with the previous delay time, the current delay time is notified to the video delay adding unit.
前記音声信号に対応する映像信号を遅延させて出力する機能を有する映像遅延付加部と、
前記映像遅延付加部が出力する前記映像信号に基づいた前記内部映像を出力する機能を有する映像表示部とを備え、
前記音声処理部が前記制御部に前記処理時間を通知した場合、
（ｃ１）前記制御部は、前記遅延算出部が前記遅延時間を算出するための時間である算出用時間の計測を開始するように、当該遅延算出部を制御し、
（ｃ２）前記制御部は、前記映像表示部が前記映像信号に基づいた前記内部映像を出力するタイミングを制御する
請求項３に記載の映像音声再生装置。 The video / audio reproduction device further includes:
A video delay adding unit having a function of delaying and outputting a video signal corresponding to the audio signal;
A video display unit having a function of outputting the internal video based on the video signal output by the video delay adding unit;
When the voice processing unit notifies the control unit of the processing time,
(C1) The control unit controls the delay calculation unit so as to start measurement of a calculation time that is a time for the delay calculation unit to calculate the delay time,
(C2) The video / audio reproduction device according to claim 3, wherein the control unit controls a timing at which the video display unit outputs the internal video based on the video signal.
前記音声信号を前記遅延時間だけ遅延させて出力する機能を有する音声遅延付加部と、
前記音声遅延付加部から出力された前記音声信号に基づいた音声である内部音声を出力する機能を有する音声出力部とを備え、
前記音声処理部が前記制御部に前記処理時間を通知した場合、前記制御部は、前記音声出力部が前記内部音声を出力するタイミングを制御する
請求項７に記載の映像音声再生装置。 The video / audio reproduction device further includes:
An audio delay adding unit having a function of outputting the audio signal after delaying the delay time;
An audio output unit having a function of outputting internal audio that is audio based on the audio signal output from the audio delay adding unit;
The video / audio reproduction device according to claim 7, wherein, when the audio processing unit notifies the control unit of the processing time, the control unit controls a timing at which the audio output unit outputs the internal audio.
前記装置状態を監視する制御部と、
前記音声信号に対応する映像信号を遅延させて出力する機能を有する映像遅延付加部と、
前記映像遅延付加部が出力する前記映像信号に基づいた前記内部映像を出力する機能を有する映像表示部とを備え、
前記制御部は、前記装置状態の変化に応じて、当該変化を通知するための状態変化通知情報を前記音声処理部へ送信し、
前記音声処理部は、
（ｄ１）前記状態変化通知情報の受信に応じて、前記処理時間を特定し、
（ｄ２）前記処理時間を前記遅延算出部に通知し、
（ｄ３）前記遅延算出部が前記遅延時間を算出するための時間である算出用時間の計測を開始するように、当該遅延算出部を制御し、
（ｄ４）前記映像表示部が前記映像信号に基づいた前記内部映像を出力するタイミングを制御する
請求項２に記載の映像音声再生装置。 The video / audio reproduction device further includes:
A control unit for monitoring the device state;
A video delay adding unit having a function of delaying and outputting a video signal corresponding to the audio signal;
A video display unit having a function of outputting the internal video based on the video signal output by the video delay adding unit;
The control unit transmits state change notification information for notifying the change to the sound processing unit according to the change in the device state,
The voice processing unit
(D1) specifying the processing time in response to receiving the state change notification information;
(D2) Notifying the delay calculation unit of the processing time;
(D3) controlling the delay calculation unit so as to start measurement of a calculation time that is a time for the delay calculation unit to calculate the delay time;
(D4) The video / audio reproduction device according to claim 2, wherein the video display unit controls a timing of outputting the internal video based on the video signal.
前記音声信号を前記遅延時間だけ遅延させて出力する機能を有する音声遅延付加部と、
前記音声遅延付加部から出力された前記音声信号に基づいた音声である内部音声を出力する機能を有する音声出力部とを備え、
前記音声処理部は、前記音声出力部が前記内部音声を出力するタイミングを制御する
請求項９に記載の映像音声再生装置。 The video / audio reproduction device further includes:
An audio delay adding unit having a function of outputting the audio signal after delaying the delay time;
An audio output unit having a function of outputting internal audio that is audio based on the audio signal output from the audio delay adding unit;
The video / audio reproduction device according to claim 9, wherein the audio processing unit controls a timing at which the audio output unit outputs the internal audio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018102076A JP2019208117A (en) | 2018-05-29 | 2018-05-29 | Video and audio reproduction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018102076A JP2019208117A (en) | 2018-05-29 | 2018-05-29 | Video and audio reproduction device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019208117A true JP2019208117A (en) | 2019-12-05 |
Family
ID=68767849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018102076A Pending JP2019208117A (en) | 2018-05-29 | 2018-05-29 | Video and audio reproduction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019208117A (en) |
-
2018
- 2018-05-29 JP JP2018102076A patent/JP2019208117A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10992451B2 (en) | Audio and video playback system and method for playing audio data applied thereto | |
| JP5660895B2 (en) | Apparatus and method for synchronizing user observable signals | |
| US9578210B2 (en) | A/V Receiving apparatus and method for delaying output of audio signal and A/V signal processing system | |
| JP5957760B2 (en) | Video / audio processor | |
| US9521503B2 (en) | Audio player with bluetooth function and audio playing method thereof | |
| US11678005B2 (en) | Latency negotiation in a heterogeneous network of synchronized speakers | |
| KR20150131896A (en) | Contents output apparatus, mobile apparatus and controlling method thereof | |
| JP7349367B2 (en) | Fixing speaker latency | |
| JP4256710B2 (en) | AV transmission method, AV transmission device, AV transmission device, and AV reception device | |
| US20140205104A1 (en) | Information processing apparatus, information processing method, and program | |
| US20100124403A1 (en) | Automatic correction of audio/video synchronization | |
| JP2019208117A (en) | Video and audio reproduction device | |
| JP6956354B2 (en) | Video signal output device, control method, and program | |
| JP2019526999A (en) | Media processing capability notification | |
| JP2011130236A (en) | Audio amplifier | |
| KR20010018572A (en) | Apparatus for synchronizing audio/video signal and method thereof | |
| JP2009246911A (en) | Voice reproduction system, voice processing device, display device, and program thereof | |
| WO2007114347A1 (en) | Video/audio reproducing apparatus and its control method | |
| US10917465B2 (en) | Synchronization setting device and distribution system | |
| JP2009130706A (en) | Voice output control system | |
| JP2010154249A (en) | Video and sound playback system and distribution apparatus | |
| KR100808201B1 (en) | Method for synchronizing audio/video data | |
| KR20030030331A (en) | Television set capable of selectively controlling volume, home-theater system and method for controlling volume of home-theater | |
| JP2010136294A (en) | Video/audio output device and computer program | |
| JP2016171418A (en) | Delay control device |