JP2016103783A - Reproduction control device, reproduction control method and program - Google Patents

Reproduction control device, reproduction control method and program Download PDF

Info

Publication number
JP2016103783A
JP2016103783A JP2014241963A JP2014241963A JP2016103783A JP 2016103783 A JP2016103783 A JP 2016103783A JP 2014241963 A JP2014241963 A JP 2014241963A JP 2014241963 A JP2014241963 A JP 2014241963A JP 2016103783 A JP2016103783 A JP 2016103783A
Authority
JP
Japan
Prior art keywords
frame
counter value
reproduction
frames
synchronization signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014241963A
Other languages
Japanese (ja)
Other versions
JP6347204B2 (en
Inventor
真悟 小関
Shingo Ozeki
真悟 小関
慎一郎 佐川
Shinichiro Sagawa
慎一郎 佐川
善隆 福永
Yoshitaka Fukunaga
善隆 福永
啓二 奥間
Keiji Okuma
啓二 奥間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silex Technology Inc
Original Assignee
Silex Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silex Technology Inc filed Critical Silex Technology Inc
Priority to JP2014241963A priority Critical patent/JP6347204B2/en
Publication of JP2016103783A publication Critical patent/JP2016103783A/en
Application granted granted Critical
Publication of JP6347204B2 publication Critical patent/JP6347204B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To prevent a frame in contents to be reproduced from being missed or overlapped.SOLUTION: A reproduction control device 10 comprises: a timer 304 for managing a present counter value that is a counter value to increase at an interval of a predetermined time; a memory 306 for output which holds each of a plurality of frames successively as a target frame; a synchronizing signal generation part which cyclically generates a vertical synchronizing signal and outputs the generated vertical synchronizing signal to a reproduction device 20; a signal output part 303 which outputs the target frame being held in the memory 306 for output to the reproduction device 20 synchronously with the vertical synchronizing signal; and a control part 301 which calculates a differential value between a reproduction counter value added to the target frame and the present counter value at the time when the signal output part 303 outputs the target frame, and performs control for increasing/decreasing the cycle of the vertical synchronizing signal on the basis of the calculated differential value in such a manner that a differential value that is calculated for a subsequent frame after the target frame among the plurality of frames is settled within a predetermined proper range.SELECTED DRAWING: Figure 3

Description

本発明は、再生制御装置、再生制御方法、及び、プログラムに関する。   The present invention relates to a playback control device, a playback control method, and a program.

画像又は音声を含むコンテンツを再生する再生装置がある。再生装置は、ネットワーク経由で受信する、又は、当該再生装置内の記憶装置に記憶している画像データ又は音声データに基づいて画像又は音声を再生する。   There are playback devices that play back content including images or sounds. The playback device plays back an image or sound based on image data or sound data received via a network or stored in a storage device in the playback device.

再生される画像等には、再生装置における再生タイミングを示すためのタイミング情報が付加されており、再生装置は、付加されているタイミング情報に基づいてコンテンツを再生する。   Timing information for indicating the playback timing in the playback device is added to the image to be played back, and the playback device plays back the content based on the added timing information.

特許文献1は、コンテンツの送信する送信装置(親機)と、コンテンツを受信及び再生する再生装置(子機)とで、再生タイミングを同期させる技術を開示する。   Patent Document 1 discloses a technique for synchronizing reproduction timing between a transmission device (master device) that transmits content and a reproduction device (child device) that receives and reproduces content.

特許第5418003号公報Japanese Patent No. 5418033

しかしながら、タイミング情報を付加した装置が管理する時刻情報の進みの速さと、再生装置が管理する時刻情報の進みの速さとに差異が生ずることがある。差異が生ずると、再生装置によりコンテンツを再生している最中に、フレームの欠落又は重複が発生し、視聴効果が低下するという問題がある。   However, there may be a difference between the advance speed of the time information managed by the apparatus to which the timing information is added and the advance speed of the time information managed by the playback apparatus. When the difference occurs, there is a problem that a missing or overlapping frame occurs while the content is played back by the playback device, and the viewing effect is lowered.

本発明は、上記問題を解決するためになされたものであり、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制する再生制御装置等を提供することを目的とする。   The present invention has been made to solve the above problem, and an object of the present invention is to provide a playback control device and the like that suppress the occurrence of missing or overlapping frames in the content to be played back.

上記課題を解決するために、本発明の一態様に係る再生制御装置は、複数のフレームを含むコンテンツを再生装置に再生させるための再生制御装置であって、前記複数のフレームのそれぞれには、当該フレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されており、前記再生制御装置は、所定の時間ごとに増加するカウンタ値である現在カウンタ値を管理するタイマと、前記複数のフレームのそれぞれを、順次、対象フレームとして保持する出力用メモリと、周期的に垂直同期信号を生成し、生成した前記垂直同期信号を前記再生装置に出力する同期信号生成部と、前記垂直同期信号に同期させて、前記出力用メモリに保持されている前記対象フレームを前記再生装置に出力する信号出力部と、前記対象フレームに付加された再生カウンタ値と、前記信号出力部が前記対象フレームを出力した時の前記現在カウンタ値との差分値を算出し、算出した前記差分値に基づいて、前記複数のフレームのうち前記対象フレームより後の後続フレームについて算出される差分値が所定の適正範囲に入るように、前記垂直同期信号の周期を増減させる制御を行う制御部とを備える。   In order to solve the above problem, a playback control device according to an aspect of the present invention is a playback control device for causing a playback device to play back content including a plurality of frames, and each of the plurality of frames includes: A reproduction counter value that is a counter value indicating the timing at which the frame should be reproduced is added, and the reproduction control device includes a timer that manages a current counter value that is a counter value that increases every predetermined time; An output memory that sequentially holds each of the frames as a target frame, a synchronization signal generation unit that periodically generates a vertical synchronization signal and outputs the generated vertical synchronization signal to the playback device, and the vertical synchronization A signal output unit for outputting the target frame held in the output memory to the playback device in synchronization with a signal; and the target frame A difference value between the added reproduction counter value and the current counter value when the signal output unit outputs the target frame is calculated, and the target among the plurality of frames is calculated based on the calculated difference value. A control unit that performs control to increase or decrease the period of the vertical synchronization signal so that a difference value calculated for a subsequent frame after the frame falls within a predetermined appropriate range.

これによれば、再生制御装置は、再生カウンタ値の更新周期に基づいて垂直同期信号の周期を増減することで調整する。フレームに付加されている再生カウンタ値は、当該フレームを生成した装置により管理されている。上記フレームを生成した装置、及び、再生制御装置のそれぞれにおいて同じ速さでカウンタ値を進めることを意図しても、ハードウェアの個体差により両者に微小な時間差が生じ、時間の経過とともに上記時間差が累積する。この時間差が、再生装置において再生されるフレームの欠落又は重複の原因となる。そこで、再生カウンタ値の更新周期に基づいて垂直同期信号の周期を調整することで上記時間差を小さくするように制御し、調整後の垂直同期信号によるタイミングで再生装置へフレームを出力することで、再生するフレームの欠落又は重複を回避することができる。よって、再生制御装置は、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。   According to this, the reproduction control device adjusts by increasing / decreasing the period of the vertical synchronization signal based on the update period of the reproduction counter value. The reproduction counter value added to the frame is managed by the device that generated the frame. Even if the device that generated the frame and the playback control device intend to advance the counter value at the same speed, there is a slight time difference between the two due to individual differences in hardware, and the time difference as time elapses. Accumulate. This time difference causes missing or overlapping frames to be reproduced in the reproduction apparatus. Therefore, by adjusting the period of the vertical synchronization signal based on the update period of the reproduction counter value, it is controlled to reduce the time difference, and by outputting the frame to the reproduction device at the timing according to the adjusted vertical synchronization signal, Missing or overlapping frames to be reproduced can be avoided. Therefore, the playback control device can suppress the occurrence of missing or overlapping frames in the content to be played back.

また、前記制御部は、前記再生カウンタ値から、前記信号出力部が前記対象フレームを出力した時の前記現在カウンタ値を減じた値を前記差分値として算出し、(i)前記差分値が正であるときには、前記垂直同期信号の周期を増加させ、(ii)前記差分値が負であるときには、前記垂直同期信号の周期を減少させる。   Further, the control unit calculates, as the difference value, a value obtained by subtracting the current counter value when the signal output unit outputs the target frame from the reproduction counter value, and (i) the difference value is a positive value. When the difference value is negative, the period of the vertical synchronization signal is increased. (Ii) When the difference value is negative, the period of the vertical synchronization signal is decreased.

これによれば、再生制御装置は、具体的に差分値を算出し、差分値の正負に基づいて垂直同期信号の周期を増加又は減少させる。よって、再生制御装置は、より適切に、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。   According to this, the reproduction control device specifically calculates the difference value, and increases or decreases the period of the vertical synchronization signal based on the sign of the difference value. Therefore, the playback control apparatus can more appropriately suppress the occurrence of frame loss or duplication in the content to be played back.

また、前記制御部は、複数の前記差分値を算出し、算出した複数の前記差分値を統計処理することで統計差分値を算出し、算出した前記統計差分値を前記差分値として用いて前記垂直同期信号の周期を増減させる。   The control unit calculates a plurality of the difference values, calculates a statistical difference value by statistically processing the calculated plurality of difference values, and uses the calculated statistical difference value as the difference value. Increase or decrease the period of the vertical sync signal.

これによれば、再生制御装置は、複数のフレームを再生した後に、再生した複数のフレームに基づいて算出される差分値を用いて、垂直同期信号を調整する。複数のフレームを用いて調整することで、再生制御装置は、突発的に生ずるカウンタ値の遅れ又はパケット遅延等の影響を抑制し、比較的長期にわたる再生カウンタ値の更新周期の傾向を考慮して垂直同期信号を調整することができる。   According to this, the reproduction control apparatus adjusts the vertical synchronization signal using the difference value calculated based on the reproduced plurality of frames after reproducing the plurality of frames. By adjusting using a plurality of frames, the playback control device suppresses the influence of the counter value delay or packet delay that occurs suddenly, and considers the trend of the update cycle of the playback counter value over a relatively long period of time. The vertical synchronization signal can be adjusted.

また、前記差分値が前記所定の適正範囲を逸脱している場合に限り、前記垂直同期信号の周期を増減させる。   Also, the period of the vertical synchronization signal is increased or decreased only when the difference value is out of the predetermined appropriate range.

これによれば、再生制御装置は、再生カウンタ値が加算される周期と垂直同期信号との差が比較的大きい場合にだけ、垂直同期信号の周期の調整を行う。垂直同期信号の周期の調整を必要最小限にとどめることで表示装置に安定した垂直同期信号及びフレームを出力し、また、処理負荷を低減することができる。   According to this, the reproduction control apparatus adjusts the period of the vertical synchronization signal only when the difference between the period in which the reproduction counter value is added and the vertical synchronization signal is relatively large. By adjusting the period of the vertical synchronization signal to the minimum necessary, a stable vertical synchronization signal and frame can be output to the display device, and the processing load can be reduced.

また、前記再生制御装置は、前記コンテンツを保有している送信装置とネットワークを介して通信可能に接続されており、前記制御部は、前記送信装置からネットワークを介して前記対象フレームを取得し、取得した前記対象フレームを前記出力用メモリに格納する。   Further, the playback control device is communicably connected via a network to a transmission device holding the content, and the control unit acquires the target frame from the transmission device via the network, The acquired target frame is stored in the output memory.

これによれば、再生制御装置は、ネットワーク経由で送信され順次出力用メモリに格納されるフレームに付加された再生カウンタ値と自装置の現在カウンタ値の差分に基づいて自装置の垂直同期信号の周期の調整を行う。これにより、送信装置から送信される複数のフレームを欠落又は重複の発生を抑制しながら再生することができる。   According to this, the playback control device determines the vertical synchronization signal of its own device based on the difference between the playback counter value added to the frames transmitted via the network and sequentially stored in the output memory and the current counter value of its own device. Adjust the period. Thereby, it is possible to reproduce a plurality of frames transmitted from the transmission device while suppressing occurrence of omission or duplication.

また、前記制御部は、さらに、前記フレームを取得した時の前記現在カウンタ値が、前記対象フレームに付加された前記再生カウンタ値から定まる適正遅延範囲内に入るように、前記所定の時間を増減させるように前記タイマを制御する。   Further, the control unit further increases or decreases the predetermined time so that the current counter value when the frame is acquired falls within an appropriate delay range determined from the reproduction counter value added to the target frame. The timer is controlled so that

これによれば、再生制御装置は、送信装置において更新される再生カウンタ値に対して、再生制御装置において更新する現在カウンタ値が適切な量の遅れを維持しながら更新されるように制御する。これにより、送信装置から送信される複数のフレームを、適切な時間差を維持しながら、かつ、欠落又は重複の発生を抑制しながら再生することができる。   According to this, the reproduction control device controls the current counter value updated in the reproduction control device to be updated while maintaining an appropriate amount of delay with respect to the reproduction counter value updated in the transmission device. Thereby, it is possible to reproduce a plurality of frames transmitted from the transmission device while maintaining an appropriate time difference and suppressing occurrence of omission or duplication.

また、前記再生制御装置は、さらに、前記コンテンツを保有しているストレージを備え、前記制御部は、前記ストレージから前記対象フレームを取得し、取得した前記対象フレームを前記出力用メモリに格納する。   The reproduction control device further includes a storage that holds the content, and the control unit acquires the target frame from the storage, and stores the acquired target frame in the output memory.

これによれば、再生制御装置は、ストレージが保有している複数のフレームを再生する際に、当該複数のフレームを生成して記録した装置が用いていたカウンタ値の更新周期に基づいて、自装置の垂直同期信号の周期の調整を行う。これにより、ストレージが保有している複数のフレームを欠落又は重複の発生を抑制しながら再生することができる。   According to this, when playing back a plurality of frames held by the storage, the playback control device automatically uses the counter value update cycle used by the device that generated and recorded the plurality of frames. Adjust the period of the vertical sync signal of the device. Thereby, it is possible to reproduce a plurality of frames held by the storage while suppressing the occurrence of missing or overlapping frames.

また、前記複数のフレームのそれぞれは、前記複数のフレームのそれぞれにおいて共通の位置に位置するテロップ部分であって、前記コンテンツの再生の際に前記テロップ部分内において所定方向に等速移動する文字を含むテロップ部分を有する。   Each of the plurality of frames is a telop portion located at a common position in each of the plurality of frames, and a character that moves at a constant speed in a predetermined direction in the telop portion when the content is reproduced. It has a telop part to contain.

これによれば、再生制御装置は、フレームの欠落又は重複があった場合に、その欠落又は重複が視聴者に認識されやすいテロップを含むコンテンツを再生する際に、フレームの欠落又は重複の発生を抑制することができる。これにより、視聴者の視聴効果を向上させることができる。   According to this, when there is a missing or overlapping frame, the playback control device detects the occurrence of a missing or overlapping frame when playing back a content including a telop that is easily recognized by the viewer. Can be suppressed. Thereby, the viewing effect of the viewer can be improved.

また、前記再生制御装置は、さらに、前記複数のフレームのうちの所定数のフレームを保持しているバッファを備え、前記制御部は、前記バッファに保持されている前記所定数のフレームのうちの1つのフレームであって、前記1つのフレームの前記再生カウンタ値から定まる所定のメモリ格納許可範囲に前記現在カウンタ値が含まれる1つのフレームを、前記出力用メモリに格納することで、前記出力用メモリに前記対象フレームを保持させる。   In addition, the reproduction control device further includes a buffer that holds a predetermined number of frames of the plurality of frames, and the control unit includes the buffer of the predetermined number of frames held in the buffer. By storing in the output memory one frame that is included in the predetermined memory storage permission range determined from the reproduction counter value of the one frame in the output memory, the output memory The target frame is held in a memory.

これによれば、再生制御装置は、出力用メモリに格納するためのフレームを一時的に保持しておくことができる。バッファから順次フレームを出力用メモリに格納することで、安定してフレームを出力することができる。   According to this, the reproduction control apparatus can temporarily hold a frame to be stored in the output memory. By sequentially storing the frames from the buffer in the output memory, the frames can be output stably.

また、本発明の一態様に係る再生制御方法は、複数のフレームを含むコンテンツを再生装置に再生させるための再生制御装置における再生制御方法であって、前記複数のフレームのそれぞれには、当該フレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されており、前記再生制御装置は、所定の時間ごとに増加するカウンタ値である現在カウンタ値を管理するタイマと、前記複数のフレームのそれぞれを、順次、対象フレームとして保持する出力用メモリとを備え、前記再生制御方法は、周期的に垂直同期信号を生成し、生成した前記垂直同期信号を前記再生装置に出力する同期信号生成ステップと、前記垂直同期信号に同期させて、前記出力用メモリに保持されている前記対象フレームを前記再生装置に出力する信号出力ステップと、前記対象フレームに付加された再生カウンタ値と、前記信号出力ステップで前記対象フレームを出力した時の前記現在カウンタ値との差分値を算出し、算出した前記差分値に基づいて、前記複数のフレームのうち前記対象フレームより後の後続フレームについて算出される差分値が所定の適正範囲に入るように、前記垂直同期信号の周期を増減させる制御を行う制御ステップとを含む。   A playback control method according to an aspect of the present invention is a playback control method in a playback control apparatus for causing a playback apparatus to play back content including a plurality of frames, and each of the plurality of frames includes a corresponding frame. A reproduction counter value, which is a counter value indicating the timing at which the video is to be reproduced, is added, and the reproduction control device includes a timer that manages a current counter value that is a counter value that increases every predetermined time, and the plurality of frames And an output memory for sequentially holding each of them as a target frame, wherein the reproduction control method periodically generates a vertical synchronization signal and outputs the generated vertical synchronization signal to the reproduction device. And outputting the target frame held in the output memory to the playback device in synchronization with the vertical synchronization signal. A difference value between the signal output step, the reproduction counter value added to the target frame, and the current counter value when the target frame is output in the signal output step is calculated, and based on the calculated difference value And a control step of performing control to increase / decrease the period of the vertical synchronization signal so that a difference value calculated for a subsequent frame after the target frame among the plurality of frames falls within a predetermined appropriate range.

これによれば、上記再生制御装置と同様の効果を奏する。   According to this, the same effect as the above-mentioned reproduction control device is produced.

また、本発明の一態様に係るプログラムは、上記の再生制御方法をコンピュータに実行させるためのプログラムである。   A program according to one embodiment of the present invention is a program for causing a computer to execute the above-described reproduction control method.

これによれば、上記再生制御装置と同様の効果を奏する。   According to this, the same effect as the above-mentioned reproduction control device is produced.

本発明にかかる再生制御装置は、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。   The playback control apparatus according to the present invention can suppress the occurrence of missing or overlapping frames in the content to be played back.

図1は、実施の形態1に係る再生制御システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of the reproduction control system according to the first embodiment. 図2は、実施の形態1に係る再生制御装置のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram illustrating a hardware configuration of the reproduction control apparatus according to the first embodiment. 図3は、実施の形態1に係る再生処理部の詳細な構成を示すブロック図である。FIG. 3 is a block diagram showing a detailed configuration of the reproduction processing unit according to the first embodiment. 図4は、実施の形態1に係る再生処理部のフレーム取得時の処理を示すフロー図である。FIG. 4 is a flowchart showing processing at the time of frame acquisition of the reproduction processing unit according to the first embodiment. 図5は、実施の形態1に係る出力用メモリへのフレーム格納処理を示すフロー図である。FIG. 5 is a flowchart showing a frame storing process in the output memory according to the first embodiment. 図6は、実施の形態1に係る再生装置への信号の出力処理を示すフロー図である。FIG. 6 is a flowchart showing signal output processing to the playback apparatus according to the first embodiment. 図7は、実施の形態1に係る垂直同期信号の周期を増減させる処理を示すフロー図である。FIG. 7 is a flowchart showing processing for increasing / decreasing the period of the vertical synchronization signal according to the first embodiment. 図8は、実施の形態1に係る垂直同期信号の周期を増加させた場合の出力フレームの出力タイミングを示すタイミング図である。FIG. 8 is a timing diagram showing the output timing of the output frame when the period of the vertical synchronization signal according to the first embodiment is increased. 図9は、実施の形態1に係る垂直同期信号の周期を減少させた場合の出力フレームの出力タイミングを示すタイミング図である。FIG. 9 is a timing chart showing the output timing of the output frame when the period of the vertical synchronization signal according to the first embodiment is decreased. 図10は、実施の形態1に係る複数のフレームの再生カウンタ値を示す説明図である。FIG. 10 is an explanatory diagram showing reproduction counter values of a plurality of frames according to the first embodiment. 図11は、実施の形態1に関連した、出力されるフレームに欠落又は重複が生じない場合のフレーム出力タイミングを示すタイミング図である。FIG. 11 is a timing diagram showing the frame output timing when there is no omission or duplication in the output frame, related to the first embodiment. 図12は、実施の形態1に係るフレーム出力タイミングを示す第一のタイミング図である。FIG. 12 is a first timing diagram showing frame output timing according to the first embodiment. 図13は、実施の形態1に係るフレーム出力タイミングを示す第二のタイミング図である。FIG. 13 is a second timing chart showing the frame output timing according to the first embodiment. 図14は、実施の形態2に係る再生制御システムの構成を示すブロック図である。FIG. 14 is a block diagram showing a configuration of the reproduction control system according to the second embodiment. 図15は、実施の形態2に関連した、出力されるフレームに欠落又は重複が生じない場合のフレーム出力タイミングを示すタイミング図である。FIG. 15 is a timing diagram showing frame output timing when there is no omission or duplication in the output frame, which is related to the second embodiment. 図16は、実施の形態2に係るフレーム出力タイミングを示す第一のタイミング図である。FIG. 16 is a first timing diagram illustrating frame output timing according to the second embodiment. 図17は、実施の形態2に係るフレーム出力タイミングを示す第二のタイミング図である。FIG. 17 is a second timing diagram illustrating the frame output timing according to the second embodiment. 図18は、各実施の形態におけるコンテンツの具体例の説明図である。FIG. 18 is an explanatory diagram of a specific example of content in each embodiment.

以下、実施の形態について、図面を参照しながら具体的に説明する。   Hereinafter, embodiments will be specifically described with reference to the drawings.

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。   Each of the embodiments described below shows a preferred specific example of the present invention. The numerical values, shapes, materials, constituent elements, arrangement positions and connecting forms of the constituent elements, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are described as optional constituent elements that constitute a more preferable embodiment.

なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。   In addition, the same code | symbol is attached | subjected to the same component and description may be abbreviate | omitted.

(実施の形態1)
本実施の形態において、ネットワークを介して受信したコンテンツを再生する場合に、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる再生制御装置等について説明する。なお、以下において、本実施の形態における再生制御装置の動作と、従来の関連技術における再生制御装置の動作を対比しながら説明する。
(Embodiment 1)
In the present embodiment, a description will be given of a playback control device and the like that can suppress the occurrence of frame loss or duplication in content to be played back when content received via a network is played back. In the following description, the operation of the regeneration control device in the present embodiment is compared with the operation of the regeneration control device in the related art.

図1は、本実施の形態に係る再生制御システム1の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of a reproduction control system 1 according to the present embodiment.

図1に示されるように、再生制御システム1は、再生制御装置10と、再生装置20と、送信装置30とを備える。また、再生制御装置10と再生装置20とは、信号線40により接続されている。また、送信装置30と再生制御装置10とはネットワーク50により通信可能に接続されている。   As shown in FIG. 1, the reproduction control system 1 includes a reproduction control device 10, a reproduction device 20, and a transmission device 30. Further, the playback control device 10 and the playback device 20 are connected by a signal line 40. Further, the transmission device 30 and the reproduction control device 10 are connected via a network 50 so that they can communicate with each other.

送信装置30は、再生装置20により再生するためのコンテンツをネットワーク50を通じて再生制御装置10に送信する送信装置である。コンテンツは、複数のフレームを含んで構成される。送信装置30は、コンテンツを構成するフレームのそれぞれに、当該フレームを再生すべきタイミングを示すカウンタ値を付加し、当該カウンタ値を付加したフレームを再生制御装置10に送信する。   The transmission device 30 is a transmission device that transmits content to be reproduced by the reproduction device 20 to the reproduction control device 10 through the network 50. The content includes a plurality of frames. The transmission device 30 adds a counter value indicating the timing at which the frame is to be reproduced to each frame constituting the content, and transmits the frame to which the counter value is added to the reproduction control device 10.

具体的には、送信装置30は、一定の時間ごとにカウンタ値を加算するタイマを備えている。送信装置30は、コンテンツを構成する複数のフレームを生成し、生成したフレームのそれぞれに、生成したタイミングを示すカウンタ値を付加する。このカウンタ値は、再生装置20において再生すべきタイミングに相当する。   Specifically, the transmission device 30 includes a timer that adds a counter value at regular intervals. The transmission device 30 generates a plurality of frames constituting the content, and adds a counter value indicating the generated timing to each of the generated frames. This counter value corresponds to the timing to be played back by the playback device 20.

なお、一定の時間とは、例えば(1/90000)秒(周波数として表現すれば90kHz)である。なお、ハードウェア的な個体差により、上記時間に厳密には一致しない場合もある。また、コンテンツのフレームレートは、例えば、30fpsである。よって、連続したフレームのそれぞれには、約3000おきのカウンタ値が付加される。以下の説明では、これらの数値を用いる場合を説明するが、これらの数値に限定されず、他の数値であっても同様の説明が成り立つ。   The fixed time is, for example, (1/90000) seconds (90 kHz when expressed as a frequency). Note that the time may not exactly match due to individual differences in hardware. The content frame rate is, for example, 30 fps. Therefore, a counter value every about 3000 is added to each successive frame. In the following description, the case where these numerical values are used will be described. However, the present invention is not limited to these numerical values, and the same description can be applied to other numerical values.

再生制御装置10は、コンテンツの再生を制御する再生制御装置である。再生制御装置10は、送信装置30からネットワーク50を通じてコンテンツを受信することでコンテンツを取得する。また、再生制御装置10は、取得したコンテンツを構成する各フレームに付加されたカウンタ値に基づいて、再生装置20によりコンテンツを再生するための信号を信号線40を通じて再生装置20に出力する。信号線40は、例えば、HDMI(登録商標)(High−Definition Multimedia Interface)規格に従う通信線である。   The playback control device 10 is a playback control device that controls playback of content. The playback control device 10 acquires content by receiving the content from the transmission device 30 via the network 50. Further, the playback control device 10 outputs a signal for playing back the content by the playback device 20 to the playback device 20 through the signal line 40 based on the counter value added to each frame constituting the acquired content. The signal line 40 is a communication line that conforms to, for example, the HDMI (registered trademark) (High-Definition Multimedia Interface) standard.

再生装置20は、コンテンツを表示画面上に表示することで再生する再生装置である。再生装置20は、再生制御装置10からコンテンツを再生するための信号を信号線40を通じて受信し、受信した信号にしたがってコンテンツを再生する。   The playback device 20 is a playback device that plays back content by displaying it on a display screen. The playback device 20 receives a signal for playing back content from the playback control device 10 through the signal line 40, and plays back the content according to the received signal.

なお、再生制御装置10が、さらに、再生装置20の機能を備えるものであってもよい。反対に、再生装置20が、さらに、再生制御装置10の機能を備えるものであってもよい。   Note that the playback control device 10 may further include the function of the playback device 20. Conversely, the playback device 20 may further include the function of the playback control device 10.

図2は、本実施の形態に係る再生制御装置10のハードウェア構成を示すブロック図である。   FIG. 2 is a block diagram showing a hardware configuration of the playback control apparatus 10 according to the present embodiment.

図2に示されるように、再生制御装置10は、CPU101(Central Processing Unit)と、メインメモリ102と、ストレージ103と、NIF104(Network Interface)と、再生処理部105とを備える。   As shown in FIG. 2, the playback control apparatus 10 includes a CPU 101 (Central Processing Unit), a main memory 102, a storage 103, a network interface 104 (Network Interface) 104, and a playback processing unit 105.

CPU101は、ストレージ等に記憶された制御プログラムを実行するプロセッサである。   The CPU 101 is a processor that executes a control program stored in a storage or the like.

メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。   The main memory 102 is a volatile storage area used as a work area used when the CPU 101 executes a control program.

ストレージ103は、制御プログラム、及び、コンテンツなどを保持する不揮発性の記憶領域である。   The storage 103 is a non-volatile storage area that holds a control program, content, and the like.

NIF104は、ネットワークを介して他の装置にデータを送信する、又は、他の装置からデータを受信するネットワークインタフェースである。   The NIF 104 is a network interface that transmits data to other devices via the network or receives data from other devices.

再生処理部105は、NIF104を通じてコンテンツを受信し、受信したコンテンツを再生するための信号を再生装置20に送信する処理部である。再生処理部105の動作について、後で詳細に説明する。   The reproduction processing unit 105 is a processing unit that receives content through the NIF 104 and transmits a signal for reproducing the received content to the reproduction device 20. The operation of the reproduction processing unit 105 will be described in detail later.

図3は、本実施の形態に係る再生処理部105の詳細な構成を示すブロック図である。   FIG. 3 is a block diagram showing a detailed configuration of the reproduction processing unit 105 according to the present embodiment.

図3に示されるように、再生処理部105は、制御部301と、同期信号生成部302と、信号出力部303と、タイマ304と、バッファ305と、出力用メモリ306とを有する。   As illustrated in FIG. 3, the reproduction processing unit 105 includes a control unit 301, a synchronization signal generation unit 302, a signal output unit 303, a timer 304, a buffer 305, and an output memory 306.

同期信号生成部302は、再生装置20に出力するための垂直同期信号を生成する。同期信号生成部302は、所定の周期(例えば、60Hz)のクロック信号をもとに垂直同期信号を生成する。クロック信号の周期は、その源となる数MHz程度の元クロック信号を分周することで刻まれる。分周比は、制御部301により制御可能であり、分周比の増減により、垂直同期信号の周期が増減される。垂直同期信号の周期の増減の幅は、再生装置20が垂直同期信号として許容する範囲に含まれる必要がある。増減の幅は、例えば、設定値に対して±0.5%とすることができる。   The synchronization signal generation unit 302 generates a vertical synchronization signal to be output to the playback device 20. The synchronization signal generation unit 302 generates a vertical synchronization signal based on a clock signal having a predetermined period (for example, 60 Hz). The period of the clock signal is engraved by dividing the original clock signal of about several MHz that is the source of the clock signal. The frequency division ratio can be controlled by the control unit 301, and the period of the vertical synchronization signal is increased or decreased by increasing or decreasing the frequency division ratio. The range of increase / decrease in the period of the vertical synchronization signal needs to be included in the range allowed by the playback device 20 as the vertical synchronization signal. The range of increase / decrease can be, for example, ± 0.5% with respect to the set value.

信号出力部303は、垂直同期信号、及び、画像を示す信号(以下、画像信号ともいう)を再生装置20に出力する処理部である。信号出力部303は、同期信号生成部302が生成した、垂直同期信号を再生装置20に出力する。また、信号出力部303は、出力用メモリ306に格納されているフレームを読み取り、当該フレームを示す画像信号を生成し、生成した画像信号を当該垂直同期信号に同期させて再生装置20に出力する。なお、フレームを示す画像信号を出力することを、単に「フレームを出力する」とも表現する。   The signal output unit 303 is a processing unit that outputs a vertical synchronization signal and a signal indicating an image (hereinafter also referred to as an image signal) to the playback device 20. The signal output unit 303 outputs the vertical synchronization signal generated by the synchronization signal generation unit 302 to the playback device 20. The signal output unit 303 reads a frame stored in the output memory 306, generates an image signal indicating the frame, and outputs the generated image signal to the playback device 20 in synchronization with the vertical synchronization signal. . Note that outputting an image signal indicating a frame is also simply expressed as “outputting a frame”.

タイマ304は、再生処理部105内の各機能の処理タイミングを示すカウンタ値を管理する処理部である。タイマ304は、所定の時間ごとにカウンタ値を1加算(インクリメント)することで更新する。所定の時間とは、例えば(1/90000)秒(周波数として表現すれば90kHz)である。上記所定の時間は、その源となる数MHz程度の元クロック信号を分周することで刻まれる。分周比は、制御部301により制御可能であり、分周比の増減により、カウンタ値が加算される時間間隔が増減される。その結果、更新の周期が、例えば、89.5kHz又は90.5kHzのように変動する。   The timer 304 is a processing unit that manages a counter value indicating the processing timing of each function in the reproduction processing unit 105. The timer 304 is updated by incrementing the counter value by 1 every predetermined time. The predetermined time is, for example, (1/90000) seconds (90 kHz in terms of frequency). The predetermined time is engraved by dividing the original clock signal of about several MHz that is the source. The frequency division ratio can be controlled by the control unit 301, and the time interval at which the counter value is added is increased or decreased by increasing or decreasing the frequency division ratio. As a result, the update cycle varies, for example, as 89.5 kHz or 90.5 kHz.

また、タイマ304のカウンタ値は、制御部301により設定される(上書きされる)ことも可能である。   In addition, the counter value of the timer 304 can be set (overwritten) by the control unit 301.

なお、ハードウェア的な個体差により、上記時間はハードウェアごとに異なる時間となる場合もある。なお、タイマ304が管理するカウント値のことを現在カウント値ということもある。また、カウント値が加算されることを、「カウント値が進む」と表現し、カウント値が加算される周期を「加算周期」と表現することもある。   Note that the time may be different for each hardware due to individual differences in hardware. Note that the count value managed by the timer 304 may be referred to as the current count value. In addition, the addition of the count value may be expressed as “the count value advances”, and the cycle in which the count value is added may be expressed as the “addition cycle”.

バッファ305は、NIF104を通じてコンテンツを構成するフレームを受信し、受信したフレームを一時的に格納する記憶装置である。バッファ305は、複数のフレームを格納することができる容量を有する。例えば、バッファ305は、4つのフレームを格納することができる。バッファ305に格納されたフレームは、適切なタイミングで制御部301により出力用メモリ306に格納される。バッファ305は、リングバッファ又はキューなどのデータ構造により実現される。   The buffer 305 is a storage device that receives a frame constituting the content through the NIF 104 and temporarily stores the received frame. The buffer 305 has a capacity capable of storing a plurality of frames. For example, the buffer 305 can store four frames. The frame stored in the buffer 305 is stored in the output memory 306 by the control unit 301 at an appropriate timing. The buffer 305 is realized by a data structure such as a ring buffer or a queue.

出力用メモリ306は、コンテンツに含まれる複数のフレームのうちの出力用のフレームを、順次、一時的に格納する記憶装置である。出力用メモリ306は、1つのフレームを格納することができる容量を有する。出力用メモリ306には、制御部301によりフレームが格納される。出力用メモリ306に格納されたフレームは、適切なタイミングで信号出力部303により読み取られる。   The output memory 306 is a storage device that sequentially and temporarily stores output frames among a plurality of frames included in the content. The output memory 306 has a capacity capable of storing one frame. Frames are stored in the output memory 306 by the control unit 301. The frame stored in the output memory 306 is read by the signal output unit 303 at an appropriate timing.

制御部301は、再生処理部105内の各機能を制御する処理部である。具体的には、制御部301は、現在カウンタ値に基づいて、バッファ305内に格納された各フレームを適切なタイミングで出力用メモリ306に格納する。   The control unit 301 is a processing unit that controls each function in the reproduction processing unit 105. Specifically, the control unit 301 stores each frame stored in the buffer 305 in the output memory 306 at an appropriate timing based on the current counter value.

また、制御部301は、送信装置30が保有するカウンタ値と現在カウンタ値との差分を算出し、算出した差分に基づいてタイマ304の分周比を増減させることで、送信装置30のカウンタ値より適切な量の遅れを維持しながら現在カウンタ値が進むように制御する。また、制御部301は、上記制御の際に上記差分が比較的大きい場合には、タイマ304のカウンタ値に適切な値を設定することも可能である。   In addition, the control unit 301 calculates the difference between the counter value held by the transmission device 30 and the current counter value, and increases or decreases the frequency division ratio of the timer 304 based on the calculated difference, whereby the counter value of the transmission device 30 is obtained. Control is performed so that the current counter value advances while maintaining a more appropriate amount of delay. The control unit 301 can also set an appropriate value for the counter value of the timer 304 when the difference is relatively large during the control.

また、制御部301は、信号出力部303が出力した画像信号に対応するフレームの再生カウンタ値と、信号出力部303が画像信号を出力した時の現在カウンタ値との差分値を算出し、算出した差分値に基づいて、複数のフレームのうち当該フレームより後の後続フレームについて算出される差分値が所定の適正範囲に入るように、垂直同期信号の周期を増減させる制御を行う。これにより、制御部301は、1フレーム分の再生カウンタ値の変化幅に相当する時間に垂直同期信号の周期を近付けるように、垂直同期信号の周期を増減させる制御を同期信号生成部302に対して行う。詳細は後で説明する。   Further, the control unit 301 calculates a difference value between the reproduction counter value of the frame corresponding to the image signal output from the signal output unit 303 and the current counter value when the signal output unit 303 outputs the image signal. Based on the obtained difference value, control is performed to increase / decrease the period of the vertical synchronization signal so that the difference value calculated for the subsequent frame after the frame among the plurality of frames falls within a predetermined appropriate range. Thus, the control unit 301 controls the synchronization signal generation unit 302 to increase or decrease the period of the vertical synchronization signal so that the period of the vertical synchronization signal approaches the time corresponding to the change width of the reproduction counter value for one frame. Do it. Details will be described later.

以降においてフローチャートを用いて、各機能ブロックの動作をさらに詳しく説明する。   Hereinafter, the operation of each functional block will be described in more detail using flowcharts.

図4は、本実施の形態に係る再生処理部105のフレーム取得時の処理を示すフロー図である。   FIG. 4 is a flowchart showing processing at the time of frame acquisition of the reproduction processing unit 105 according to the present embodiment.

ステップS101において、NIF104がネットワークを介して送信装置30から、コンテンツを構成するフレームを受信することで取得する。取得したフレームには、このフレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されている。   In step S <b> 101, the network interface 104 acquires the frame that constitutes the content from the transmission device 30 via the network. A reproduction counter value, which is a counter value indicating the timing at which this frame should be reproduced, is added to the acquired frame.

ステップS102において、ステップS101で受信されたフレームがバッファ305に格納される。なお、ステップS101で送信されたフレームが符号化(エンコード)されていた場合には、当該フレームは、復号(デコード)された上でバッファ305に格納される。   In step S102, the frame received in step S101 is stored in the buffer 305. If the frame transmitted in step S101 has been encoded (encoded), the frame is decoded (decoded) and stored in the buffer 305.

ステップS103において、制御部301は、タイマ304から現在カウンタ値を取得する。   In step S <b> 103, the control unit 301 acquires the current counter value from the timer 304.

ステップS104において、制御部301は、ステップS103で取得した現在カウンタ値が、ステップS101で受信したフレーム内の再生カウンタ値から定まる適正遅延範囲内であるか、当該範囲の下限より小さいか、又は、当該範囲の上限より大きいかを判定する。ここで、適正遅延範囲とは、再生カウンタ値から、再生カウンタ値から所定値だけ減少させたカウンタ値までの範囲のことである。適正遅延範囲は、現在カウンタ値を、送信装置30のカウンタ値から適切な遅れを維持しながら進むようにするためのものである。具体的には、例えば、適正遅延範囲は、再生カウンタ値から2000を減じたカウンタ値から、再生カウンタ値から500を減じたカウンタ値までの範囲とする。   In step S104, the control unit 301 determines that the current counter value acquired in step S103 is within an appropriate delay range determined from the reproduction counter value in the frame received in step S101, is smaller than the lower limit of the range, or It is determined whether it is larger than the upper limit of the range. Here, the appropriate delay range is a range from the reproduction counter value to a counter value that is decreased from the reproduction counter value by a predetermined value. The appropriate delay range is to advance the current counter value while maintaining an appropriate delay from the counter value of the transmission device 30. Specifically, for example, the appropriate delay range is a range from a counter value obtained by subtracting 2000 from the reproduction counter value to a counter value obtained by subtracting 500 from the reproduction counter value.

ステップS104にて、現在カウンタ値が適正遅延範囲内であると判定された場合には、図4に示される一連の処理を終了する。現在カウンタ値が適正遅延範囲の下限より小さい場合にはステップS111に進む。現在カウンタ値が適正遅延範囲の上限より大きい場合にはステップS121に進む。   If it is determined in step S104 that the current counter value is within the appropriate delay range, the series of processes shown in FIG. 4 is terminated. If the current counter value is smaller than the lower limit of the appropriate delay range, the process proceeds to step S111. If the current counter value is larger than the upper limit of the appropriate delay range, the process proceeds to step S121.

ステップS111において、制御部301は、タイマ304のカウンタ値の加算周期を短くする、つまり、カウンタ値が速く進むようにする。具体的には、制御部301は、タイマ304の分周比を小さくすることでカウンタ値の加算周期を短くする。なお、現在カウンタ値が適正遅延範囲の下限より小さく、それらの差が比較的大きい場合には、現在カウンタ値に適正遅延範囲内の値を設定することで、現在カウンタ値を適正遅延範囲内に収めるようにしてもよい。   In step S111, the control unit 301 shortens the addition period of the counter value of the timer 304, that is, causes the counter value to advance faster. Specifically, the control unit 301 shortens the counter value addition cycle by reducing the frequency division ratio of the timer 304. If the current counter value is smaller than the lower limit of the appropriate delay range and the difference between them is relatively large, set the current counter value within the appropriate delay range by setting the current counter value within the appropriate delay range. You may make it contain.

ステップS121において、制御部301は、タイマ304のカウンタ値の加算周期を長くする、つまり、カウンタ値がゆっくり進むようにする。具体的には、制御部301は、タイマ304の分周比を大きくすることでカウンタ値の加算周期を長くする。なお、現在カウンタ値が適正遅延範囲の上限より大きく、それらの差が比較的大きい場合には、現在カウンタ値に適正遅延範囲内の値を設定することで、現在カウンタ値を適正遅延範囲内に収めるようにしてもよい。   In step S121, the control unit 301 increases the counter value addition cycle of the timer 304, that is, causes the counter value to proceed slowly. Specifically, the control unit 301 increases the counter value addition cycle by increasing the frequency division ratio of the timer 304. If the current counter value is larger than the upper limit of the appropriate delay range and the difference between them is relatively large, set the current counter value within the appropriate delay range by setting the current counter value to a value within the appropriate delay range. You may make it contain.

図4の示される一連の処理により、コンテンツを構成するフレームがバッファ305に格納され、また、再生処理部105が管理する現在カウンタ値を、送信装置30におけるカウンタ値から差分カウンタ値の分だけ遅れて進むものとすることができる。なお、図4に示される処理のうちステップS103以降の処理は、パケットを受信したすべてのときに行われなくてもよく、複数のパケットを受信するごとに行ってもよいし、所定時間おきのパケット受信時に行ってもよい。   By the series of processes shown in FIG. 4, the frames constituting the content are stored in the buffer 305, and the current counter value managed by the reproduction processing unit 105 is delayed from the counter value in the transmission device 30 by the difference counter value. Can proceed. In addition, the process after step S103 among the processes shown in FIG. 4 may not be performed every time a packet is received, may be performed every time a plurality of packets are received, or every predetermined time. It may be performed when a packet is received.

図5は、本実施の形態に係る出力用メモリへのフレーム格納処理を示すフロー図である。   FIG. 5 is a flowchart showing a frame storing process in the output memory according to the present embodiment.

図5に示される処理は、バッファ305が保有しているフレームのそれぞれについて行われ、また、繰り返し行われる。なお、以下の説明において、バッファ305が保有しているフレームのうち、処理の対象となるフレームのことを対象フレームという。   The process shown in FIG. 5 is performed for each frame held by the buffer 305 and is repeated. In the following description, among the frames held by the buffer 305, a frame to be processed is referred to as a target frame.

ステップS201において、制御部301は、タイマ304から現在カウンタ値を取得する。   In step S <b> 201, the control unit 301 acquires the current counter value from the timer 304.

ステップS202において、制御部301は、対象フレームの再生カウンタ値を取得する。   In step S202, the control unit 301 acquires a reproduction counter value of the target frame.

ステップS203において、制御部301は、ステップS203で取得した現在カウンタ値が、対象フレームの再生カウンタ値から定まるメモリ格納許可範囲内であるか、当該範囲の下限より小さいか、又は、当該範囲の上限より大きいかを判定する。ここで、メモリ格納許可範囲とは、再生カウンタ値を上限とする所定のカウンタ値の幅のことである。例えば、所定のカウンタ値の幅は、2000である。この場合、フレームの再生カウンタ値が3000であれば、1000から3000までのカウンタ値の範囲がメモリ格納許可範囲である。   In step S203, the control unit 301 determines that the current counter value acquired in step S203 is within the memory storage permission range determined from the reproduction counter value of the target frame, is smaller than the lower limit of the range, or is the upper limit of the range. Determine if greater than. Here, the memory storage permission range is a range of a predetermined counter value whose upper limit is the reproduction counter value. For example, the width of the predetermined counter value is 2000. In this case, if the reproduction counter value of the frame is 3000, the range of the counter value from 1000 to 3000 is the memory storage permission range.

ステップS203にて、現在カウンタ値がメモリ格納許可範囲内であると判定された場合には、ステップS204に進む。現在カウンタ値がメモリ格納許可範囲の下限より小さい場合には、図5に示される一連の処理を終了し、フレームを出力するタイミングを待つ。現在カウンタ値がメモリ格納許可範囲の上限より大きい場合にはステップS221に進む。   If it is determined in step S203 that the current counter value is within the memory storage permission range, the process proceeds to step S204. If the current counter value is smaller than the lower limit of the memory storage permission range, the series of processing shown in FIG. 5 is terminated and the timing for outputting a frame is awaited. If the current counter value is larger than the upper limit of the memory storage permission range, the process proceeds to step S221.

ステップS204において、制御部301は、対象フレームを出力用メモリ306に格納する。出力用メモリ306に格納された対象フレームは、その後の処理により再生装置20に出力される。   In step S <b> 204, the control unit 301 stores the target frame in the output memory 306. The target frame stored in the output memory 306 is output to the playback device 20 by subsequent processing.

ステップS205において、制御部301は、1フレームに相当するカウンタ値の増加幅の分だけカウンタ値が進む時間に垂直同期信号の周期を近付けるように、垂直同期信号の周期を増減させる制御を同期信号生成部302に対して行う。詳細は後で説明する。   In step S205, the control unit 301 performs control to increase or decrease the period of the vertical synchronization signal so that the period of the vertical synchronization signal approaches the time when the counter value advances by the increment of the counter value corresponding to one frame. This is performed on the generation unit 302. Details will be described later.

ステップS221において、制御部301は、対象フレームを破棄する。現在カウンタ値がメモリ格納許可範囲の上限より大きい場合には、対象フレームを再生すべきタイミングがすでに過ぎており、当該対象フレームは、今後再生されることがないからである。   In step S221, the control unit 301 discards the target frame. This is because when the current counter value is larger than the upper limit of the memory storage permission range, the timing for reproducing the target frame has already passed, and the target frame will not be reproduced in the future.

図5に示される一連の処理により、バッファ305に格納されたフレームが適切なタイミングで出力用メモリ306に格納され、また、同期信号生成部302が生成する垂直同期信号の周期を適切なものとすることができる。   By the series of processes shown in FIG. 5, the frame stored in the buffer 305 is stored in the output memory 306 at an appropriate timing, and the period of the vertical synchronization signal generated by the synchronization signal generation unit 302 is set appropriately. can do.

図6は、本実施の形態に係る再生装置への信号の出力処理を示すフロー図である。   FIG. 6 is a flowchart showing a signal output process to the playback apparatus according to the present embodiment.

なお、ステップS301からステップS303の処理は、繰り返し実行される。   Note that the processing from step S301 to step S303 is repeatedly executed.

ステップS301において、信号出力部303は、同期信号生成部302が生成する垂直同期信号を検出すべく、同期信号生成部302が生成する信号を監視する。   In step S301, the signal output unit 303 monitors the signal generated by the synchronization signal generation unit 302 in order to detect the vertical synchronization signal generated by the synchronization signal generation unit 302.

ステップS301で信号出力部303が垂直同期信号を検出した場合(ステップS301でYes)、ステップS302へ進む。一方、垂直同期信号を検出しない場合(ステップS301でNo)、再びステップS301を実行する。つまり、信号出力部303は、垂直同期信号を検出するまでステップS301で待機する。   If the signal output unit 303 detects a vertical synchronization signal in step S301 (Yes in step S301), the process proceeds to step S302. On the other hand, when the vertical synchronization signal is not detected (No in step S301), step S301 is executed again. That is, the signal output unit 303 stands by in step S301 until a vertical synchronization signal is detected.

ステップS302において、信号出力部303は、同期信号生成部302が生成した垂直同期信号を再生装置20へ出力する。   In step S <b> 302, the signal output unit 303 outputs the vertical synchronization signal generated by the synchronization signal generation unit 302 to the playback device 20.

ステップS303において、信号出力部303は、出力用メモリ306に保持されているフレームを示す画像信号を生成し、生成した画像信号を再生装置20へ出力する。このとき、信号出力部303は、ステップS302で出力した垂直同期信号に同期させて、画像信号を出力する。   In step S <b> 303, the signal output unit 303 generates an image signal indicating the frame held in the output memory 306, and outputs the generated image signal to the playback device 20. At this time, the signal output unit 303 outputs an image signal in synchronization with the vertical synchronization signal output in step S302.

図6に示される一連の処理により、垂直同期信号とともに、出力用メモリ306に保持されているフレームを当該垂直同期信号に同期させて再生装置20へ出力することができる。出力用メモリ306には、図5に示される処理により順次フレームが格納されるので、図6に示される処理により、順次、格納されたフレームが再生装置20へ出力され、その結果、再生装置20により動画が再生される。   With the series of processing shown in FIG. 6, the frame held in the output memory 306 together with the vertical synchronization signal can be output to the playback device 20 in synchronization with the vertical synchronization signal. Since frames are sequentially stored in the output memory 306 by the processing shown in FIG. 5, the stored frames are sequentially output to the playback device 20 by the processing shown in FIG. To play the video.

図7は、本実施の形態に係る垂直同期信号の周期を増減させる処理を示すフロー図である。図7に示される処理は、図5におけるステップS205の処理を詳細に示すものである。   FIG. 7 is a flowchart showing processing for increasing / decreasing the period of the vertical synchronization signal according to the present embodiment. The process shown in FIG. 7 shows the process of step S205 in FIG. 5 in detail.

ステップS401において、制御部301は、対象フレーム内の再生カウンタ値と、信号出力部303が対象フレームを示す画像信号を出力した時の現在カウンタ値との差である差分カウンタ値を算出する。具体的には、差分カウンタ値は、(式1)により算出される。   In step S401, the control unit 301 calculates a difference counter value that is a difference between the reproduction counter value in the target frame and the current counter value when the signal output unit 303 outputs the image signal indicating the target frame. Specifically, the difference counter value is calculated by (Equation 1).

差分カウンタ値=再生カウンタ値−画像信号出力時の現在カウンタ値 (式1)   Difference counter value = Playback counter value-Current counter value when image signal is output (Formula 1)

また、制御部301は、上記の差分カウンタ値の算出を、複数の対象フレームについて行うことで、複数の差分カウンタ値を算出する。制御部301は、例えば、対象フレーム、及び、対象フレームの前の3つのフレームを含む4つのフレーム(過去4フレームともいう)分の差分カウンタ値を算出する。   In addition, the control unit 301 calculates a plurality of difference counter values by performing the above-described calculation of the difference counter value for a plurality of target frames. For example, the control unit 301 calculates difference counter values for four frames (also referred to as past four frames) including the target frame and the three frames before the target frame.

ステップS402において、制御部301は、ステップS401で算出した過去4フレーム分の差分カウンタ値の平均値を算出する。なお、平均値を算出する代わりに、適当な統計処理、例えば、中央値又は最頻値をとる処理を行ってもよい。なお、ステップS402は必須ではなく、過去4フレームのうちの任意の1つのフレームの差分カウンタ値を用いて以下の処理を行うことも可能である。なお、以下の処理において、差分カウンタ値、又は、差分カウンタ値の平均値のことを「差分値」ともいう。   In step S402, the control unit 301 calculates an average value of difference counter values for the past four frames calculated in step S401. Instead of calculating the average value, an appropriate statistical process, for example, a process for obtaining a median value or a mode value may be performed. Note that step S402 is not essential, and the following processing can be performed using the difference counter value of any one of the past four frames. In the following processing, the difference counter value or the average value of the difference counter values is also referred to as “difference value”.

ステップS403において、制御部301は、ステップS402で算出した平均値が所定の適正範囲内にあるか、当該範囲の下限より小さいか、又は、当該範囲の上限より大きいかを判定する。ここで、適正範囲とは、対象フレームが出力用メモリ306に格納されるタイミングと、当該対象フレームが信号出力部303により出力されるタイミングとの差を適正するための範囲であり、例えば、0から800までの範囲とする。   In step S403, the control unit 301 determines whether the average value calculated in step S402 is within a predetermined appropriate range, smaller than the lower limit of the range, or larger than the upper limit of the range. Here, the appropriate range is a range for adjusting the difference between the timing at which the target frame is stored in the output memory 306 and the timing at which the target frame is output by the signal output unit 303. To 800.

ステップS403にて、平均値が適正範囲内であると判定された場合には、図7に示される一連の処理を終了する。平均値が適正範囲の下限より小さい場合にはステップS411に進む。平均値が適正範囲の上限より大きい場合にはステップS421に進む。   If it is determined in step S403 that the average value is within the appropriate range, the series of processes shown in FIG. If the average value is smaller than the lower limit of the appropriate range, the process proceeds to step S411. When the average value is larger than the upper limit of the appropriate range, the process proceeds to step S421.

ステップS411において、制御部301は、同期信号生成部302の分周比を制御することで、垂直同期信号の周期を減少させる。なお、ステップS411は、平均値が負である場合に相当する。   In step S411, the control unit 301 controls the frequency division ratio of the synchronization signal generation unit 302 to reduce the period of the vertical synchronization signal. Step S411 corresponds to a case where the average value is negative.

ステップS421において、制御部301は、同期信号生成部302の分周比を制御することで、垂直同期信号の周期を増加させる。なお、ステップS421は、平均値が正である場合に相当する。   In step S421, the control unit 301 controls the frequency division ratio of the synchronization signal generation unit 302 to increase the period of the vertical synchronization signal. Step S421 corresponds to a case where the average value is positive.

図7に示される一連の処理により、制御部301は、1フレーム分の再生カウンタ値の変化幅に相当する時間に垂直同期信号の周期を近付けるように、垂直同期信号の周期を増減させる。その結果、対象フレームより後の後続フレームについて算出される差分値が適正範囲に入るように制御される。   Through a series of processes shown in FIG. 7, the control unit 301 increases or decreases the period of the vertical synchronization signal so that the period of the vertical synchronization signal approaches the time corresponding to the change width of the reproduction counter value for one frame. As a result, control is performed so that the difference value calculated for the subsequent frame after the target frame falls within the appropriate range.

以降では、制御部301による垂直同期信号の周期の制御の効果について説明する。   Hereinafter, the effect of controlling the period of the vertical synchronization signal by the control unit 301 will be described.

図8は、本実施の形態に係る垂直同期信号の周期を増加させた場合の出力フレームの出力タイミングを示すタイミング図である。   FIG. 8 is a timing chart showing the output timing of the output frame when the period of the vertical synchronization signal according to the present embodiment is increased.

図8では、横軸に時刻をとり、タイマ304のカウンタ値、出力用メモリ306に格納されているフレーム、同期信号生成部302が生成する垂直同期信号、及び、信号出力部303が出力するフレームのそれぞれが、時刻に対して示されている。また、コンテンツを構成するフレームとしてフレームA、B、K及びLを示している。フレームA、B、K及びLのそれぞれの再生カウンタ値は、3000、6000、33000及び36000である。図8の(a)及び(b)は、それぞれ、垂直同期信号の周期を増加させる前及び後のカウンタ値などを示している。メモリ格納許可範囲の幅は、2000とする。適正範囲は、0から800までの範囲とする。   In FIG. 8, the horizontal axis indicates the time, the counter value of the timer 304, the frame stored in the output memory 306, the vertical synchronization signal generated by the synchronization signal generation unit 302, and the frame output by the signal output unit 303. Each is shown against time. In addition, frames A, B, K, and L are shown as frames constituting the content. Reproduction counter values of frames A, B, K, and L are 3000, 6000, 33000, and 36000, respectively. FIGS. 8A and 8B show counter values before and after increasing the period of the vertical synchronization signal, respectively. The width of the memory storage permission range is 2000. The appropriate range is a range from 0 to 800.

図8の(a)において、垂直同期信号の周期は、T1である。制御部301は、現在カウンタ値が1000の時点でフレームAを出力用メモリ306に格納する(ステップS102)。信号出力部303は、現在カウンタ値が2000の時点で垂直同期信号を検出し、フレームAを出力する(ステップS301及びS302)。この場合、フレームAについての差分カウンタ値Δt(A)は、(式1)により、Δt(A)=3000−2000=1000と算出される(ステップS401)。   In FIG. 8A, the period of the vertical synchronization signal is T1. The control unit 301 stores the frame A in the output memory 306 when the current counter value is 1000 (step S102). The signal output unit 303 detects the vertical synchronization signal when the current counter value is 2000, and outputs the frame A (steps S301 and S302). In this case, the difference counter value Δt (A) for the frame A is calculated as Δt (A) = 3000−2000 = 1000 by (Equation 1) (step S401).

フレームBについての差分カウンタ値Δt(B)は、上記と同様に、Δt(B)=6000−5000=1000と算出される。このような差分カウンタ値が他のフレームについても同様に算出され、フレームA及びBを含む複数のフレームから算出された差分カウンタ値の平均値が1000であるとする(ステップS402)。   The difference counter value Δt (B) for the frame B is calculated as Δt (B) = 6000−5000 = 1000 as described above. It is assumed that such a difference counter value is similarly calculated for other frames, and the average value of the difference counter values calculated from a plurality of frames including frames A and B is 1000 (step S402).

制御部301は、上記平均値が、適正範囲の上限より大きいと判断し(ステップS403)、垂直同期信号の周期を、図8の(b)に示されるT2に増加させる(ステップS421)。フレームの出力タイミングが設定より早いので、垂直同期信号を遅らせることで、フレームの出力タイミングを設定に近付ける訳である。   The control unit 301 determines that the average value is larger than the upper limit of the appropriate range (step S403), and increases the period of the vertical synchronization signal to T2 shown in FIG. 8B (step S421). Since the output timing of the frame is earlier than the setting, the output timing of the frame is brought closer to the setting by delaying the vertical synchronization signal.

フレームA及びBの後の後続フレームであるフレームK及びLについての処理を、図8の(b)を参照しながら説明する。   Processing for frames K and L, which are subsequent frames after frames A and B, will be described with reference to FIG.

図8の(b)において、フレームKについての差分カウンタ値Δt(K)は、(式1)により、Δt(K)=33000−32100=900となっている。   In FIG. 8B, the differential counter value Δt (K) for the frame K is Δt (K) = 33000−32100 = 900 according to (Equation 1).

フレームLについての差分カウンタ値Δt(L)は、上記と同様に、Δt(L)=36000−35200=800となっている。フレームA及びBの場合と比べて差分カウンタ値が減少しており、また、適正範囲に入っている。   The difference counter value Δt (L) for the frame L is Δt (L) = 36000−35200 = 800 as described above. Compared to the case of frames A and B, the difference counter value is decreased and is within an appropriate range.

このようにして、制御部301は、垂直同期信号の周期を増大させることによって、後続フレームを出力するタイミングを、そのフレームを再生すべきタイミングに近付けるように制御することができる。   In this way, the control unit 301 can control the timing for outputting the subsequent frame to be close to the timing for reproducing the frame by increasing the period of the vertical synchronization signal.

図9は、本実施の形態に係る垂直同期信号の周期を減少させた場合の出力フレームの出力タイミングを示すタイミング図である。図9に示される項目、各フレームの再生カウンタ値、メモリ格納許可範囲の幅、適正範囲などは、図8に示されるものと同様である。   FIG. 9 is a timing chart showing the output timing of the output frame when the period of the vertical synchronization signal according to the present embodiment is decreased. The items shown in FIG. 9, the reproduction counter value of each frame, the width of the memory storage permission range, the appropriate range, and the like are the same as those shown in FIG.

図9の(a)において、垂直同期信号の周期は、T3である。制御部301は、現在カウンタ値が2000の時点でフレームAを出力用メモリ306に格納する(ステップS102)。信号出力部303は、現在カウンタ値が3200の時点で垂直同期信号を検出し、フレームAを出力する(ステップS301及びS302)。この場合、フレームAについての差分カウンタ値Δt(A)は、(式1)により、Δt(A)=3000−3200=−200と算出される(ステップS401)。   In FIG. 9A, the period of the vertical synchronizing signal is T3. The control unit 301 stores the frame A in the output memory 306 when the current counter value is 2000 (step S102). The signal output unit 303 detects the vertical synchronization signal when the current counter value is 3200, and outputs the frame A (steps S301 and S302). In this case, the difference counter value Δt (A) for the frame A is calculated as Δt (A) = 3000−3200 = −200 by (Equation 1) (step S401).

フレームBについての差分カウンタ値Δt(B)は、上記と同様に、Δt(B)=6000−6200=−200と算出される。このような差分カウンタ値が他のフレームについても同様に算出され、フレームA及びBを含む複数のフレームから算出された差分カウンタ値の平均値が−200であるとする(ステップS402)。   The difference counter value Δt (B) for the frame B is calculated as Δt (B) = 6000−6200 = −200, as described above. It is assumed that such a difference counter value is similarly calculated for other frames, and the average value of the difference counter values calculated from a plurality of frames including frames A and B is −200 (step S402).

制御部301は、上記平均値が、適正範囲の下限より小さいと判断し(ステップS403)、垂直同期信号の周期を、図9の(b)に示されるT4に減少させる(ステップS411)。フレームの出力タイミングが設定より遅れているので、垂直同期信号を早めることで、フレームの出力タイミングを設定に近付ける訳である。   The control unit 301 determines that the average value is smaller than the lower limit of the appropriate range (step S403), and reduces the period of the vertical synchronization signal to T4 shown in FIG. 9B (step S411). Since the output timing of the frame is delayed from the setting, the output timing of the frame is brought closer to the setting by advancing the vertical synchronization signal.

フレームA及びBの後の後続フレームであるフレームK及びLについての処理を、図9の(b)を参照しながら説明する。   Processing for frames K and L, which are subsequent frames after frames A and B, will be described with reference to FIG.

図9の(b)において、フレームKについての差分カウンタ値Δt(K)は、(式1)により、Δt(K)=33000−33100=−100となっている。   In FIG. 9B, the difference counter value Δt (K) for the frame K is Δt (K) = 33000−33100 = −100 according to (Equation 1).

フレームLについての差分カウンタ値Δt(L)は、上記と同様に、Δt(L)=36000−36000=0となっている。フレームA及びBの場合と比べて差分カウンタ値が増加しており、また、適正範囲に入っている。   The difference counter value Δt (L) for the frame L is Δt (L) = 36000−36000 = 0 as described above. Compared to the case of frames A and B, the difference counter value is increased and is within an appropriate range.

このようにして、制御部301は、垂直同期信号の周期を減少させることによって、後続フレームを出力するタイミングを、そのフレームを再生すべきタイミングに近付けるように制御することができる。   In this way, the control unit 301 can control the timing for outputting the subsequent frame to be close to the timing for reproducing the frame by reducing the period of the vertical synchronization signal.

以降において、送信装置30がコンテンツを構成する複数のフレームを送信し、その複数のフレームを再生制御装置10が適切なタイミングで再生装置20に出力する一連の処理を、関連技術と対比しながら説明する。ここで、関連技術とは、垂直同期信号の増減を行う処理(図5のステップS205及び図7)が行われない技術である。   Hereinafter, a series of processes in which the transmission device 30 transmits a plurality of frames constituting the content and the reproduction control device 10 outputs the plurality of frames to the reproduction device 20 at appropriate timing will be described in comparison with related technologies. To do. Here, the related technique is a technique in which the process of increasing / decreasing the vertical synchronization signal (step S205 in FIG. 5 and FIG. 7) is not performed.

図10は、本実施の形態に係る複数のフレームの再生カウンタ値を示す説明図である。   FIG. 10 is an explanatory diagram showing reproduction counter values of a plurality of frames according to the present embodiment.

図10に示されるように、フレームA、B、C、D及びEのそれぞれの再生カウンタ値は、それぞれ、3000、6000、9000、12000及び15000である。言い換えれば、これらの再生カウンタ値が、フレームA等のそれぞれに付加されている。これらのフレームを用いて以降の説明を行う。   As shown in FIG. 10, the reproduction counter values of frames A, B, C, D, and E are 3000, 6000, 9000, 12000, and 15000, respectively. In other words, these reproduction counter values are added to each of the frames A and the like. The following description will be given using these frames.

図11は、本実施の形態に関連した、出力されるフレームに欠落又は重複が生じない場合のフレーム出力タイミングを示すタイミング図である。   FIG. 11 is a timing chart showing the frame output timing when there is no omission or duplication in the output frame, related to the present embodiment.

図11では、横軸に時刻をとり、送信装置30のカウンタ値、NIF104が受信するフレームとそのタイミング、タイマ304のカウンタ値、出力用メモリ306に格納されているフレーム、同期信号生成部302が生成する垂直同期信号、及び、信号出力部303が出力するフレームのそれぞれが、時刻に対して示されている。また、コンテンツを構成するフレームとしてフレームA、B、C及びDを示している。メモリ格納許可範囲の幅は、2000とする。   In FIG. 11, the horizontal axis indicates time, the counter value of the transmission device 30, the frame received by the NIF 104 and its timing, the counter value of the timer 304, the frame stored in the output memory 306, and the synchronization signal generator 302 Each of the generated vertical synchronization signal and the frame output by the signal output unit 303 is shown with respect to time. In addition, frames A, B, C, and D are shown as frames constituting the content. The width of the memory storage permission range is 2000.

図11に示される例では、送信装置30のカウンタ値が3000の時に、送信装置30がフレームAを送信する。再生制御装置10のNIF104は、フレームAを受信し、フレームAがバッファ305に格納される(ステップS101及びS102)。このとき、タイマ304のカウンタ値(現在カウンタ値)は2000である。   In the example illustrated in FIG. 11, when the counter value of the transmission device 30 is 3000, the transmission device 30 transmits the frame A. The NIF 104 of the playback control apparatus 10 receives the frame A, and the frame A is stored in the buffer 305 (steps S101 and S102). At this time, the counter value (current counter value) of the timer 304 is 2000.

制御部301は、現在カウンタ値である2000が、フレームAのメモリ格納許可範囲である1000から3000までの範囲内であるので(ステップS203)、フレームAを出力用メモリ306に格納する(ステップS204)。そして、フレームAが出力用メモリ306に格納されている期間内に垂直同期信号が検出されたときに、垂直同期信号に同期してフレームAが出力される。以降、同様に、フレームB、C及びDが出力される。   The control unit 301 stores the frame A in the output memory 306 (step S204) because the current counter value 2000 is within the range from 1000 to 3000 which is the memory storage permission range of the frame A (step S203). ). When a vertical synchronization signal is detected within a period in which frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Thereafter, similarly, frames B, C, and D are output.

図11に示される例では、1フレームに相当するカウンタ値の増加幅である3000に相当する時間と、1フレームに相当する垂直同期信号の1周期とが等しいので、フレームは、順次、取得され、出力用メモリ306に格納され、そして、出力される。この場合、出力されるフレームに欠落又は重複が生ずることがない。つまり、図11に示されるタイミングで現在カウンタ値が加算され、また、垂直同期信号が生成されれば、コンテンツを構成する複数のフレームの全てが重複なく再生されるので、理想的な状態である。   In the example shown in FIG. 11, the time corresponding to 3000, which is the increment of the counter value corresponding to one frame, is equal to one cycle of the vertical synchronization signal corresponding to one frame, so that the frames are sequentially acquired. Are stored in the output memory 306 and output. In this case, the output frame is not lost or duplicated. That is, if the current counter value is added at the timing shown in FIG. 11 and the vertical synchronization signal is generated, all of the plurality of frames constituting the content are reproduced without duplication, which is an ideal state. .

ところが、現実的には、1フレームに相当するカウンタ値の増加幅の分だけカウンタ値が進む時間と、1フレームに相当する垂直同期信号の1周期との間には差(ずれ)が生じたり、送信装置30とタイマ304とのカウンタ値の加算の周期の差が生じたり、この差をなくす目的で行われるカウンタ値の加算の周期の増減が行われたり、また、ネットワーク50上の通信遅延が生じたりする。これらの要因により、出力されるフレームに欠落又は重複が発生する。出力されるフレームに欠落又は重複が発生する例を以下で説明する。   However, in reality, there is a difference (displacement) between the time the counter value advances by the increment of the counter value corresponding to one frame and one cycle of the vertical synchronization signal corresponding to one frame. A difference in the counter value addition period between the transmission device 30 and the timer 304 is generated, a counter value addition period is increased or decreased for the purpose of eliminating this difference, and a communication delay on the network 50 is performed. May occur. Due to these factors, the output frame is missing or overlapped. An example in which omission or duplication occurs in the output frame will be described below.

図12は、本実施の形態に係るフレーム出力タイミングを示す第一のタイミング図である。また、図12は、関連技術に係るフレーム出力タイミングも併せて示している。図12に示される項目などは、図11に示されるものと同様である。関連技術とは、垂直同期信号の増減を行う処理(図5のステップS205及び図7)が行われない技術である。   FIG. 12 is a first timing diagram showing frame output timing according to the present embodiment. FIG. 12 also shows the frame output timing according to the related art. The items shown in FIG. 12 are the same as those shown in FIG. The related technique is a technique in which the process of increasing / decreasing the vertical synchronization signal (step S205 in FIG. 5 and FIG. 7) is not performed.

図12に示される例では、送信装置30のカウンタ値が3000の時に、送信装置30がフレームAを送信する。再生制御装置10のNIF104は、フレームAを受信し、フレームAがバッファ305に格納される(ステップS101及びS102)。このとき、タイマ304のカウンタ値(現在カウンタ値)は2500である。   In the example illustrated in FIG. 12, when the counter value of the transmission device 30 is 3000, the transmission device 30 transmits the frame A. The NIF 104 of the playback control apparatus 10 receives the frame A, and the frame A is stored in the buffer 305 (steps S101 and S102). At this time, the counter value (current counter value) of the timer 304 is 2500.

制御部301は、現在カウンタ値である2500が、フレームAのメモリ格納許可範囲内であるので(ステップS203)、フレームAを出力用メモリ306に格納する(ステップS204)。   The controller 301 stores the frame A in the output memory 306 (step S204) because the current counter value 2500 is within the memory storage permission range of the frame A (step S203).

次に、送信装置30のカウンタ値が6000の時に、送信装置30がフレームBを送信し、フレームBがバッファ305に格納される(ステップS101及びS102)。このとき、タイマ304のカウンタ値(現在カウンタ値)は5600である。   Next, when the counter value of the transmission device 30 is 6000, the transmission device 30 transmits the frame B, and the frame B is stored in the buffer 305 (steps S101 and S102). At this time, the counter value (current counter value) of the timer 304 is 5600.

ここで、Xの時点において、現在カウンタ値5600が、フレームBの適正遅延範囲である4000から5500までの範囲の上限(5500)より大きいと判定され(ステップS104)、タイマ304のカウンタ値の加算周期を長くする(ステップS121)。その結果、出力用メモリ306にフレームCが格納されるタイミングは、フレームBが格納されてから比較的長い時間が経過した後になる。   Here, at time X, it is determined that the current counter value 5600 is larger than the upper limit (5500) of the range from 4000 to 5500, which is the appropriate delay range of frame B (step S104), and the counter value of the timer 304 is added. The cycle is lengthened (step S121). As a result, the frame C is stored in the output memory 306 after a relatively long time has elapsed since the frame B was stored.

この状況において、関連技術における垂直同期信号のタイミングと出力フレームについて図12の(a)を参照しながら説明する。   In this situation, the timing and output frame of the vertical synchronization signal in the related art will be described with reference to FIG.

関連技術では、垂直同期信号は、一律、60Hzで生成され、この周期が変動することがない。そのため、現在カウンタ値の加算周期が変動しても、垂直同期信号の周期は変わらない。   In the related art, the vertical synchronization signal is uniformly generated at 60 Hz, and this period does not vary. Therefore, even if the current counter value addition cycle varies, the cycle of the vertical synchronization signal does not change.

まず、出力用メモリ306にフレームAが格納されている状態において、垂直同期信号に同期してフレームAが出力される。フレームBも同様に出力される。次に、現在カウンタ値の加算周期が長くなったことから、既に一度出力されたフレームBが出力用メモリ306に格納された状態で垂直同期信号を検出し、再びフレームBを出力する(つまり、フレームBを重複して出力する)。さらに、現在カウンタ値の加算周期によっては、その次のフレームCの出力が欠落することもある。   First, in a state where the frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Frame B is output in the same manner. Next, since the addition period of the current counter value becomes longer, the vertical synchronization signal is detected in a state where the frame B that has already been output is stored in the output memory 306, and the frame B is output again (that is, Duplicate frame B is output). Furthermore, the output of the next frame C may be lost depending on the addition period of the current counter value.

次に、本実施の形態における再生制御装置10における垂直同期信号のタイミングと出力フレームについて図12の(b)を参照しながら説明する。   Next, the timing of the vertical synchronizing signal and the output frame in the reproduction control apparatus 10 according to the present embodiment will be described with reference to FIG.

本実施の形態における再生制御装置10によれば、垂直同期信号の周期を、現在カウンタ値に基づいて増減させる処理(図5のステップS205及び図7)が行われる。具体的には、現在カウンタ値の加算周期が長くなった場合、垂直同期信号の周期を長くするように制御が行われる。その結果、フレームBの出力の重複、及び、フレームCの出力の欠落が生じず、すべてのフレームが1回ずつ出力されるようになる。   According to the reproduction control apparatus 10 in the present embodiment, the process of increasing / decreasing the period of the vertical synchronization signal based on the current counter value (step S205 in FIG. 5 and FIG. 7) is performed. Specifically, when the current counter value addition cycle becomes longer, control is performed so as to lengthen the cycle of the vertical synchronization signal. As a result, the output of frame B is not duplicated and the output of frame C is not lost, and all the frames are output once.

図13は、本実施の形態に係るフレーム出力タイミングを示す第二のタイミング図である。また、図13は、関連技術に係るフレーム出力タイミングも併せて示している。図13に示される項目などは、図11に示されるものと同様である。   FIG. 13 is a second timing chart showing the frame output timing according to the present embodiment. FIG. 13 also shows the frame output timing according to the related art. The items shown in FIG. 13 are the same as those shown in FIG.

図13に示される例では、送信装置30のカウンタ値が3000の時に、送信装置30がフレームAを送信する。再生制御装置10のNIF104は、フレームAを受信し、フレームAがバッファ305に格納される(ステップS101及びS102)。このとき、タイマ304のカウンタ値(現在カウンタ値)は500である。   In the example illustrated in FIG. 13, when the counter value of the transmission device 30 is 3000, the transmission device 30 transmits the frame A. The NIF 104 of the playback control apparatus 10 receives the frame A, and the frame A is stored in the buffer 305 (steps S101 and S102). At this time, the counter value (current counter value) of the timer 304 is 500.

制御部301は、現在カウンタ値である500が、フレームAのメモリ格納許可範囲の下限より小さいので(ステップS203)、このときには何も処理を行わない。つまり、制御部301は、フレームAを出力するタイミングまで待つ。そして、時間が経過して現在カウンタ値が1000になったら、現在カウンタ値がフレームAのメモリ格納許可範囲内となるので(ステップS203)、制御部301は、フレームAを出力用メモリ306に格納する(ステップS204)。   Since the current counter value 500 is smaller than the lower limit of the frame A memory storage permission range (step S203), the control unit 301 does not perform any processing at this time. That is, the control unit 301 waits until the timing for outputting the frame A. When the current counter value reaches 1000 after a lapse of time, the current counter value falls within the memory storage permission range for frame A (step S203), so the control unit 301 stores frame A in the output memory 306. (Step S204).

次に、送信装置30のカウンタ値が6000の時に、送信装置30がフレームBを送信し、フレームBがバッファ305に格納される(ステップS101及びS102)。このとき、タイマ304のカウンタ値(現在カウンタ値)は3400である。   Next, when the counter value of the transmission device 30 is 6000, the transmission device 30 transmits the frame B, and the frame B is stored in the buffer 305 (steps S101 and S102). At this time, the counter value (current counter value) of the timer 304 is 3400.

ここで、Xの時点において、現在カウンタ値3400が、フレームBの適正遅延範囲である4000から5500までの範囲の下限(4000)より小さいと判定され(ステップS104)、タイマ304のカウンタ値の加算周期を短くする(ステップS111)。その結果、出力用メモリ306にフレームCが格納されるタイミングは、フレームBが格納されてから比較的短い時間が経過した後になる。   Here, at time X, it is determined that the current counter value 3400 is smaller than the lower limit (4000) of the range from 4000 to 5500, which is the appropriate delay range of frame B (step S104), and the counter value of the timer 304 is added. The cycle is shortened (step S111). As a result, the frame C is stored in the output memory 306 after a relatively short time has elapsed since the frame B was stored.

この状況において、関連技術における垂直同期信号のタイミングと出力フレームについて図13の(a)を参照しながら説明する。   In this situation, the timing and output frame of the vertical synchronization signal in the related art will be described with reference to FIG.

関連技術では、まず、出力用メモリ306にフレームAが格納されている状態において、垂直同期信号に同期してフレームAが出力される。次に、現在カウンタ値の加算周期が短い場合、出力用メモリ306にフレームBが格納された状態において垂直同期信号が検出されず、出力用メモリ306にフレームCが格納される。そして、出力用メモリ306にフレームCが格納された状態において垂直同期信号が検出され、フレームCが出力される。同様にフレームDが出力される。このように、フレームBが出力されることなく、その後続のフレームC及びフレームDが出力される(フレームBが欠落する)。   In the related art, first, in a state where the frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Next, when the current counter value addition cycle is short, the vertical synchronization signal is not detected in a state where the frame B is stored in the output memory 306, and the frame C is stored in the output memory 306. Then, in a state where the frame C is stored in the output memory 306, the vertical synchronization signal is detected, and the frame C is output. Similarly, frame D is output. In this way, the subsequent frames C and D are output without outputting the frame B (the frame B is missing).

次に、本実施の形態における再生制御装置10における垂直同期信号のタイミングと出力フレームについて図13の(b)を参照しながら説明する。   Next, the timing of the vertical synchronization signal and the output frame in the reproduction control apparatus 10 in the present embodiment will be described with reference to FIG.

本実施の形態における再生制御装置10によれば、現在カウンタ値の加算周期が短くなった場合、垂直同期信号の周期を短くするように制御が行われる。その結果、フレームBの出力の欠落が生じず、すべてのフレームが1回ずつ出力されるようになる。   According to the reproduction control apparatus 10 in the present embodiment, when the current counter value addition period is shortened, control is performed so as to shorten the period of the vertical synchronization signal. As a result, the output of frame B is not lost, and all frames are output once.

以上のように、本実施の形態に係る再生制御装置10は、再生カウンタ値の更新周期に基づいて垂直同期信号の周期を増減することで調整する。フレームに付加されている再生カウンタ値は、当該フレームを生成した装置により管理されている。上記装置及び再生制御装置のそれぞれにおいて同じように刻むことを意図しても、ハードウェアの個体差により両者に微小な時間差が生じ、時間の経過とともに上記時間差が累積する。この時間差が、再生装置において再生されるフレームの欠落又は重複の原因となる。そこで、再生カウンタ値の更新周期に基づいて垂直同期信号の周期を調整し、調整後の垂直同期信号によるタイミングで再生装置へフレームを出力することで、再生するフレームの欠落又は重複を回避することができる。よって、再生制御装置は、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。   As described above, the reproduction control apparatus 10 according to the present embodiment adjusts by increasing / decreasing the period of the vertical synchronization signal based on the update period of the reproduction counter value. The reproduction counter value added to the frame is managed by the device that generated the frame. Even if each of the above devices and the reproduction control device is intended to be engraved in the same manner, a minute time difference occurs between the two due to individual differences in hardware, and the time difference accumulates as time passes. This time difference causes missing or overlapping frames to be reproduced in the reproduction apparatus. Therefore, by adjusting the period of the vertical synchronization signal based on the update period of the reproduction counter value and outputting the frame to the reproduction device at the timing according to the adjusted vertical synchronization signal, it is possible to avoid missing or overlapping frames to be reproduced Can do. Therefore, the playback control device can suppress the occurrence of missing or overlapping frames in the content to be played back.

また、再生制御装置10は、具体的に差分値を算出し、差分値の正負に基づいて垂直同期信号の周期を増加又は減少させる。よって、再生制御装置は、より適切に、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。   Further, the reproduction control device 10 specifically calculates the difference value, and increases or decreases the period of the vertical synchronization signal based on the sign of the difference value. Therefore, the playback control apparatus can more appropriately suppress the occurrence of frame loss or duplication in the content to be played back.

また、再生制御装置10は、複数のフレームを再生した後に、再生した複数のフレームに基づいて算出される差分値を用いて、垂直同期信号を調整する。複数のフレームを用いて調整することで、再生制御装置は、突発的に生ずるカウンタ値の遅れ又はパケットロス等の影響を抑制し、比較的長期にわたる再生カウンタ値の更新周期の傾向を考慮して垂直同期信号を調整することができる。   In addition, after reproducing a plurality of frames, the reproduction control apparatus 10 adjusts the vertical synchronization signal using a difference value calculated based on the reproduced frames. By adjusting using a plurality of frames, the playback control device suppresses the influence of the counter value delay or packet loss that occurs suddenly, and considers the trend of the update counter value update period over a relatively long period of time. The vertical synchronization signal can be adjusted.

また、再生制御装置10は、再生カウンタ値が加算される周期と垂直同期信号との差が比較的大きい場合にだけ、垂直同期信号の周期の調整を行う。垂直同期信号の周期の調整を必要最小限にとどめることで表示装置に安定した垂直同期信号及び画像信号を出力し、また、処理負荷を低減することができる。   Further, the reproduction control apparatus 10 adjusts the period of the vertical synchronization signal only when the difference between the period in which the reproduction counter value is added and the vertical synchronization signal is relatively large. By adjusting the period of the vertical synchronization signal to the minimum necessary, a stable vertical synchronization signal and image signal can be output to the display device, and the processing load can be reduced.

また、再生制御装置10は、ネットワーク経由で送信され順次出力用メモリに格納されるフレームに付加された再生カウンタ値と自装置の現在カウンタ値の差分に基づいて自装置の垂直同期信号の周期の調整を行う。これにより、送信装置から送信される複数のフレームを欠落又は重複の発生を抑制しながら再生することができる。   Further, the playback control device 10 determines the period of the vertical synchronization signal of its own device based on the difference between the playback counter value added to the frames transmitted via the network and sequentially stored in the output memory and the current counter value of its own device. Make adjustments. Thereby, it is possible to reproduce a plurality of frames transmitted from the transmission device while suppressing occurrence of omission or duplication.

また、再生制御装置10は、送信装置において更新される再生カウンタ値に対して、再生制御装置において更新する現在カウンタ値が適切な量の遅れを維持しながら更新されるように制御する。これにより、送信装置から送信される複数のフレームを、適切な時間差を維持しながら、かつ、欠落又は重複の発生を抑制しながら再生することができる。   Further, the playback control device 10 controls the current counter value updated in the playback control device to be updated while maintaining an appropriate amount of delay with respect to the playback counter value updated in the transmission device. Thereby, it is possible to reproduce a plurality of frames transmitted from the transmission device while maintaining an appropriate time difference and suppressing occurrence of omission or duplication.

また、再生制御装置10は、フレームの欠落又は重複があった場合に、その欠落又は重複が視聴者に認識されやすいテロップを含むコンテンツを再生する際に、フレームの欠落又は重複の発生を抑制することができる。これにより、視聴者の視聴効果を向上させることができる。   In addition, when there is a missing or overlapping frame, the playback control device 10 suppresses the occurrence of missing or overlapping frames when playing back a content including a telop that is easily recognized by the viewer. be able to. Thereby, the viewing effect of the viewer can be improved.

また、再生制御装置10は、出力用メモリに格納するためのフレームを一時的に保持しておくことができる。バッファから順次フレームを出力用メモリに格納することで、安定してフレームを出力することができる。   Further, the playback control device 10 can temporarily hold a frame to be stored in the output memory. By sequentially storing the frames from the buffer in the output memory, the frames can be output stably.

(実施の形態2)
本実施の形態において、ネットワークを経由せず記憶装置に保存されたコンテンツを再生する場合に、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる再生制御装置等について説明する。なお、以下において、本実施の形態における再生制御装置の動作と、従来の関連技術における再生制御装置の動作を対比しながら説明する。
(Embodiment 2)
In the present embodiment, a description will be given of a playback control device or the like that can suppress the occurrence of frame loss or duplication in content to be played back when content stored in a storage device is played back without going through a network. . In the following description, the operation of the regeneration control device in the present embodiment is compared with the operation of the regeneration control device in the related art.

なお、実施の形態1におけるものと同一の構成要素には同一の符号を付し、詳細な説明を省略する。   In addition, the same code | symbol is attached | subjected to the component same as the thing in Embodiment 1, and detailed description is abbreviate | omitted.

図14は、本実施の形態に係る再生制御システム2の構成を示すブロック図である。   FIG. 14 is a block diagram showing a configuration of the reproduction control system 2 according to the present embodiment.

図14に示されるように、再生制御システム2は、再生制御装置12と、再生装置20とを備える。また、再生制御装置12と再生装置20とは、信号線40により接続されている。   As shown in FIG. 14, the reproduction control system 2 includes a reproduction control device 12 and a reproduction device 20. Further, the playback control device 12 and the playback device 20 are connected by a signal line 40.

再生装置20は、実施の形態1における再生装置20と同じものである。   The playback device 20 is the same as the playback device 20 in the first embodiment.

再生制御装置12は、実施の形態1における再生制御装置10と同じハードウェア構成(図2)を有する。   The playback control device 12 has the same hardware configuration (FIG. 2) as the playback control device 10 in the first embodiment.

再生制御装置12は、コンテンツの再生を制御する再生制御装置である。再生制御装置12は、ストレージ103に保存されているコンテンツを構成する各フレームに付加されたカウンタ値に基づいて、再生装置20によりコンテンツを再生するための信号を信号線40を通じて再生装置20に出力する。   The playback control device 12 is a playback control device that controls playback of content. The reproduction control device 12 outputs a signal for reproducing the content by the reproduction device 20 to the reproduction device 20 through the signal line 40 based on the counter value added to each frame constituting the content stored in the storage 103. To do.

再生制御装置12によるフレーム取得時の処理について説明する。再生制御装置12によるフレーム取得時の処理は、実施の形態1におけるもの(図4)と、フレームの取得方法が異なるだけである。つまり、再生制御装置12では、ステップS101において、再生処理部105がストレージ103に保存されているコンテンツを読み込むことで取得する。受信したフレームには、実施の形態1同様、このフレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されている。   Processing at the time of frame acquisition by the playback control device 12 will be described. The processing at the time of frame acquisition by the playback control device 12 is different from that in the first embodiment (FIG. 4) only in the frame acquisition method. That is, in the playback control device 12, the playback processing unit 105 acquires the content stored in the storage 103 by reading the content in step S101. As with the first embodiment, a reproduction counter value, which is a counter value indicating the timing at which this frame should be reproduced, is added to the received frame.

再生制御装置12による、出力用メモリへのフレーム格納処理、再生装置への信号の出力処理、及び、垂直同期信号の周期を増減させる処理は、それぞれ、実施の形態1におけるもの(図5、図6、及び、図7)と同様である。   The frame storage processing in the output memory, the signal output processing to the playback device, and the processing for increasing / decreasing the period of the vertical synchronization signal by the playback control device 12 are the same as those in the first embodiment (FIGS. 5 and 5). 6 and FIG. 7).

図15は、本実施の形態に関連した、出力されるフレームに欠落又は重複が生じない場合のフレーム出力タイミングを示すタイミング図である。   FIG. 15 is a timing chart showing the frame output timing when there is no omission or duplication in the output frame, related to the present embodiment.

図15では、横軸に時刻をとり、タイマ304のカウンタ値、出力用メモリ306に格納されているフレーム、同期信号生成部302が生成する垂直同期信号、及び、信号出力部303が出力するフレームのそれぞれが、時刻に対して示されている。また、コンテンツを構成するフレームとしてフレームA、B、C及びDを示している。メモリ格納許可範囲の幅は、2000とする。   In FIG. 15, the horizontal axis indicates the time, the counter value of the timer 304, the frame stored in the output memory 306, the vertical synchronization signal generated by the synchronization signal generation unit 302, and the frame output by the signal output unit 303. Each is shown against time. In addition, frames A, B, C, and D are shown as frames constituting the content. The width of the memory storage permission range is 2000.

再生処理部105は、フレームAのメモリ格納許可範囲より前に、フレームAをストレージ103から読み込み、バッファ305に格納する(ステップS102及びS103)。制御部301は、現在カウンタ値が1000となることで、フレームAのメモリ格納許可範囲に入った時点でフレームAを出力用メモリ306に格納する(ステップS204)。   The reproduction processing unit 105 reads the frame A from the storage 103 and stores it in the buffer 305 before the memory storage permission range of the frame A (steps S102 and S103). When the current counter value reaches 1000, the control unit 301 stores the frame A in the output memory 306 when it enters the memory storage permission range of the frame A (step S204).

そして、フレームAが出力用メモリ306に格納されている期間内に垂直同期信号が検出されたときに、垂直同期信号に同期してフレームAが出力される。以降、同様に、フレームB、C及びDが出力される。   When a vertical synchronization signal is detected within a period in which frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Thereafter, similarly, frames B, C, and D are output.

図15に示される例では、1フレームに相当するカウンタ値の増加幅である3000に相当する時間と、1フレームに相当する垂直同期信号の1周期とが等しいので、実施の形態1(図11)における場合と同様、出力されるフレームに欠落又は重複が生ずることがない。つまり、図15に示されるタイミングで現在カウンタ値が加算され、また、垂直同期信号が生成されれば、コンテンツを構成する複数のフレームの全てが重複なく再生されるので、理想的な状態である。   In the example shown in FIG. 15, the time corresponding to 3000, which is the increment of the counter value corresponding to one frame, is equal to one cycle of the vertical synchronization signal corresponding to one frame, so that the first embodiment (FIG. 11) As in the case of), there is no omission or duplication in the output frame. That is, if the current counter value is added at the timing shown in FIG. 15 and the vertical synchronization signal is generated, all of the plurality of frames constituting the content are reproduced without duplication, which is an ideal state. .

ところが、現実的には、1フレームに相当するカウンタ値の増加幅の分だけカウンタ値が進む時間と、1フレームに相当する垂直同期信号との間には差(ずれ)が生じ得る。このような場合に、出力されるフレームに欠落又は重複が発生する。出力されるフレームに欠落又は重複が発生する例を以下で説明する。   However, in reality, there may be a difference (displacement) between the time the counter value advances by the increment of the counter value corresponding to one frame and the vertical synchronization signal corresponding to one frame. In such a case, missing or overlapping occurs in the output frame. An example in which omission or duplication occurs in the output frame will be described below.

図16は、本実施の形態に係るフレーム出力タイミングを示す第一のタイミング図である。また、図16は、関連技術に係るフレーム出力タイミングも併せて示している。図16に示される項目などは、図15に示されるものと同様である。   FIG. 16 is a first timing diagram showing frame output timing according to the present embodiment. FIG. 16 also shows the frame output timing according to the related art. The items shown in FIG. 16 are the same as those shown in FIG.

図16に示される例では、1フレームに相当するカウンタ値の増加幅の分だけカウンタ値が進む時間より、1フレームに相当する垂直同期信号の周期の方が短い場合を説明する。   In the example shown in FIG. 16, a case will be described in which the period of the vertical synchronization signal corresponding to one frame is shorter than the time the counter value advances by the increment of the counter value corresponding to one frame.

再生処理部105は、フレームAのメモリ格納許可範囲より前に、フレームAをストレージ103から読み込み、バッファ305に格納する(ステップS102及びS103)。制御部301は、現在カウンタ値が1000となることで、フレームAのメモリ格納許可範囲に入った時点でフレームAを出力用メモリ306に格納する(ステップS204)。   The reproduction processing unit 105 reads the frame A from the storage 103 and stores it in the buffer 305 before the memory storage permission range of the frame A (steps S102 and S103). When the current counter value reaches 1000, the control unit 301 stores the frame A in the output memory 306 when it enters the memory storage permission range of the frame A (step S204).

同様に、フレームB、C及びDのそれぞれは、現在カウンタ値がそれぞれ4000、7000及び10000となった時点で、順次、出力用メモリ306に格納される(ステップS204)。   Similarly, the frames B, C, and D are sequentially stored in the output memory 306 when the current counter values become 4000, 7000, and 10000, respectively (step S204).

この状況において、関連技術における垂直同期信号のタイミングと出力フレームについて図16の(a)を参照しながら説明する。関連技術は、垂直同期信号の増減を行う処理(図5のステップS205及び図7)が行われない技術である。   In this situation, the timing and output frame of the vertical synchronization signal in the related art will be described with reference to FIG. The related technique is a technique in which the process of increasing / decreasing the vertical synchronization signal (step S205 in FIG. 5 and FIG. 7) is not performed.

関連技術では、垂直同期信号は、一律、60Hzで生成され、この周期が変動することがない。そのため、現在カウンタ値の加算周期が変動しても、垂直同期信号の周期は変わらない。   In the related art, the vertical synchronization signal is uniformly generated at 60 Hz, and this period does not vary. Therefore, even if the current counter value addition cycle varies, the cycle of the vertical synchronization signal does not change.

まず、出力用メモリ306にフレームAが格納されている状態において、垂直同期信号に同期してフレームAが出力される。フレームBも同様に出力される。次に、垂直同期信号の周期が、1フレームに相当するカウンタ値の幅より短いことから、既に一度出力されたフレームBが出力用メモリ306に格納された状態で垂直同期信号を検出し、再びフレームBを出力する(つまり、重複して出力する)。   First, in a state where the frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Frame B is output in the same manner. Next, since the cycle of the vertical synchronization signal is shorter than the width of the counter value corresponding to one frame, the vertical synchronization signal is detected in a state where the frame B that has already been output is stored in the output memory 306, and again Frame B is output (that is, output in duplicate).

次に、本実施の形態における再生制御装置12における垂直同期信号のタイミングと出力フレームについて図15の(b)を参照しながら説明する。   Next, the timing of the vertical synchronizing signal and the output frame in the reproduction control apparatus 12 in the present embodiment will be described with reference to FIG.

本実施の形態における再生制御装置12によれば、垂直同期信号の周期を、現在カウンタ値に基づいて増減させる処理(図5のステップS205及び図7)が行われる。具体的には、現在カウンタ値の加算周期の方が長い場合、垂直同期信号の周期を長くするように制御が行われる。その結果、フレームBの出力の重複が生じず、すべてのフレームが1回ずつ出力されるようになる。   According to the playback control device 12 in the present embodiment, the process of increasing / decreasing the period of the vertical synchronization signal based on the current counter value (step S205 in FIG. 5 and FIG. 7) is performed. Specifically, when the current counter value addition cycle is longer, control is performed so as to lengthen the cycle of the vertical synchronization signal. As a result, the output of frame B is not duplicated and all frames are output once.

図17は、本実施の形態に係るフレーム出力タイミングを示す第二のタイミング図である。   FIG. 17 is a second timing chart showing the frame output timing according to the present embodiment.

また、図17は、関連技術に係るフレーム出力タイミングも併せて示している。図17に示される項目などは、図15に示されるものと同様である。   FIG. 17 also shows the frame output timing according to the related art. The items shown in FIG. 17 are the same as those shown in FIG.

図17に示される例では、1フレームに相当するカウンタ値の幅より、1フレームに相当する垂直同期信号の幅の方が長い場合を説明する。   In the example shown in FIG. 17, a case will be described in which the width of the vertical synchronization signal corresponding to one frame is longer than the width of the counter value corresponding to one frame.

再生処理部105は、フレームA、B、C、D及びEを、図16における場合と同様に、順次、出力用メモリ306に格納する。   The reproduction processing unit 105 sequentially stores the frames A, B, C, D, and E in the output memory 306 as in the case of FIG.

この状況において、関連技術における垂直同期信号のタイミングと出力フレームについて図17の(a)を参照しながら説明する。   In this situation, the timing and output frame of the vertical synchronization signal in the related art will be described with reference to FIG.

まず、出力用メモリ306にフレームAが格納されている状態において、垂直同期信号に同期してフレームAが出力される。フレームB及びCも同様に出力される。次に、垂直同期信号の周期(固定値)が、1フレームに相当するカウンタ値の幅より長いことから、本来、次のフレームDが出力用メモリ306に格納されるところ、フレームEが格納された状態で垂直同期信号を検出し、フレームEを出力する(つまり、フレームDが欠落する)。   First, in a state where the frame A is stored in the output memory 306, the frame A is output in synchronization with the vertical synchronization signal. Frames B and C are output in the same manner. Next, since the period (fixed value) of the vertical synchronization signal is longer than the width of the counter value corresponding to one frame, the frame E is originally stored when the next frame D is stored in the output memory 306. In this state, a vertical synchronization signal is detected and frame E is output (that is, frame D is lost).

次に、本実施の形態における再生制御装置12における垂直同期信号のタイミングと出力フレームについて図17の(b)を参照しながら説明する。   Next, the timing of the vertical synchronizing signal and the output frame in the reproduction control apparatus 12 in the present embodiment will be described with reference to FIG.

本実施の形態における再生制御装置12によれば、垂直同期信号の周期を、現在カウンタ値に基づいて増減させる処理(図5のステップS205及び図7)が行われる。具体的には、現在カウンタ値の加算周期の方が長い場合、垂直同期信号の周期を短くするように制御が行われる。その結果、フレームDが欠落することなく出力され、すべてのフレームが1回ずつ出力されるようになる。   According to the playback control device 12 in the present embodiment, the process of increasing / decreasing the period of the vertical synchronization signal based on the current counter value (step S205 in FIG. 5 and FIG. 7) is performed. Specifically, when the current counter value addition cycle is longer, control is performed so as to shorten the cycle of the vertical synchronization signal. As a result, the frame D is output without being lost, and all the frames are output once.

図18は、各実施の形態におけるコンテンツの具体例(コンテンツ1800)の説明図である。   FIG. 18 is an explanatory diagram of a specific example (content 1800) of content in each embodiment.

図18には、コンテンツ1800を構成する複数フレームのうちの3つのフレーム1801、1802及び1803が示されている。コンテンツは、時間経過とともに、図18における左のフレームから右のフレームへと順に進む。   FIG. 18 shows three frames 1801, 1802, and 1803 among a plurality of frames constituting the content 1800. The content progresses in order from the left frame to the right frame in FIG. 18 with the passage of time.

各フレームは、文字などを含むテロップ部分1811と、テロップでない部分1812とを含む。   Each frame includes a telop portion 1811 including characters and the like and a non-telop portion 1812.

テロップ部分1811には、文字が表示され、表示された文字が時間経過とともに等速で所定方向へ移動する。具体的には、文字は、「おはようございます。今日も元気に過ごしましょう。」というようなものであり、この文字が等速で左に進む(スクロールする)。なお、「文字」は、図形又は記号なども含んでよい。   Characters are displayed in the telop portion 1811, and the displayed characters move in a predetermined direction at a constant speed as time elapses. Specifically, the character is something like “Good morning. Let's stay healthy today.” This character moves to the left at a constant speed (scrolls). The “character” may include a figure or a symbol.

テロップ部分1811は、コンピュータによる画像処理等によって、1フレームごとに所定の画素数だけ所定方向に進むように生成される。よって、コンテンツ1800の再生の際にフレームの欠落又は重複があると、視認者にとっては、テロップ部分1811内の文字が一時的に速く進んだ、又は、一時的に止まったように視認される。   The telop portion 1811 is generated so as to advance in a predetermined direction by a predetermined number of pixels every frame by image processing or the like by a computer. Therefore, if a frame is missing or overlapped during the reproduction of the content 1800, the viewer visually recognizes that the characters in the telop portion 1811 are temporarily advanced or stopped temporarily.

このように、テロップ部分1811は、視認者にとって等速に進むように視認される前提で生成される。そして、多くのフレームが欠落又は重複なく再生される中で、少数のフレームの欠落又は重複があると、少数のフレームの欠落又は重複が視認者に認識されやすい。   Thus, the telop portion 1811 is generated on the premise that the telop portion 1811 is visually recognized so as to advance at a constant speed for the viewer. When many frames are reproduced without missing or overlapping, if a few frames are missing or overlapped, the missing or duplicated frames are easily recognized by the viewer.

一方、テロップでない部分1812は、撮影などにより取得された動画像であり、テロップ部分1811とは独立に進行する動画像で構成される。撮影などにより取得された動画像では、動画像上の被写体の動きが等速であることが少なく、たとえフレームの欠落又は重複があったとしても、視認者に認識されにくい。   On the other hand, the non-telop portion 1812 is a moving image acquired by shooting or the like, and is composed of a moving image that proceeds independently of the telop portion 1811. In a moving image acquired by shooting or the like, the movement of a subject on the moving image is rarely constant, and even if a frame is missing or overlapped, it is difficult for a viewer to recognize it.

上記各実施の形態における再生制御装置によれば、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる。その結果、特に、テロップ部分1811の文字が等速に進むようになることで、視認者にとって視聴効果が向上する。   According to the playback control device in each of the above embodiments, it is possible to suppress the occurrence of missing or overlapping frames in the content to be played back. As a result, the viewing effect is improved for the viewer, in particular, the characters in the telop portion 1811 advance at a constant speed.

なお、バッファ305から出力用メモリ306へフレームを格納する際に、フレームの一部だけを格納するとしてもよい。このようにすれば、例えば、テロップ部分1811についてはフレームの欠落又は重複の発生を抑制するように制御し、テロップでない部分1812については、上記制御を行わないようにすることも可能である。   Note that when storing a frame from the buffer 305 to the output memory 306, only a part of the frame may be stored. In this way, for example, the telop portion 1811 can be controlled to suppress the occurrence of frame loss or duplication, and the non-telop portion 1812 can be controlled not to perform the above control.

コンテンツに音声が含まれている場合、音声は、テロップでない部分1812と同期しているのが通例である。そのため、仮にテロップでない部分1812のフレームの欠落又は重複の発生を抑制するように制御すると、音声とのずれ(いわゆる音ズレ)が生じる可能性がある。そこで、上記のように各部分についての制御をする又はしないことによって、音ズレの防止と、フレームの欠落又は重複の発生の抑制とを両立することができる。   If the content includes audio, the audio is typically synchronized with a non-telop portion 1812. Therefore, if control is performed so as to suppress the occurrence of missing or overlapping frames in the portion 1812 that is not a telop, there is a possibility that a deviation from the sound (so-called sound deviation) occurs. Therefore, by controlling or not controlling each part as described above, it is possible to achieve both the prevention of sound misalignment and the suppression of occurrence of frame loss or duplication.

以上のように、本実施の形態に係る再生制御装置12は、ストレージが保有している複数のフレームを再生する際に、当該複数のフレームを生成して記録した装置が用いていたカウンタ値の更新周期に基づいて、自装置の垂直同期信号の周期の調整を行う。これにより、ストレージが保有している複数のフレームを欠落又は重複の発生を抑制しながら再生することができる。   As described above, the playback control device 12 according to the present embodiment, when playing back a plurality of frames held by the storage, uses the counter value used by the device that generated and recorded the plurality of frames. Based on the update cycle, the vertical synchronization signal cycle of the device itself is adjusted. Thereby, it is possible to reproduce a plurality of frames held by the storage while suppressing the occurrence of missing or overlapping frames.

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されてもよいし、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。   In each of the above embodiments, each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.

以上、本発明の再生制御装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。   Although the playback control apparatus of the present invention has been described based on the embodiment, the present invention is not limited to this embodiment. Unless it deviates from the meaning of this invention, the form which carried out the various deformation | transformation which those skilled in the art can think to this embodiment, and the structure constructed | assembled combining the component in different embodiment is also contained in the scope of the present invention. .

本発明は、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる再生制御装置に利用可能である。具体的には、ネットワークを介して受信したコンテンツを再生する場合、及び、記憶装置に保存されたコンテンツを再生する場合のそれぞれにおいて、再生されるコンテンツ中のフレームの欠落又は重複の発生を抑制することができる再生制御装置に利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used for a playback control apparatus that can suppress the occurrence of frame loss or duplication in content to be played back. Specifically, when the content received via the network is played back and when the content stored in the storage device is played back, the occurrence of missing or overlapping frames in the played content is suppressed. The present invention can be used for a reproduction control apparatus that can

1、2 再生制御システム
10、12 再生制御装置
20 再生装置
30 送信装置
40 信号線
50 ネットワーク
101 CPU
102 メインメモリ
103 ストレージ
104 NIF
105 再生処理部
301 制御部
302 同期信号生成部
303 信号出力部
304 タイマ
305 バッファ
306 出力用メモリ
1, 2 Reproduction Control System 10, 12 Reproduction Control Device 20 Reproduction Device 30 Transmitting Device 40 Signal Line 50 Network 101 CPU
102 Main memory 103 Storage 104 NIF
105 reproduction processing unit 301 control unit 302 synchronization signal generation unit 303 signal output unit 304 timer 305 buffer 306 output memory

Claims (11)

複数のフレームを含むコンテンツを再生装置に再生させるための再生制御装置であって、
前記複数のフレームのそれぞれには、当該フレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されており、
前記再生制御装置は、
所定の時間ごとに増加するカウンタ値である現在カウンタ値を管理するタイマと、
前記複数のフレームのそれぞれを、順次、対象フレームとして保持する出力用メモリと、
周期的に垂直同期信号を生成し、生成した前記垂直同期信号を前記再生装置に出力する同期信号生成部と、
前記垂直同期信号に同期させて、前記出力用メモリに保持されている前記対象フレームを前記再生装置に出力する信号出力部と、
前記対象フレームに付加された再生カウンタ値と、前記信号出力部が前記対象フレームを出力した時の前記現在カウンタ値との差分値を算出し、算出した前記差分値に基づいて、前記複数のフレームのうち前記対象フレームより後の後続フレームについて算出される差分値が所定の適正範囲に入るように、前記垂直同期信号の周期を増減させる制御を行う制御部とを備える
再生制御装置。
A reproduction control apparatus for causing a reproduction apparatus to reproduce content including a plurality of frames,
A reproduction counter value that is a counter value indicating the timing at which the frame should be reproduced is added to each of the plurality of frames.
The playback control device
A timer that manages the current counter value, which is a counter value that increases every predetermined time;
An output memory for sequentially holding each of the plurality of frames as a target frame;
A synchronization signal generation unit that periodically generates a vertical synchronization signal and outputs the generated vertical synchronization signal to the playback device;
A signal output unit that outputs the target frame held in the output memory to the playback device in synchronization with the vertical synchronization signal;
A difference value between the reproduction counter value added to the target frame and the current counter value when the signal output unit outputs the target frame is calculated, and the plurality of frames are calculated based on the calculated difference value. A control unit that controls to increase or decrease the period of the vertical synchronization signal so that a difference value calculated for a subsequent frame after the target frame falls within a predetermined appropriate range.
前記制御部は、
前記再生カウンタ値から、前記信号出力部が前記対象フレームを出力した時の前記現在カウンタ値を減じた値を前記差分値として算出し、
(i)前記差分値が正であるときには、前記垂直同期信号の周期を増加させ、
(ii)前記差分値が負であるときには、前記垂直同期信号の周期を減少させる
請求項1に記載の再生制御装置。
The controller is
A value obtained by subtracting the current counter value when the signal output unit outputs the target frame from the reproduction counter value is calculated as the difference value.
(I) when the difference value is positive, increase the period of the vertical synchronization signal;
The reproduction control apparatus according to claim 1, wherein (ii) when the difference value is negative, the period of the vertical synchronization signal is decreased.
前記制御部は、複数の前記差分値を算出し、算出した複数の前記差分値を統計処理することで統計差分値を算出し、算出した前記統計差分値を前記差分値として用いて前記垂直同期信号の周期を増減させる
請求項1又は2に記載の再生制御装置。
The control unit calculates a plurality of difference values, calculates a statistical difference value by statistically processing the calculated plurality of difference values, and uses the calculated statistical difference value as the difference value to perform the vertical synchronization The reproduction | regeneration control apparatus of Claim 1 or 2 which increases / decreases the period of a signal.
前記差分値が前記所定の適正範囲を逸脱している場合に限り、前記垂直同期信号の周期を増減させる
請求項1〜3のいずれか1項に記載の再生制御装置。
The reproduction control apparatus according to any one of claims 1 to 3, wherein the period of the vertical synchronization signal is increased or decreased only when the difference value deviates from the predetermined appropriate range.
前記再生制御装置は、前記コンテンツを保有している送信装置とネットワークを介して通信可能に接続されており、
前記制御部は、前記送信装置からネットワークを介して前記対象フレームを取得し、取得した前記対象フレームを前記出力用メモリに格納する
請求項1〜4のいずれか1項に記載の再生制御装置。
The playback control device is connected to be able to communicate with a transmitting device that holds the content via a network,
The playback control device according to any one of claims 1 to 4, wherein the control unit acquires the target frame from the transmission device via a network, and stores the acquired target frame in the output memory.
前記制御部は、さらに、
前記フレームを取得した時の前記現在カウンタ値が、前記対象フレームに付加された前記再生カウンタ値から定まる適正遅延範囲内に入るように、前記所定の時間を増減させるように前記タイマを制御する
請求項5に記載の再生制御装置。
The control unit further includes:
The timer is controlled so as to increase or decrease the predetermined time so that the current counter value when the frame is acquired falls within an appropriate delay range determined from the reproduction counter value added to the target frame. Item 6. The playback control device according to Item 5.
前記再生制御装置は、さらに、
前記コンテンツを保有しているストレージを備え、
前記制御部は、前記ストレージから前記対象フレームを取得し、取得した前記対象フレームを前記出力用メモリに格納する
請求項1〜4のいずれか1項に記載の再生制御装置。
The reproduction control device further includes:
Comprising a storage for holding the content;
The playback control apparatus according to any one of claims 1 to 4, wherein the control unit acquires the target frame from the storage, and stores the acquired target frame in the output memory.
前記複数のフレームのそれぞれは、前記複数のフレームのそれぞれにおいて共通の位置に位置するテロップ部分であって、前記コンテンツの再生の際に前記テロップ部分内において所定方向に等速移動する文字を含むテロップ部分を有する
請求項1〜7のいずれか1項に記載の再生制御装置。
Each of the plurality of frames is a telop portion located at a common position in each of the plurality of frames, and includes a telop including characters that move at a constant speed in a predetermined direction in the telop portion when the content is played back The reproduction | regeneration control apparatus of any one of Claims 1-7 which has a part.
前記再生制御装置は、
さらに、
前記複数のフレームのうちの所定数のフレームを保持しているバッファを備え、
前記制御部は、
前記バッファに保持されている前記所定数のフレームのうちの1つのフレームであって、前記1つのフレームの前記再生カウンタ値から定まる所定のメモリ格納許可範囲に前記現在カウンタ値が含まれる1つのフレームを、前記出力用メモリに格納することで、前記出力用メモリに前記対象フレームを保持させる
請求項1〜8のいずれか1項に記載の再生制御装置。
The playback control device
further,
A buffer holding a predetermined number of frames of the plurality of frames;
The controller is
One frame of the predetermined number of frames held in the buffer, wherein the current counter value is included in a predetermined memory storage permission range determined from the reproduction counter value of the one frame The reproduction control apparatus according to claim 1, wherein the target frame is held in the output memory by storing the frame in the output memory.
複数のフレームを含むコンテンツを再生装置に再生させるための再生制御装置における再生制御方法であって、
前記複数のフレームのそれぞれには、当該フレームを再生すべきタイミングを示すカウンタ値である再生カウンタ値が付加されており、
前記再生制御装置は、
所定の時間ごとに増加するカウンタ値である現在カウンタ値を管理するタイマと、
前記複数のフレームのそれぞれを、順次、対象フレームとして保持する出力用メモリとを備え、
前記再生制御方法は、
周期的に垂直同期信号を生成し、生成した前記垂直同期信号を前記再生装置に出力する同期信号生成ステップと、
前記垂直同期信号に同期させて、前記出力用メモリに保持されている前記対象フレームを前記再生装置に出力する信号出力ステップと、
前記対象フレームに付加された再生カウンタ値と、前記信号出力ステップで前記対象フレームを出力した時の前記現在カウンタ値との差分値を算出し、算出した前記差分値に基づいて、前記複数のフレームのうち前記対象フレームより後の後続フレームについて算出される差分値が所定の適正範囲に入るように、前記垂直同期信号の周期を増減させる制御を行う制御ステップとを含む
再生制御方法。
A reproduction control method in a reproduction control device for causing a reproduction device to reproduce content including a plurality of frames,
A reproduction counter value that is a counter value indicating the timing at which the frame should be reproduced is added to each of the plurality of frames.
The playback control device
A timer that manages the current counter value, which is a counter value that increases every predetermined time;
An output memory for sequentially holding each of the plurality of frames as a target frame;
The reproduction control method includes:
A synchronization signal generation step of periodically generating a vertical synchronization signal and outputting the generated vertical synchronization signal to the playback device;
A signal output step of outputting the target frame held in the output memory to the playback device in synchronization with the vertical synchronization signal;
A difference value between the reproduction counter value added to the target frame and the current counter value when the target frame is output in the signal output step is calculated, and the plurality of frames are calculated based on the calculated difference value. A control step of performing control to increase or decrease the period of the vertical synchronization signal so that a difference value calculated for a subsequent frame after the target frame falls within a predetermined appropriate range.
請求項10に記載の再生制御方法をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute the reproduction control method according to claim 10.
JP2014241963A 2014-11-28 2014-11-28 REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM Active JP6347204B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014241963A JP6347204B2 (en) 2014-11-28 2014-11-28 REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014241963A JP6347204B2 (en) 2014-11-28 2014-11-28 REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2016103783A true JP2016103783A (en) 2016-06-02
JP6347204B2 JP6347204B2 (en) 2018-06-27

Family

ID=56089230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014241963A Active JP6347204B2 (en) 2014-11-28 2014-11-28 REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP6347204B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042278A (en) * 2006-08-01 2008-02-21 Matsushita Electric Ind Co Ltd Display device and display method
JP2009188897A (en) * 2008-02-08 2009-08-20 Panasonic Corp Communication system
JP2009225173A (en) * 2008-03-17 2009-10-01 Sony Corp Receiving device, clock synchronization method and computer program
WO2012077392A1 (en) * 2010-12-10 2012-06-14 三菱電機株式会社 Multi-screen display system
JP2013223091A (en) * 2012-04-16 2013-10-28 Sony Computer Entertainment Inc Sync signal adjustment device, sync signal adjustment method, video display device, and sync signal generation device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042278A (en) * 2006-08-01 2008-02-21 Matsushita Electric Ind Co Ltd Display device and display method
JP2009188897A (en) * 2008-02-08 2009-08-20 Panasonic Corp Communication system
JP2009225173A (en) * 2008-03-17 2009-10-01 Sony Corp Receiving device, clock synchronization method and computer program
WO2012077392A1 (en) * 2010-12-10 2012-06-14 三菱電機株式会社 Multi-screen display system
JP2013223091A (en) * 2012-04-16 2013-10-28 Sony Computer Entertainment Inc Sync signal adjustment device, sync signal adjustment method, video display device, and sync signal generation device

Also Published As

Publication number Publication date
JP6347204B2 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
US9549027B2 (en) Network-synchronized media playback
US9489980B2 (en) Video/audio synchronization apparatus and video/audio synchronization method
JP6275326B2 (en) Video information playback system and video information playback device
JP3698376B2 (en) Synchronous playback device
CN1901656B (en) Video and audio reproducing apparatus and video and audio reproducing method, output time changing apparatus and method
US8279344B2 (en) Synchronization of video presentation by video cadence modification
JP2015099346A (en) Multi-screen display system, and image signal correcting method for the same
JP2004208308A (en) Method and apparatus for synchronizing reproduction of audio frame and/or video frame, video driver circuit, and decoder box
JP2013187765A (en) Image and sound processor
KR20070026249A (en) System, nethod, computer program for data reproducing
KR101600891B1 (en) Synchronization method and system for audio and video of a plurality terminal
JP2012169727A (en) Image signal processor and image signal processing method
JP2012105236A (en) Synchronous control apparatus and synchronous control method
JP6347204B2 (en) REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP5101668B2 (en) Digital video recording and playback device
JP2010212746A (en) Transmission system
US20150189127A1 (en) Video processing apparatus
JP2007049466A (en) Synchronizing reproducing method and synchronizing reproducing software
JP2007074038A (en) Information reproducing apparatus and information reproducing method, and computer program
WO2012169096A1 (en) Image display device and image processing device
JP6465305B2 (en) REPRODUCTION DEVICE, REPRODUCTION SYSTEM, AND REPRODUCTION DEVICE CONTROL METHOD
JP2006191538A (en) Compressed stream decoding instrument and compressed stream decoding method
JP6336083B2 (en) Video information reproducing apparatus and reproducing method
JP2018014683A (en) Reproducer, reproduction instruction device, reproduction system, control method for reproducer, control method for reproduction instruction device and control method for reproduction system
JP2007201797A (en) Transmission system and video output method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170706

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171010

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180514

R150 Certificate of patent or registration of utility model

Ref document number: 6347204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250