JP6336083B2 - Video information reproducing apparatus and reproducing method - Google Patents

Video information reproducing apparatus and reproducing method Download PDF

Info

Publication number
JP6336083B2
JP6336083B2 JP2016538192A JP2016538192A JP6336083B2 JP 6336083 B2 JP6336083 B2 JP 6336083B2 JP 2016538192 A JP2016538192 A JP 2016538192A JP 2016538192 A JP2016538192 A JP 2016538192A JP 6336083 B2 JP6336083 B2 JP 6336083B2
Authority
JP
Japan
Prior art keywords
time
frame
display
video
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016538192A
Other languages
Japanese (ja)
Other versions
JPWO2016017266A1 (en
Inventor
亜紀 高柳
亜紀 高柳
山田 和彦
和彦 山田
丸山 清泰
清泰 丸山
正雄 野口
正雄 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016017266A1 publication Critical patent/JPWO2016017266A1/en
Application granted granted Critical
Publication of JP6336083B2 publication Critical patent/JP6336083B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Description

この発明は、ネットワークを通じて映像情報データ(以下、映像データとのみ記載する場合もある)を含む信号を受信し、映像を再生する映像情報再生装置に係り、特に、映像データを複数の表示装置に表示する場合の映像信号のフレーム制御に関するものである。   The present invention relates to a video information reproducing apparatus that receives a signal including video information data (hereinafter, may be described only as video data) through a network and reproduces the video, and in particular, the video data is transmitted to a plurality of display apparatuses. The present invention relates to frame control of a video signal for display.

従来、再生装置で映像の再生が指示されると、まず通信路符号化された多重伝送される信号の分離(復号)処理であるデマックスという処理がされ、その後、情報源符号化された信号の復号処理が開始される。情報源符号化された信号の復号処理は、符号化された映像データに対しては、デコーダーで再生され画像表示装置に表示される。   Conventionally, when playback of a video is instructed by a playback device, first, a process called demux, which is a process of separating (decoding) a multiplexed signal that has been channel-coded, is performed, and then the information source-coded signal is processed. Decoding processing is started. In the decoding process of the information source encoded signal, the encoded video data is reproduced by the decoder and displayed on the image display device.

映像データの再生同期は、受信信号の制御情報データに含まれる映像フレームの表示時刻に係る情報をデコーダーが読み出し、読み出された時刻情報に基づいてフレームの表示を切り替えることで、映像の再生同期をとっている。この映像再生の同期手法は映像情報再生装置に搭載されるハードウエアクロックにより計時された内部時刻に基づき行われる。   For video data playback synchronization, the decoder reads information related to the display time of the video frame included in the control information data of the received signal, and the video display synchronization is switched by switching the frame display based on the read time information. Have taken. This video reproduction synchronization method is performed based on the internal time measured by the hardware clock mounted on the video information reproduction apparatus.

一般的に、内部時刻は、ハードウエアクロックを動作させる水晶発振器の発振周波数の誤差が数ppm〜100ppm程度あり、受信端末の負荷上昇、並びに、温度、湿度、及び、電圧といった諸条件でも変化する。仮に水晶発振器の発振周波数の誤差が約20ppmとすると1日で約3秒の時間の差異が生じる。   In general, the internal time has an error in the oscillation frequency of the crystal oscillator that operates the hardware clock of about several ppm to 100 ppm, and also changes under various conditions such as a load increase of the receiving terminal and temperature, humidity, and voltage. . If the error of the oscillation frequency of the crystal oscillator is about 20 ppm, a time difference of about 3 seconds occurs in one day.

このようなハードウエアクロックを搭載した映像情報再生装置がネットワークに接続され、映像データを配信するコンテンツサーバーから複数の映像情報再生装置へ映像データの配信を行う場合、コンテンツサーバーと映像情報再生装置の時計が異なると、機器間のデータ交換などの処理を適切に行えない恐れがある。そこで、機器それぞれが持つ時計を正しい時刻(以下、基準時刻と記載する場合がある)に同期させるNTP(Network Time Protocol:以下、NTPとのみ記載する場合がある)にて、機器間の同期をとっている。   When a video information reproducing apparatus equipped with such a hardware clock is connected to a network and video data is distributed from a content server that distributes video data to a plurality of video information reproducing apparatuses, the content server and the video information reproducing apparatus If the clocks are different, processing such as data exchange between devices may not be performed properly. Therefore, the synchronization between devices is synchronized with an NTP (Network Time Protocol: hereinafter sometimes referred to as NTP only) that synchronizes the clock of each device with the correct time (hereinafter may be referred to as a reference time). I'm taking it.

NTPを使用することにより、各機器の時計を調整し時刻同期を行うことができるが、突然時刻が変更されると、例えば、映像を再生中の場合、再生が不連続になったり、最後まで再生されなかったりするといった問題が生じる。   By using NTP, it is possible to adjust the clock of each device and synchronize the time, but if the time is suddenly changed, for example, if the video is being played back, the playback will be discontinuous or the end The problem of not being played back occurs.

このような問題に対し、基準時刻の時刻情報と映像情報再生装置の相対的な時刻の差異を検出し、その差異を基に映像の再生同期をとる方法が提案されている。例えば、蓄積メディアから読み出された符号化された映像データの本編の最終フレームと同じ内容を表示するI又はPピクチャーを、本編の最終フレームの後に再生同期用のフレームとして複数枚追加しておき、基準時刻の時刻情報に合わせて、再生同期用のフレームの再生枚数を変更することで調整する方法がある(例えば、特許文献1参照)。   In order to solve such a problem, a method has been proposed in which a difference between relative time information of a reference time and a video information reproducing apparatus is detected, and video reproduction synchronization is performed based on the difference. For example, a plurality of I or P pictures that display the same contents as the final frame of the main part of the encoded video data read from the storage medium are added as playback synchronization frames after the final frame of the main part. There is a method of adjusting by changing the number of reproduction frames for reproduction synchronization in accordance with the time information of the reference time (see, for example, Patent Document 1).

また、映像情報再生装置のハードウエアクロックを基準時刻に合わせるよう修正を行う方法として、ハードウエアクロックを補正するために、第1のクロックを分周して第2のクロックを生成し、出力するスケーラーと、第2のクロックを元に内部時刻情報を生成するタイマーを備え、内部時刻と基準時刻の時間差と、時刻合わせに掛ける所定の時間の長さを基に、スケーラーの分周比を、第2のクロックの周期毎に調整し、内部時刻が基準時刻に次第に近付くよう補正を行う方法がある(例えば、特許文献2参照)。   Further, as a method of correcting the hardware clock of the video information reproducing apparatus to match the reference time, in order to correct the hardware clock, the first clock is divided to generate and output the second clock. A scaler and a timer that generates internal time information based on the second clock are provided. Based on the time difference between the internal time and the reference time, and the length of a predetermined time to be set to the time adjustment, the division ratio of the scaler is There is a method of performing adjustment so that the internal time gradually approaches the reference time by adjusting every cycle of the second clock (see, for example, Patent Document 2).

特開2011−114681号公報JP 2011-114681 A 特開2010−107342号公報JP 2010-107342 A

しかしながら、特許文献1に係る調整方法では、コンテンツサーバー上で映像データに加工を行ってから複数の映像情報再生装置に映像配信を行うため、コンテンツサーバーの処理負荷が増えることが課題である。また、デジタルサイネージのビジネスのように、予め客先から納入された映像データの再生表示を行う場合には、客先のデータに加工を行うことも問題である。   However, the adjustment method according to Patent Document 1 has a problem that the processing load of the content server increases because the video data is processed on the content server and then distributed to a plurality of video information reproducing apparatuses. Further, when reproducing and displaying video data delivered from a customer in advance, as in the digital signage business, processing the customer data is also a problem.

また、特許文献2に係る調整方法では、なめらかに時計を調整することが可能であるがハードウエアクロックの修正に時間を要するという問題がある。   Further, the adjustment method according to Patent Document 2 can smoothly adjust the clock, but has a problem that it takes time to correct the hardware clock.

この発明に係る映像情報再生装置は、映像データ及び該映像データの制御情報データを含む受信信号における、前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出部と、内部時計により計時された内部時刻を検出する内部時刻検出部と、前記基準時刻検出部によって検出された前記基準時刻と前記内部時刻検出部によって検出された前記内部時刻とを比較する比較部と、前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示するよう前記映像データの各フレームの表示時間を変更する出力更新部と、を備え、前記出力更新部は、前記比較部の比較結果から前記基準時刻と前記内部時刻とに差異がないと判断されたときには、前記映像データのフレームレートに対して2倍のフレームレートとした表示用のフレームにおいて2フレームずつ同じ画像情報を表示し、前記比較部の比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、1フレームのみ表示し次のフレームでは前のフレームとは異なる画像情報を表示し、前記比較部の比較結果から前記基準時刻より前記内部時刻が進んでいると判断されたときには、3フレーム以上同じ画像情報を表示するよう表示時間を変更することによって求めるものである。 The video information reproducing apparatus according to the present invention includes a reference time detection unit that detects a reference time based on time information included in the control information data in a received signal including the video data and control information data of the video data, and an internal clock. An internal time detection unit for detecting a measured internal time; a comparison unit for comparing the reference time detected by the reference time detection unit with the internal time detected by the internal time detection unit; and the video data and an output update unit for changing the interval period for each frame of the image data so that the frame rate for the display of more than the frame rate for displaying the image data, the output update unit compares the comparison unit When it is determined from the result that there is no difference between the reference time and the internal time, the frame rate of the video data is twice as high. Every two frames in the frame for display was Mureto displays the same image information, when it is determined that the internal time than the reference time from the comparison result of the comparing portion is delayed, the next frame to display only one frame in displaying the image information different from the previous frame, the when it is judged that the SL internal time Ri by the reference time from the comparison result of the comparison unit is advanced, the display to display the same image information or 3 frames It is obtained by changing the time .

この発明によれば、映像情報再生装置内のハードウエアクロックが示す時刻とコンテンツサーバーの基準時刻との時間差が検出された場合に、表示フレーム数を増減することで、受信信号に含まれる映像データの1フレームあたりの表示時間を変化させることで、時間差を小さくすることが出来る。   According to the present invention, when a time difference between the time indicated by the hardware clock in the video information reproducing apparatus and the reference time of the content server is detected, the video data included in the received signal is increased or decreased by increasing or decreasing the number of display frames. The time difference can be reduced by changing the display time per frame.

また、コンテンツサーバーで映像データに加工を施さずに済み、蓄積された元の映像データをそのまま配信することが可能なため、コンテンツサーバーの処理負荷を軽減出来る。   Further, since it is not necessary to process the video data in the content server, and the stored original video data can be distributed as it is, the processing load on the content server can be reduced.

本発明の実施の形態1にかかる映像情報再生システム全体の構成を概念的に示す図である。It is a figure which shows notionally the structure of the whole video information reproduction | regeneration system concerning Embodiment 1 of this invention. 本発明の実施の形態1にかかる映像情報再生装置の構成例を概略的に示すブロック図である。1 is a block diagram schematically showing a configuration example of a video information reproducing apparatus according to a first embodiment of the present invention. 基準時刻と映像情報再生装置の内部時刻に差異がない場合のフレーム表示方法を示す図である。It is a figure which shows the frame display method when there is no difference between the reference time and the internal time of the video information reproducing apparatus. 基準時刻と比較して映像情報再生装置の内部時刻が遅れている場合のフレームの表示方法を示す図である。It is a figure which shows the display method of a frame when the internal time of a video information reproducing | regenerating apparatus is late compared with reference | standard time. 基準時刻と比較して映像情報再生装置の内部時刻が進んでいる場合のフレームの表示方法を示す図である。It is a figure which shows the display method of a flame | frame when the internal time of a video information reproduction apparatus is advanced compared with reference | standard time. 映像情報再生装置の映像情報再生方法を示すフローチャートである。It is a flowchart which shows the video information playback method of a video information playback apparatus. コンテンツサーバーの映像情報配信方法を示すフローチャートである。It is a flowchart which shows the video information delivery method of a content server. 本発明の実施の形態2にかかる映像情報再生システム全体の構成を概念的に示す図である。It is a figure which shows notionally the structure of the whole video information reproduction | regeneration system concerning Embodiment 2 of this invention. 本発明の実施の形態2にかかる映像情報再生装置を示すブロック図である。It is a block diagram which shows the video information reproducing | regenerating apparatus concerning Embodiment 2 of this invention.

実施の形態1.
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
Embodiment 1 FIG.
Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic and ratios of dimensions and the like are different from actual ones. Therefore, specific dimensions and the like should be determined in consideration of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.

図1は、映像情報再生装置、及び、映像データを含む信号の配信を行うコンテンツサーバーを備えた映像情報再生システムを概略的に示すブロック図である。以下、図を用いて説明する。図において、映像データ、及び、その制御情報データを含むデジタルデータを複数の映像情報再生装置へ配信するコンテンツサーバー50は、例えば、LAN(Local Area Network。以下、LANとのみ記載する場合がある)で構成されるネットワーク51を経由して、映像情報再生装置30、ここでは、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34からなる、にデータを配信する。ここで、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34は、同一の構成からなりコンテンツサーバー50から配信される映像データを含む信号をそれぞれが受信する。   FIG. 1 is a block diagram schematically showing a video information playback system including a video information playback device and a content server that distributes a signal including video data. This will be described below with reference to the drawings. In the figure, a content server 50 that distributes video data and digital data including the control information data to a plurality of video information reproducing apparatuses is, for example, a LAN (Local Area Network; hereinafter, only LAN may be described). Via the network 51 constituted by the video information playback device 30, here, the first video information playback device 31, the second video information playback device 32, the third video information playback device 33, and the first The data is distributed to the four video information reproducing devices 34. Here, the first video information playback device 31, the second video information playback device 32, the third video information playback device 33, and the fourth video information playback device 34 have the same configuration and have the contents server 50. Each of them receives a signal including video data distributed from.

コンテンツサーバー50から映像情報再生装置30へ配信されるデジタルデータは、例えば映像データ、音声データ、及び、それらの制御情報データ、並びに、サーバーの時刻情報データ、並びに、映像情報再生装置の通信可否を確認するデータなどである。以下では、ネットワーク51上に、UDP(User Datagram Protocol。以下、UDPとのみ記載する場合がある)を使ったブロードキャスト配信によりデジタルデータを配信することを想定する。なお、ここでは、送信信号としてデジタルデータで構成された信号を想定したが、特にデジタルデータに限られない。振幅変調、または、周波数変調を利用したアナログデータを送信してもよい。   The digital data distributed from the content server 50 to the video information playback device 30 includes, for example, video data, audio data, control information data thereof, server time information data, and communication availability of the video information playback device. Data to be confirmed. In the following, it is assumed that digital data is distributed on the network 51 by broadcast distribution using UDP (User Datagram Protocol; hereinafter, only described as UDP). Although a signal composed of digital data is assumed here as a transmission signal, the signal is not limited to digital data. Analog data using amplitude modulation or frequency modulation may be transmitted.

図2は、この発明の実施の形態1による映像情報再生装置、ここでは、第1の映像情報再生装置を示すブロック図である。なお、他の映像情報再生装置の構成も同様である。図において、映像情報再生装置30は、ここでは、第1の映像情報再生装置31を例にとり説明するが、他の映像情報再生装置についても同様である、コンテンツサーバー50から配信された映像データの復号を行う機能と、コンテンツサーバー50に対し映像情報再生装置30の内部時計が計時する時刻の遅れや進みを検知すると、その遅れや進みの時刻情報を記憶し、配信される映像データが有する単位時間当たりのフレーム数に対し、表示部22(以下、表示装置と記載する場合がある)が表示する単位時間当たりのフレーム数を増やすことで、配信される映像データが有する1フレームあたりの表示時間を短くしたり、同一画像のフレーム数を多くしたり、その他のフレーム処理をすることを決定する機能を持つ映像再生処理部23と、映像再生処理部23で決定したフレーム処理結果に基づき映像を表示する表示部22とを有する。   FIG. 2 is a block diagram showing the video information reproducing apparatus according to Embodiment 1 of the present invention, here, the first video information reproducing apparatus. The configuration of other video information playback apparatuses is the same. In the figure, the video information playback apparatus 30 will be described by taking the first video information playback apparatus 31 as an example, but the same applies to other video information playback apparatuses, and the video data distributed from the content server 50 is the same. When the decoding function and the delay or advance of the time measured by the internal clock of the video information reproducing apparatus 30 with respect to the content server 50 are detected, the delay and advance time information is stored, and the unit included in the distributed video data By increasing the number of frames per unit time displayed by the display unit 22 (hereinafter sometimes referred to as a display device) with respect to the number of frames per time, the display time per frame included in the distributed video data A video reproduction processing unit 23 having a function of determining whether to shorten the frame length, to increase the number of frames of the same image, or to perform other frame processing. , And a display unit 22 for displaying an image based on the frame processing result determined by the image reproduction processing unit 23.

表示部22は、フレームレート変換等により配信される映像データが有するフレームレート以上の映像信号を受信し、表示することが可能であることを特徴とする。例えば、30fps(Frames Per Second:以下、fpsとのみ記載する場合がある)の映像データを再生する場合、表示部22は、30fps以上の映像データを表示可能な表示装置とする。例えば、この表示部22として、60fpsで表示可能な表示装置を用いる場合、フレームレート変換を行う前の元の映像データの1フレームあたり想定される表示時間である約33.3ms(1/30s、以下、「約」については省略する場合がある)よりも、単位時間当たりのフレーム数を倍としたフレームレート変換後の1フレームあたりの実際の表示時間の方が短くなる。このような表示装置を用いることで、映像の再生に遅れが生じた場合に、元の映像データの1フレームあたりの表示時間である33.3msよりも、実際の表示時間を短くし、その再生の遅れを取り戻すことを可能とする。   The display unit 22 is capable of receiving and displaying a video signal having a frame rate equal to or higher than that of video data distributed by frame rate conversion or the like. For example, when reproducing video data of 30 fps (Frames Per Second: hereinafter sometimes referred to only as “fps”), the display unit 22 is a display device capable of displaying video data of 30 fps or higher. For example, when a display device capable of displaying at 60 fps is used as the display unit 22, about 33.3 ms (1/30 s, which is a display time assumed per frame of the original video data before frame rate conversion is performed. Hereinafter, the actual display time per frame after the frame rate conversion in which the number of frames per unit time is doubled is shorter than “about” may be omitted. By using such a display device, when there is a delay in the reproduction of the video, the actual display time is made shorter than the display time of 33.3 ms per frame of the original video data, and the reproduction is performed. It is possible to recover the delay.

なお、上記実施の形態では、表示部22は、フレームレート変換等により配信される映像データが有するフレームレート以上の映像信号を受信し、表示することが可能な表示装置を想定したが、配信される映像データが有するフレームレートと同じフレームレートの映像信号を受信し、表示することしかできない表示装置であっても、映像の再生に進みが生じた場合に対しては、同一フレームを続けて表示する等して、元の映像データの1フレームあたり想定される表示時間の33.3msよりも長くすることで、その再生の進みを修正することが可能である。   In the above embodiment, the display unit 22 is assumed to be a display device capable of receiving and displaying a video signal having a frame rate higher than that of video data distributed by frame rate conversion or the like. Even if a display device can only receive and display a video signal with the same frame rate as the video data that the video data has, if the video playback progresses, the same frame is displayed continuously. By doing so, it is possible to correct the progress of the reproduction by making the display time longer than 33.3 ms, which is assumed per frame of the original video data.

映像再生処理部23は、データ受信部10、基準時刻検出部11、データ記憶部13、再生制御部14、出力時間計時制御部19、及び、出力時間計時部20を有する。これらは全て、バス21により繋がっている。 The video reproduction processing unit 23 includes a data reception unit 10, a reference time detection unit 11, a data storage unit 13, a reproduction control unit 14, an output time measurement control unit 19, and an output time measurement unit 20. All of these are connected by a bus 21.

データ受信部10は、映像情報再生装置30とLANで接続されたコンテンツサーバー50から、例えば、MPEG-2、H.264、または、H.265といった符号化された映像データの受信を行う。   The data receiving unit 10 receives, for example, MPEG-2, H.264, from the content server 50 connected to the video information reproducing apparatus 30 via a LAN. H.264 or H.264 Encoded video data such as H.265 is received.

基準時刻検出部11は、LANで接続されたコンテンツサーバー50からNTPにより定期的に時刻情報が送信されるので、コンテンツサーバー50の時刻情報の検出を行う。ここでは、基準時刻検出部11で検出されるコンテンツサーバー50が示す時刻を基準時刻として取り扱う。ここで検出する時刻情報は、例えば、コンテンツサーバー50が示す絶対時刻に係る時刻情報を受信するものであっても良いし、コンテンツサーバー50が、現在再生が予定されているフレームに係る情報を示すものであっても良い。   The reference time detection unit 11 detects the time information of the content server 50 because the time information is periodically transmitted from the content server 50 connected via the LAN by NTP. Here, the time indicated by the content server 50 detected by the reference time detection unit 11 is handled as the reference time. The time information detected here may be, for example, information that receives time information related to the absolute time indicated by the content server 50, or the content server 50 indicates information related to a frame that is currently scheduled to be played back. It may be a thing.

データ記憶部13は、この発明の実施の形態1に係る映像情報再生装置で映像データを受信した時にそのデータを一時的に蓄積するRAM等のバッファメモリ、及び、この発明の実施の形態1に係る映像情報再生装置の動作プログラム等を記憶するROMなどにより構成される。   The data storage unit 13 includes a buffer memory such as a RAM that temporarily stores the video data when the video information reproducing apparatus according to the first embodiment of the present invention receives the video data, and the first embodiment of the present invention. It is comprised by ROM etc. which memorize | store the operation | movement program etc. of the video information reproducing apparatus which concerns.

フレーム制御部は、再生制御部14及び出力時間計時制御部19で構成される。   The frame control unit includes a reproduction control unit 14 and an output time counting control unit 19.

再生制御部14はフレームの再生制御をおこなうフレーム制御部の一部を構成する。再生制御部14は、符号化されている映像データの復号を行い、コンテンツサーバー50の基準時刻情報と映像情報再生装置30の内部時計に係る時刻情報を比較し、再生タイミングの遅れや進みの検出がなされるとその遅れや進みの量に従ってフレームの表示数及び表示時間を制御する。   The reproduction control unit 14 constitutes a part of a frame control unit that performs frame reproduction control. The playback control unit 14 decodes the encoded video data, compares the reference time information of the content server 50 with the time information related to the internal clock of the video information playback device 30, and detects a delay or advance of playback timing. When is performed, the number of frames displayed and the display time are controlled according to the amount of delay or advance.

出力時間計時制御部19は、1フレームあたりの表示時間の制御を行い、フレームの再生制御をおこなうフレーム制御部の一部を構成する。出力時間計時制御部19は、映像再生時に映像データが持つフレームごとの再生表示時刻と非同期に、再生制御部14によるフレーム数の制御と合わせて、表示フレームの表示時間を短くしたり長くしたりする。   The output time counting control unit 19 controls a display time per frame and constitutes a part of a frame control unit that performs frame reproduction control. The output time counting control unit 19 shortens or lengthens the display time of the display frame in combination with the control of the number of frames by the playback control unit 14 asynchronously with the playback display time for each frame of the video data during video playback. To do.

出力時間計時部20は、ハードウエアクロック等で構成され、時刻の計時手段をもち、再生制御部14の制御に従いフレームの表示時間を短くしたり長くしたりする場合の時間を計時する。   The output time counting unit 20 includes a hardware clock and the like, has time measuring means, and measures the time when the frame display time is shortened or lengthened according to the control of the reproduction control unit 14.

再生制御部14は、映像デコーダー15、比較部16、記憶部17、及び、出力更新部18を有する。   The reproduction control unit 14 includes a video decoder 15, a comparison unit 16, a storage unit 17, and an output update unit 18.

映像デコーダー15は、データ受信部10で受信したMPEG−2、MPEG−4、H.264、及び、H.265といった圧縮符号化された映像データを復号する。   The video decoder 15 receives MPEG-2, MPEG-4, H.264 received by the data receiving unit 10. H.264 and H.H. Video data that has been compression-encoded such as H.265 is decoded.

比較部16では、基準時刻検出部11で受信したコンテンツサーバー50の時刻情報と映像情報再生装置30の表示制御の基準とする時刻情報とを比較し、コンテンツサーバー50に対して映像表示タイミングの遅れや進みの検出を行う。   The comparison unit 16 compares the time information of the content server 50 received by the reference time detection unit 11 with the time information used as a reference for display control of the video information reproducing apparatus 30, and delays video display timing with respect to the content server 50. Or advance detection.

記憶部17は、比較部16で検出された映像情報再生装置30の映像表示タイミングの遅れや進みの時間を記憶する。   The storage unit 17 stores the delay or advance time of the video display timing of the video information reproducing device 30 detected by the comparison unit 16.

出力更新部18は、フレーム出力時間を表示装置が表示可能な1フレームあたりの表示時間の整数倍に変化させることを特徴とする。これは、例えば、映像データを60fpsで表示可能な表示装置を用いて、30fpsの映像データを表示する場合、1フレームの表示時間を16.7ms(1/60s)、33.3ms(2/60s)、50.0ms(3/60s)、66.7ms(4/60ms)・・・と変化させることを意味する。記憶部17で記憶された映像情報再生装置30の表示タイミングの遅れや進みに基づいて、各フレームの出力時間を0にせずフレーム落ちを起こさないようフレームの表示時間を決定する。   The output update unit 18 changes the frame output time to an integral multiple of the display time per frame that can be displayed by the display device. For example, when displaying 30 fps video data using a display device capable of displaying video data at 60 fps, the display time of one frame is 16.7 ms (1/60 s), 33.3 ms (2/60 s). ) 50.0 ms (3/60 s), 66.7 ms (4/60 ms). Based on the delay or advance of the display timing of the video information reproducing apparatus 30 stored in the storage unit 17, the frame display time is determined so that the output time of each frame is not set to 0 and no frame drop occurs.

従来の映像再生装置では、ハードウエアクロックの時刻情報を基準として映像データに含まれるフレームごとのデコード時刻、表示開始時刻に従って同期再生がなされる。そのため、30fpsの映像データの再生を行う場合には、フレームの表示開始時刻が33.3ms(1/30s)刻みとなっているため、33.3msでフレームが切り替わる。しかし、ハードウエアクロックは自走し、計時を行うため、コンテンツサーバーの基準時刻、または、並列して設置された映像情報再生装置との間で時刻がずれる結果となる。   In the conventional video reproduction apparatus, synchronous reproduction is performed according to the decode time and display start time for each frame included in the video data with reference to time information of the hardware clock. Therefore, when playing back 30 fps video data, the frame display start time is in increments of 33.3 ms (1/30 s), so the frames are switched at 33.3 ms. However, since the hardware clock runs on its own and keeps timing, it results in the time being shifted from the reference time of the content server or the video information reproducing apparatus installed in parallel.

そこで、この発明の実施の形態1に係る映像情報再生装置では、受信データに含まれる表示開始時刻情報を参照せず、また、受信された映像データのフレームレート以上のフレームレートを再生可能な表示装置を用いることにより、フレーム表示時間の変更を行い、基準時刻情報であるコンテンツサーバー50との時刻の差異を縮小する。なお、同一画像を有する静止画を表示する場合などは、受信された映像データのフレームレートと同一のフレームレートで表示可能な表示装置を用いても、フレームの追加または削除を行うことで、コンテンツの切り替わりのタイミングをハードウエアクロックと基準時刻とが一致するよう調整することも可能であるが、フレーム毎の情報が異なる動画像などに対しては、フレーム落ちを防止し、違和感のないスムーズな動画再生を達成できるという効果をさらに有する。   Therefore, in the video information reproducing apparatus according to Embodiment 1 of the present invention, a display that does not refer to the display start time information included in the received data and that can reproduce a frame rate equal to or higher than the frame rate of the received video data. By using the device, the frame display time is changed, and the time difference from the content server 50 as the reference time information is reduced. When displaying still images having the same image, content can be added or deleted by adding or deleting frames even when using a display device that can display at the same frame rate as the frame rate of the received video data. It is possible to adjust the timing of switching so that the hardware clock and the reference time match, but for moving images with different information for each frame, it prevents frame dropping and smoothness without any sense of incongruity Further, it has an effect of achieving moving image reproduction.

図3は、コンテンツサーバーと映像情報再生装置に時刻の差異がない場合における映像データのフレーム構成と再生フレームとの関係を示す模式図である。図において、映像データのフレームレートは30fpsであり、表示装置は、60fpsのフレームレートで表示可能な表示装置とする。映像データのフレームレートは30fpsであり、33.3msごとにフレームが切り替わる。一方、表示装置は、フレームレートが60fpsに対応可能であるから、約16.7ms(1/60s、以下、「約」については省略する場合がある)ごとにフレームを切り替えることが可能である。そのため、16.7ms(1/60s)で垂直同期をとる表示装置では、送信時に1フレームで送られる画像を同一の画像情報を有する2フレームで表示させることとなる。   FIG. 3 is a schematic diagram showing the relationship between the frame structure of video data and the playback frame when there is no time difference between the content server and the video information playback device. In the figure, the frame rate of video data is 30 fps, and the display device is a display device that can display at a frame rate of 60 fps. The frame rate of the video data is 30 fps, and the frame is switched every 33.3 ms. On the other hand, since the display device can cope with a frame rate of 60 fps, it is possible to switch frames every about 16.7 ms (1/60 s, hereinafter, “about” may be omitted). For this reason, in a display device that performs vertical synchronization at 16.7 ms (1/60 s), an image transmitted in one frame at the time of transmission is displayed in two frames having the same image information.

図4は、コンテンツサーバーの基準時刻に対し、映像情報再生装置のフレーム表示のタイミングが、例えば、33.3ms遅れていることが検出された場合の映像情報再生装置側の処理方法を示す図である。図において、30fpsの受信データの再生を行う場合、本来1フレームは、33.3msで切り替わるが、例えば、フレームレートが60fpsで表示可能な受信装置で表示する場合には、送信時に1フレームで送られる画像を同一の画像情報を有する2フレームで表示することとなる。この場合に、基準時刻とハードウエアクロックによる内部時刻との時間差を縮小するためには、所定の画像情報に対して、1フレームで表示することにより、本来2フレームで表示するところを1フレームで表示することとなり、1フレーム分の16.7ms(1/60s)の時間を短縮することができ、その分の遅れが解消できる。これを所定の2画像に対し行うことで、2フレーム分の33.3msの時間が短縮でき、遅れを解消することができる。この場合には、ある特定画像の画像情報を全く表示しないフレーム落ちは発生せず、全ての画像情報を必ず表示することとなる。また、表示時間の短縮は、人の目の画像に対する時間軸方向の分解能以下の変化量とすることで、違和感なくコンテンツサーバー50の基準時刻に対し映像情報再生装置30のフレーム表示タイミングの遅れが生じた場合、その修正をすることができる。   FIG. 4 is a diagram showing a processing method on the video information playback apparatus side when it is detected that the frame display timing of the video information playback apparatus is delayed by, for example, 33.3 ms with respect to the reference time of the content server. is there. In the figure, when 30 fps received data is reproduced, one frame is originally switched at 33.3 ms. For example, when displaying on a receiving device capable of displaying at a frame rate of 60 fps, one frame is transmitted at the time of transmission. The displayed image is displayed in two frames having the same image information. In this case, in order to reduce the time difference between the reference time and the internal time based on the hardware clock, the predetermined image information is displayed in one frame, so that the original display in two frames is performed in one frame. Thus, the time of 16.7 ms (1/60 s) for one frame can be shortened, and the delay can be eliminated. By performing this for two predetermined images, the time of 33.3 ms for two frames can be shortened, and the delay can be eliminated. In this case, a frame drop that does not display any image information of a specific image does not occur, and all image information is displayed without fail. Further, the display time is shortened by setting the amount of change below the resolution in the time axis direction for the human eye image, so that the frame display timing of the video information reproducing apparatus 30 is delayed with respect to the reference time of the content server 50 without a sense of incompatibility. If it happens, you can correct it.

なお、図4では、フレーム落ちを避けるために、所定の複数フレームに対し、その表示時間を1/2としたが、複数フレームにわたり同一内容の画像が続くような静止画に対し、このような静止画を一定時間表示し切り替わる場合などは、フレーム落ちが生じても構わない。このような場合には、表示時間を1/2とするような複雑な処理をすることなく、所定のフレームを表示しないといった単純な処理で対応可能である。   In FIG. 4, in order to avoid dropping frames, the display time is halved for a predetermined plurality of frames. However, for still images in which images having the same content continue over a plurality of frames, When a still image is displayed for a certain period of time and switched, a frame drop may occur. In such a case, it is possible to cope with a simple process of not displaying a predetermined frame without performing a complicated process of reducing the display time to ½.

図5は、コンテンツサーバーの基準時刻に対し映像情報再生装置のフレーム表示のタイミングが、例えば、33.3ms進んでいることが検出された時のフレームの表示方法を示す図である。図において、30fpsの受信データの再生を行う場合、本来1フレームは、33.3msで切り替わるが、例えば、フレームレートが60fpsで表示可能な受信装置で表示する場合には、送信時に1フレームで送られる画像を同一の画像情報を有する2フレームで表示することとなる。この場合に、基準時刻とハードウエアクロックによる内部時刻との時間差を縮小するためには、所定の画像情報に対して、3フレームで表示することにより、本来2フレームで表示するところをそれ以上のフレームで表示することとなり、1フレーム分の16.7ms(1/60s)の時間を短縮することができ、その分の進みが解消できる。これを所定の2画像に対し行うことで、2フレーム分の33.3msの時間が短縮でき、進みを解消することができる。ここでは、所定の2画像に対し行ったが、所定の1画像に対し、4フレームで表示することで進みを解消することもできる。また、進みの幅が大きい場合には、所定の画像の数を4以上としたり、所定の1画像に対し、4フレーム以上としたりすることで対応できることはいうまでもない。   FIG. 5 is a diagram showing a frame display method when it is detected that the frame display timing of the video information reproducing apparatus is advanced by, for example, 33.3 ms with respect to the reference time of the content server. In the figure, when 30 fps received data is reproduced, one frame is originally switched at 33.3 ms. For example, when displaying on a receiving device capable of displaying at a frame rate of 60 fps, one frame is transmitted at the time of transmission. The displayed image is displayed in two frames having the same image information. In this case, in order to reduce the time difference between the reference time and the internal time based on the hardware clock, the predetermined image information is displayed in 3 frames, so that the original display in 2 frames is more than that. Since the frame is displayed, the time of 16.7 ms (1/60 s) for one frame can be shortened, and the progress of that time can be eliminated. By performing this for two predetermined images, the time of 33.3 ms for two frames can be shortened and the advance can be eliminated. Here, although it performed with respect to two predetermined images, progress can also be eliminated by displaying four predetermined frames with respect to one predetermined image. Needless to say, if the advance width is large, the number of predetermined images can be set to 4 or more, or a predetermined image can be set to 4 frames or more.

次に、コンテンツサーバーから配信された映像データが映像情報再生装置で再生されるまでのシーケンスについて説明する。ユーザーからコンテンツサーバー50に対して再生開始のためのデータ送信の要求が出されると、コンテンツサーバー50は、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34に対し、ブロードキャストで映像データ等の送信を開始する。この再生開始の要求は、例えば、映像情報再生装置のいずれかから信号を送ることにより行われる場合もある。   Next, a sequence until the video data distributed from the content server is played back by the video information playback device will be described. When a request for data transmission for starting playback is issued from the user to the content server 50, the content server 50 sends the first video information playback device 31, the second video information playback device 32, and the third video information. Transmission of video data and the like is started by broadcast to the playback device 33 and the fourth video information playback device 34. This reproduction start request may be made, for example, by sending a signal from any of the video information reproducing apparatuses.

図6は、複数の映像情報再生装置の再生を同期させるための、各映像情報再生装置の処理シーケンスを示すフロー図である。図において、ステップST1でコンテンツサーバー50からMPEG−2、H.264、及び、H.265といった映像データがデータ受信部10で受信されると、再生制御部14内の映像デコーダー15で映像データのデコードが開始される。   FIG. 6 is a flowchart showing a processing sequence of each video information playback device for synchronizing playback of a plurality of video information playback devices. In the figure, at step ST1, the content server 50 sends MPEG-2, H.264. H.264 and H.H. When video data such as 265 is received by the data receiving unit 10, the video decoder 15 in the playback control unit 14 starts decoding the video data.

次に、ステップST2で、基準とする時刻情報が基準時刻検出部11で受信されると、ステップST3に進む。例えば、この時刻情報は、コンテンツサーバー50から10秒ごとに送信される。このステップで受信されるコンテンツサーバー50の時刻情報は、例えば、コンテンツサーバー50が示す絶対時刻に係る時刻情報を受信するものであっても良いし、コンテンツサーバー50が、現在再生が予定されているフレームに係る情報を示すものであっても良い。コンテンツサーバー50の時刻情報が基準時刻検出部11で受信されなかった場合は、ステップST9のフレーム表示時間設定へ進む。   Next, when the reference time detection unit 11 receives reference time information in step ST2, the process proceeds to step ST3. For example, the time information is transmitted from the content server 50 every 10 seconds. The time information of the content server 50 received in this step may be, for example, time information related to the absolute time indicated by the content server 50, or the content server 50 is currently scheduled to be played back. Information indicating a frame may be indicated. When the time information of the content server 50 is not received by the reference time detection unit 11, the process proceeds to frame display time setting in step ST9.

次に、ステップST3では、比較部16で、映像情報再生装置30内で動作しているハードウエアクロックから内部時刻情報を取得し、基準時刻検出部11で受信したコンテンツサーバー50の時刻情報と、内部時刻情報とを比較し、ステップST4で、基準時刻に対する内部時刻のずれ(差異時間)ΔT(ms)を求める。内部時刻情報は、記憶部17で記憶される。   Next, in step ST3, the comparison unit 16 acquires the internal time information from the hardware clock operating in the video information reproducing device 30, and the time information of the content server 50 received by the reference time detection unit 11, The internal time information is compared, and in step ST4, a deviation (difference time) ΔT (ms) of the internal time with respect to the reference time is obtained. The internal time information is stored in the storage unit 17.

このとき、コンテンツサーバー50の時刻情報を基準時刻とし、映像情報再生装置30の時刻情報を内部時刻とすると、差異時間ΔTは、以下の数式1で計算される。
[数式1]ΔT=内部時刻−基準時刻
以下では、差異時間ΔTは「ms」を単位とする値であるものとする。
At this time, assuming that the time information of the content server 50 is the reference time and the time information of the video information reproducing apparatus 30 is the internal time, the difference time ΔT is calculated by the following formula 1.
[Equation 1] ΔT = internal time−reference time or less, the difference time ΔT is assumed to be a value with “ms” as a unit.

次に、ステップST5で、ΔTの値を判別し、ΔTが0以外の所定の閾値を超えて、補正が必要な値となった場合にはステップST6に進む。ΔTが所定の閾値以下の場合には、時刻の補正は不要のためステップST9へ進む。なお、この発明の実施の形態1に係る映像情報再生装置では、フレームの増減により遅延時間と調整を行っているため、調整時間は不連続となる。よって、ΔTが0以外の場合であっても、増減させるフレームの表示時間の半分に満たない場合には、ある所定のフレームの増減のみでは、却って時間差が大きくなるため、例えば、閾値を1フレームの半分の時間に設定をしておき、閾値以下となるため調整は行わずステップST9へ進む場合もありうる。ただし、1秒間に表示できるフレーム数が多ければ大きいほど複数の所定のフレームを増やしたり減らしたりすることで、より細かな時間調整が可能であることは説明するまでもない。   Next, in step ST5, the value of ΔT is determined. If ΔT exceeds a predetermined threshold other than 0 and becomes a value that requires correction, the process proceeds to step ST6. If ΔT is less than or equal to the predetermined threshold value, time correction is unnecessary and the process proceeds to step ST9. In the video information reproducing apparatus according to Embodiment 1 of the present invention, the adjustment time is discontinuous because the delay time is adjusted by increasing or decreasing the frame. Therefore, even if ΔT is other than 0, if the display time of the frame to be increased / decreased is less than half, only the increase / decrease of a predetermined frame increases the time difference. If the time is set to half the time, and the value is equal to or less than the threshold value, the adjustment may not be performed and the process may proceed to step ST9. However, it goes without saying that finer time adjustment is possible by increasing or decreasing a plurality of predetermined frames as the number of frames that can be displayed per second is larger.

基準時刻と内部時刻に差異があり補正が必要な場合には、まず、比較部16でΔTの正負を判別する。そのΔTの値に基づき出力時間計時制御部19で表示時間の決定がされる。表示装置が表示可能なフレーム周期の整数倍を差異補正量Aの単位として、表示装置でフレーム落ちしないフレーム周期の整数倍となる差異補正量Aに基づいてフレームの表示時間を変化させることとする。表示装置が表示可能なフレームレートが60fpsとすると、16.7msの整数倍が差異補正量Aとなる。   When there is a difference between the reference time and the internal time and correction is necessary, first, the comparison unit 16 determines whether the ΔT is positive or negative. Based on the value of ΔT, the output time counting control unit 19 determines the display time. The frame display time is changed based on the difference correction amount A, which is an integer multiple of the frame period at which the display device does not drop a frame, with an integer multiple of the frame period that can be displayed by the display device as a unit of the difference correction amount A. . When the frame rate that can be displayed by the display device is 60 fps, the difference correction amount A is an integer multiple of 16.7 ms.

フレームレート30fpsの映像データのソースを、フレームレートが60fpsで表示可能な表示装置に表示する場合で、仮に、映像情報再生装置30が基準時刻と比較して33.3ms遅れていた場合には、2つのフレームに対し、本来2フレームずつ表示するところを1フレームのみ表示し、表示時間を16.7msとして短くすることで、33.3msの遅れを取り戻すことが可能である。   When the source of video data with a frame rate of 30 fps is displayed on a display device that can display at a frame rate of 60 fps, and the video information playback device 30 is delayed by 33.3 ms compared to the reference time, With respect to two frames, it is possible to recover the delay of 33.3 ms by displaying only one frame where two frames are originally displayed and shortening the display time to 16.7 ms.

ΔTが負の場合、つまり、内部時刻が遅れている場合には、差異が16.7ms以上の場合は、1つのフレーム、もしくは、複数のフレームにわたって差異を分散させて時刻の補正を行う。一方、差異が16.7ms未満の場合は、時刻の補正を行わず、差異が16.7ms以上となるまで処理を行わない。   When ΔT is negative, that is, when the internal time is delayed, if the difference is 16.7 ms or more, the time is corrected by distributing the difference over one frame or a plurality of frames. On the other hand, when the difference is less than 16.7 ms, the time is not corrected, and the process is not performed until the difference becomes 16.7 ms or more.

また、ΔTが正の場合、つまり、内部時刻が進んでいる場合には、差異が16.7ms以上の場合は、1つのフレーム、もしくは、複数のフレームにわたって差異を分散させて時刻の補正を行う。一方、差異が16.7ms未満の場合には、時刻の補正を行わず、差異が16.7ms以上となるまで処理を行わない。   When ΔT is positive, that is, when the internal time is advanced, if the difference is 16.7 ms or more, the time is corrected by distributing the difference over one frame or a plurality of frames. . On the other hand, when the difference is less than 16.7 ms, the time is not corrected, and the processing is not performed until the difference becomes 16.7 ms or more.

差異時間ΔTが±16.7ms未満の場合の時刻の補正は、ΔTが16.7msの半分の8.3ms以上となる時に時刻の補正を行っても良い。8.3ms以上の差異が検出されるごとに時刻の補正を行うことで、基準時刻との差異を常に±8.3ms以内におさめることができ、さらに時刻補正の精度を高めることが出来る。   The time correction when the difference time ΔT is less than ± 16.7 ms may be performed when ΔT is 8.3 ms or more, which is half of 16.7 ms. By correcting the time each time a difference of 8.3 ms or more is detected, the difference from the reference time can always be kept within ± 8.3 ms, and the time correction accuracy can be further improved.

ステップST6では、差異補正量A決定する。
差異ΔTが±16.7msの範囲外の場合、差異補正量A、表示装置側の単位での表示フレーム数B、及び、繰越誤差Cを決定する。この時、差異ΔTは[数式2]で表わされる。
[数式2]ΔT=Bフレーム×16.7ms+C
[数式2]を満たすB、Cの値を決定し、本来の表示時間より±Bフレーム加算/減算して表示を行う。この時、Cは「余り」の値となり、16.7ms以下の値とする。
よって、差異補正量Aは[数式3]のように計算され、差異時間ΔTに対し差異補正量Aの補正を行う。
[数式3]差異補正量A=Bフレーム×16.7ms
同様に、時刻補正の精度を上げるため、差異時間ΔTが±8.3msの範囲外の場合に差異補正量A、表示フレーム数B、繰越誤差Cを決定しても良い。
この場合も同様に、差異ΔTは[数式4]のように計算される。
[数式4]ΔT=Bフレーム×16.7ms+C
[数式4]を満たすB、Cの値を決定し、本来の表示時間より±Bフレーム加算/減算して表示を行う。この時、Cは「余り」の値となり、16.7ms以下の値とする。
よって、差異補正量Aは[数式5]のように計算され、差異時間ΔTに対し差異補正量Aの補正を行う。
[数式5]差異補正量A=Bフレーム×16.7ms
In step ST6, a difference correction amount A is determined.
When the difference ΔT is outside the range of ± 16.7 ms, the difference correction amount A, the display frame number B in units on the display device side, and the carry-over error C are determined. At this time, the difference ΔT is expressed by [Formula 2].
[Formula 2] ΔT = B frame × 16.7 ms + C
The values of B and C satisfying [Formula 2] are determined, and display is performed by adding / subtracting ± B frames from the original display time. At this time, C becomes a “remainder” value, which is 16.7 ms or less.
Therefore, the difference correction amount A is calculated as [Equation 3], and the difference correction amount A is corrected with respect to the difference time ΔT.
[Formula 3] Difference correction amount A = B frame × 16.7 ms
Similarly, in order to increase the accuracy of time correction, the difference correction amount A, the display frame number B, and the carry-over error C may be determined when the difference time ΔT is outside the range of ± 8.3 ms.
In this case as well, the difference ΔT is calculated as in [Formula 4].
[Formula 4] ΔT = B frame × 16.7 ms + C
The values of B and C satisfying [Equation 4] are determined, and display is performed by adding / subtracting ± B frames from the original display time. At this time, C becomes a “remainder” value, which is 16.7 ms or less.
Therefore, the difference correction amount A is calculated as [Equation 5], and the difference correction amount A is corrected with respect to the difference time ΔT.
[Formula 5] Difference correction amount A = B frame × 16.7 ms

ステップST7では、比較部16が現在再生中のフレームを検出する。この発明の実施の形態1に係る映像情報再生装置において、予め設定された各フレームの映像データの表示時刻とは同期をとらないため、再生時刻だけでは現在表示しているフレームの内容が分からない。そこで、現在再生中のフレームのフレーム番号を取得し、記憶部17で記憶する。   In step ST7, the comparison unit 16 detects the frame currently being reproduced. In the video information reproducing apparatus according to Embodiment 1 of the present invention, since the display time of the video data of each frame set in advance is not synchronized, the contents of the currently displayed frame cannot be known only by the reproduction time. . Therefore, the frame number of the frame currently being reproduced is acquired and stored in the storage unit 17.

ステップST8では、映像情報再生装置30のハードウエアクロックの時刻を差異補正量Aの時間分、本来の表示時間から加算もしくは減算することで時刻の補正を行う。映像データの表示時刻情報を参照せずに映像再生を行うことにより、フレーム落ちをしないように制御をしており、映像再生の途切れや、フレーム落ちによる映像の乱れが起こらない。また、もしフレーム落ちが起こってしまった場合も、時刻の差異を即修正することが可能である。   In step ST8, the time of the hardware clock of the video information reproducing apparatus 30 is corrected by adding or subtracting the time of the difference correction amount A from the original display time. By performing video playback without referring to the display time information of the video data, control is performed so that frames are not dropped, and video playback is not interrupted and video is not disturbed due to dropped frames. Also, if a frame drop occurs, the time difference can be corrected immediately.

ステップST9では、出力時間計時制御部19において、ステップST6で決定した差異補正量Aに従い、既定のフレーム表示時間(通常33.3ms)から時刻が遅れている場合は、次フレームの再生時間を[33.3ms−差異補正量A]とし、時刻が進んでいる場合は、次フレームの再生時間を[33.3ms+差異補正量A]とする。この時、フレーム落ちを起こさないようフレームの再生時間を設定するため、時刻が遅れている場合は、次フレームの再生時間が0にならないよう、差異補正量Aを決定する。時刻が進んでいる場合は、なめらかな映像再生を阻まないよう複数フレームに渡って表示時間の延長を行う。例えば、166ms時刻が進んでいる場合、1フレームの表示時間を199.3ms(33.3ms+166ms)の表示にするのではなく、10フレームに渡って50.0ms(33.3ms+16.7ms)の表示とする。また、フレーム落ちが起こった場合も時刻の差異を即修正することが可能である。   In step ST9, when the time is delayed from the predetermined frame display time (usually 33.3 ms) in the output time counting control unit 19 according to the difference correction amount A determined in step ST6, the playback time of the next frame is set to [ 33.3 ms-difference correction amount A], and when the time is advanced, the playback time of the next frame is set to [33.3 ms + difference correction amount A]. At this time, in order to set the frame playback time so as not to cause a frame drop, if the time is delayed, the difference correction amount A is determined so that the playback time of the next frame does not become zero. When the time is advanced, the display time is extended over a plurality of frames so as not to prevent smooth video reproduction. For example, when the time of 166 ms is advanced, the display time of one frame is not set to display of 199.3 ms (33.3 ms + 166 ms), but is displayed as 50.0 ms (33.3 ms + 16.7 ms) over 10 frames. To do. Even when a frame drop occurs, the time difference can be corrected immediately.

次に、ステップST10では、ステップST9で決定した次フレームの再生時間を、出力時間計時部20で計時し、表示部22は映像を表示する。この時、ステップST11でこのシーケンスを終了するか否かを判断し、映像データを終了まで再生した場合には、終了する。映像データを終了まで再生していない場合、ステップST2から再度処理を開始する。   Next, in step ST10, the reproduction time of the next frame determined in step ST9 is measured by the output time measuring unit 20, and the display unit 22 displays the video. At this time, in step ST11, it is determined whether or not to end this sequence. If the video data is reproduced to the end, the process ends. If the video data has not been reproduced to the end, the process is started again from step ST2.

図7は、映像情報再生装置30にコンテンツサーバーの処理シーケンスを示すフロー図である。   FIG. 7 is a flowchart showing a processing sequence of the content server in the video information reproducing apparatus 30.

例えば、サイネージ設置者等が予め設定した制御装置からコンテンツサーバー50に対して再生開始のためのデータ送信の要求が出されると、コンテンツサーバー50は映像情報再生装置30に対して映像データのブロードキャストでの送信を開始する。この再生開始の要求は、映像情報再生装置のいずれかから信号を送ることにより行われる場合もある。上記の要求が出されるとコンテンツサーバーの処理はステップST20に進み、映像データを映像情報再生装置のデータ受信部10へ送信を開始する。   For example, when a request for data transmission for starting playback is issued from the control device set in advance by a signage installer or the like to the content server 50, the content server 50 broadcasts video data to the video information playback device 30. Start sending. This reproduction start request may be made by sending a signal from any of the video information reproducing apparatuses. When the above request is issued, the process of the content server proceeds to step ST20 and starts transmitting the video data to the data receiving unit 10 of the video information reproducing apparatus.

次にステップST21で、映像データ送信からサーバーの時刻を基準として10秒が経過したと判断すると、ステップST22で複数の映像情報再生装置の基準時刻とするコンテンツサーバー50の時刻情報を複数の映像情報再生装置の基準時刻検出部11へ送信する。10秒が経過していない場合はステップST23へ進む。なお、ここでは、10秒を例にとり説明したが、5秒、15秒、20秒、30秒、その他5秒単位に限られず任意に設定できることはいうまでもない。   Next, when it is determined in step ST21 that 10 seconds have passed since the transmission of the video data with reference to the server time, the time information of the content server 50 used as the reference time for the plurality of video information reproducing apparatuses is determined in step ST22. The data is transmitted to the reference time detection unit 11 of the playback device. If 10 seconds have not elapsed, the process proceeds to step ST23. In addition, although 10 seconds was demonstrated here as an example, it cannot be overemphasized that it can set arbitrarily not only 5 seconds, 15 seconds, 20 seconds, 30 seconds, and other 5 second units.

ステップST22終了後にステップST23へ進み、映像情報データを終了まで再生した場合、このシーケンスを終了する。また、映像データを終了まで再生していない場合、ステップST20から再度処理を開始する。   After step ST22, the process proceeds to step ST23, and when the video information data is reproduced to the end, this sequence is ended. If the video data has not been reproduced until the end, the process starts again from step ST20.

以上で説明したように、受信された映像データのフレームレート以上のフレームレートで再生可能な表示装置を用いることにより、基準時刻と映像情報再生装置の内部時刻に差異が検出されると、表示されるフレームを追加したり削除したりすることで映像の再生タイミングの補正を行うことが可能となる。   As described above, when a difference is detected between the reference time and the internal time of the video information playback device by using a display device that can play back at a frame rate higher than the frame rate of the received video data, it is displayed. It is possible to correct the playback timing of the video by adding or deleting frames.

本実施の形態1によれば、コンテンツサーバー50の時刻情報と映像情報再生装置30の表示制御の基準とする時刻情報とを比較し、コンテンツサーバー50に対して映像表示タイミングの遅れや進みの検出がされた時、受信された映像データのフレームの表示時間を変化させることで検出された時間差を素早く小さくすることが出来る。   According to the first embodiment, the time information of the content server 50 is compared with the time information used as the reference for display control of the video information reproducing apparatus 30, and the delay or advance of the video display timing is detected with respect to the content server 50. When this is done, the detected time difference can be quickly reduced by changing the display time of the frame of the received video data.

さらに、コンテンツサーバー上でコンテンツサーバーが映像データに加工を施さず、蓄積された映像データをそのまま配信することが可能なため、コンテンツサーバーの処理負荷を軽減できる効果がある。   Furthermore, since the content server does not process the video data on the content server and the stored video data can be distributed as it is, there is an effect that the processing load on the content server can be reduced.

また、受信された映像データの本来予定されているフレームの表示時間を変化させるため、フレーム落ちを起こすことなく基準時刻と時刻の同期をとることが可能となり、なめらかな映像再生を行うことが出来る効果がある。   In addition, since the display time of the originally scheduled frame of the received video data is changed, it is possible to synchronize the reference time with the time without causing a frame drop, and smooth video playback can be performed. effective.

この発明の実施の形態1に係る映像情報再生装置は、例えば、自動車、路面電車、バス、及び、列車などに搭載された表示装置、並びに、監視カメラの表示装置などにおいて、複数の表示装置間で同期をとり、映像を表示させる表示装置間の再生時刻を高精度に同期させることができるという効果が得られる。   The video information reproducing apparatus according to Embodiment 1 of the present invention includes, for example, a display device mounted on a car, a streetcar, a bus, a train, and the like, a display device of a surveillance camera, and the like between a plurality of display devices. Thus, it is possible to synchronize the reproduction time between the display devices for displaying the video with high accuracy.

実施の形態2
図8は、映像情報再生装置と、映像情報再生装置複数台より構成される、映像情報再生システムを概略的に示すブロック図である。上記実施の形態1では、コンテンツサーバーが映像データの配信を担っていが、この発明の実施の形態2では、代表する1つの映像情報再生装置が映像データの配信を担うものとする。以下図を用いて説明する。図において、第5映像情報再生装置35は、例えば、LAN(Local Area Network。以下、LANと記載する場合がある)で構成されるネットワーク51を経由して、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34にデータを配信する。ここで、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、第4の映像情報再生装置34、及び、第5の映像情報再生装置35は同一であり、例えば、ここでは第5の映像情報再生装置35から配信される映像データをそれぞれの映像情報再生装置が受信するものとする。
Embodiment 2
FIG. 8 is a block diagram schematically showing a video information playback system including a video information playback apparatus and a plurality of video information playback apparatuses. In the first embodiment, the content server is responsible for the distribution of the video data. However, in the second embodiment of the present invention, one representative video information reproducing device is responsible for the distribution of the video data. This will be described below with reference to the drawings. In the figure, the fifth image information playback device 35, for example, LAN (Local Area Network. Hereinafter, be referred to as a LAN is) via the configured network 51, the first video information playback device 31 The data is distributed to the second video information playback device 32, the third video information playback device 33, and the fourth video information playback device 34. Here, the first video information playback device 31, the second video information playback device 32, the third video information playback device 33, the fourth video information playback device 34, and the fifth video information playback device 35 are For example, it is assumed here that each video information reproducing device receives video data distributed from the fifth video information reproducing device 35.

また、上記実施の形態1では、映像情報再生装置30の基準時刻を外部機器であるコンテンツサーバー50の時刻と設定していたが、基準時刻をネットワークにより接続された第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、第4の映像情報再生装置34、及び、第5の映像情報再生装置35の内部時刻の平均を取り、第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、第4の映像情報再生装置34、及び、第5の映像情報再生装置35の内、最も平均値に近い映像情報再生装置の内部時刻としても良い。   In the first embodiment, the reference time of the video information playback device 30 is set as the time of the content server 50 that is an external device. However, the first video information playback device 31 connected by a network is used as the reference time. The second video information playback device 32, the third video information playback device 33, the fourth video information playback device 34, and the fifth video information playback device 35 are averaged to obtain the first video Among the information reproducing device 31, the second video information reproducing device 32, the third video information reproducing device 33, the fourth video information reproducing device 34, and the fifth video information reproducing device 35, it is closest to the average value. It may be the internal time of the video information reproducing apparatus.

図9は、この発明の実施の形態2による映像情報再生装置、ここでは、第5の映像情報再生装置を示すブロック図である。図において、上記実施の形態1と同じ番号を付した部分は、上記実施の形態1で説明した構成と同様な構成を取る部分であるため、ここでは、詳しい説明を省略する。データ送信部24は、第5映像情報再生装置35以外の映像情報再生装置である第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34に内部時刻情報を含むデータを配信する。例えば、内部時刻の時刻情報の送信は10秒おきに行う。なお、ここでは、10秒を例にとり説明したが、5秒、15秒、20秒、30秒、その他5秒単位に限られず任意に設定できることはいうまでもない。 FIG. 9 is a block diagram showing a video information reproducing apparatus according to Embodiment 2 of the present invention, here, a fifth video information reproducing apparatus. In the figure, the portions denoted by the same reference numerals as those in the first embodiment are portions having the same configuration as that described in the first embodiment, and thus detailed description thereof is omitted here. Data transmitter 24, the first video information reproducing apparatus 31 is a fifth image information reproducing apparatus other than the video information playback device 35, the second video information reproducing apparatus 32, the third video information reproducing apparatus 33 and, Then, the data including the internal time information is distributed to the fourth video information reproducing device 34. For example, the time information of the internal time is transmitted every 10 seconds. In addition, although 10 seconds was demonstrated here as an example, it cannot be overemphasized that it can set arbitrarily not only 5 seconds, 15 seconds, 20 seconds, 30 seconds, and other 5 second units.

基準時刻決定部25は、図8で示したネットワーク51を経由して第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、第4の映像情報再生装置34、及び、第5の映像情報再生装置35の内部時刻の時刻情報と各映像情報再生装置を識別するID情報を含む信号を受信し、内部時刻情報が最も平均値に近い映像情報再生装置を検出し基準時刻を決定する。   The reference time determination unit 25 performs the first video information playback device 31, the second video information playback device 32, the third video information playback device 33, and the fourth video information via the network 51 shown in FIG. Receiving the signal including the time information of the internal time of the playback device 34 and the fifth video information playback device 35 and the ID information identifying each video information playback device, and playing back the video information whose internal time information is closest to the average value The device is detected and the reference time is determined.

上記のような構成により、この発明の実施の形態2に係る映像情報再生装置では、コンテンツサーバーを用いることなく、ネットワークで接続された第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、第4の映像情報再生装置34、及び、第5の映像情報再生装置35のうち、いずれか一つがコンテンツサーバーの変わりを果たすことにより上記実施の形態1と同様の効果を得ることが出来る。   With the configuration as described above, in the video information playback apparatus according to Embodiment 2 of the present invention, the first video information playback apparatus 31 and the second video information playback apparatus connected via the network without using the content server. 32, any one of the third video information playback device 33, the fourth video information playback device 34, and the fifth video information playback device 35 performs the change of the content server, and thus the first embodiment. The same effect as can be obtained.

さらに、この発明の実施の形態2に係る映像情報再生装置では、コンテンツサーバーを用意することなく、第5の映像情報再生装置35に記憶された映像データを第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34へ配信し同期再生することが可能である。なお、ここでは、第5の映像情報再生装置35がコンテンツサーバーの変わりを果たす場合を例にとり説明したが、他の第1の映像情報再生装置31、第2の映像情報再生装置32、第3の映像情報再生装置33、及び、第4の映像情報再生装置34のいずれか一つ又は複数であってもかまわない。また、ここでは、映像情報再生装置が5台接続されたネットワークを例にとり説明したが、複数台であれば、それ以上、例えば、6台、7台、10台、及び、それ以上の台数であっても、又は、それ以下、例えば、2台、3台、及び、4台であっても、本発明の効果が得られることはいうまでもない。   Furthermore, in the video information playback apparatus according to Embodiment 2 of the present invention, the video data stored in the fifth video information playback apparatus 35 is transferred to the first video information playback apparatus 31 and the first The second video information playback device 32, the third video information playback device 33, and the fourth video information playback device 34 can be distributed and played back synchronously. Here, the case where the fifth video information reproducing device 35 fulfills the change of the content server has been described as an example, but other first video information reproducing device 31, second video information reproducing device 32, third Any one or more of the video information playback device 33 and the fourth video information playback device 34 may be used. In addition, here, a network in which five video information playback apparatuses are connected has been described as an example. However, if there are a plurality of video information playback apparatuses, more than that, for example, six, seven, ten, and more. Needless to say, the effects of the present invention can be obtained even if there are, for example, two, three, and four.

10 データ受信部
11 基準時刻検出部
13 データ記憶部
14 再生制御部
15 映像デコーダー
16 比較部
17 記憶部
18 出力更新部
19 出力時間計時制御部
20 出力時間計時部
21 バス
22 表示部
23 映像再生処理部
24 データ送信部
25 基準時刻決定部
30 映像情報再生装置
31 第1の映像情報再生装置
32 第2の映像情報再生装置
33 第3の映像情報再生装置
34 第4の映像情報再生装置
35 第5の映像情報再生装置
50 コンテンツサーバー
51 ネットワーク
DESCRIPTION OF SYMBOLS 10 Data reception part 11 Reference time detection part 13 Data storage part 14 Playback control part 15 Video decoder 16 Comparison part 17 Storage part 18 Output update part 19 Output time clock control part 20 Output time clock part 21 Bus 22 Display part 23 Video | video reproduction | regeneration processing Unit 24 data transmission unit 25 reference time determination unit 30 video information playback device 31 first video information playback device 32 second video information playback device 33 third video information playback device 34 fourth video information playback device 35 fifth Video information playback device 50 Content server 51 Network

Claims (3)

映像データ及び該映像データの制御情報データを含む受信信号における、前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出部と、
内部時計により計時された内部時刻を検出する内部時刻検出部と、
前記基準時刻検出部によって検出された前記基準時刻と前記内部時刻検出部によって検出された前記内部時刻とを比較する比較部と、
前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示するよう前記映像データの各フレームの表示時間を変更する出力更新部と、
を備え、
前記出力更新部は、
前記比較部の比較結果から前記基準時刻と前記内部時刻とに差異がないと判断されたときには、前記映像データのフレームレートに対して2倍のフレームレートとした表示用のフレームにおいて2フレームずつ同じ画像情報を表示し、
前記比較部の比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、1フレームのみ表示し次のフレームでは前のフレームとは異なる画像情報を表示し、
前記比較部の比較結果から前記基準時刻より前記内部時刻が進んでいると判断されたときには、3フレーム以上同じ画像情報を表示するよう表示時間を変更する
映像情報再生装置。
A reference time detection unit for detecting a reference time based on time information included in the control information data in a reception signal including the video data and control information data of the video data;
An internal time detector for detecting the internal time measured by the internal clock;
A comparison unit that compares the reference time detected by the reference time detection unit with the internal time detected by the internal time detection unit;
And output update unit for changing the interval period for each frame of the image data to display the video data at a frame rate for display or frame rate of the video data,
With
The output update unit
When it is determined from the comparison result of the comparison unit that there is no difference between the reference time and the internal time, two frames are the same in the display frame having a frame rate that is twice the frame rate of the video data. Display image information,
When it is determined from the comparison result of the comparison unit that the internal time is delayed from the reference time, only one frame is displayed and image information different from the previous frame is displayed in the next frame,
Wherein when it is judged that the SL internal time Ri by the reference time from the comparison result of the comparison unit is advanced, the video information reproducing apparatus to change the display time to display the same image information or three frames.
前記比較部は、前記比較結果として、前記基準時刻と前記内部時刻との時間差を求め、
前記出力更新部は、前記時間差の絶対値を小さくするように、整数倍における整数を決定する
ことを特徴とする請求項1に記載の映像情報再生装置。
The comparison unit obtains a time difference between the reference time and the internal time as the comparison result,
The output update unit is configured so as to reduce the absolute value of the time difference, the video information reproducing apparatus according to claim 1, wherein the determining the integer in several times integer.
映像データ及び該映像データの制御情報データを含む受信信号を受信する受信ステップと、
前記制御情報データに含まれる時刻情報による基準時刻を検出する基準時刻検出ステップと、
内部時計により計時された内部時刻を検出する内部時刻検出ステップと、
前記基準時刻検出ステップにおいて検出された前記基準時刻と前記内部時刻検出ステップにおいて検出された前記内部時刻とを比較する比較ステップと、
前記映像データのフレームレート以上の表示用のフレームレートで前記映像データを表示するよう前記映像データの各フレームの表示時間を変更する出力更新ステップと、
を有し、
前記出力更新ステップでは、
前記比較ステップの比較結果から前記基準時刻と前記内部時刻とに差異がないと判断されたときには、前記映像データのフレームレートに対して2倍のフレームレートとした表示用のフレームにおいて2フレームずつ同じ画像情報を表示し、
前記比較ステップの比較結果から前記基準時刻より前記内部時刻が遅れていると判断されたときには、1フレームのみ表示し次のフレームでは前のフレームとは異なる画像情報を表示し、
前記比較ステップの比較結果から前記基準時刻より前記内部時刻が進んでいると判断されたときには、3フレーム以上同じ画像情報を表示するよう表示時間を変更する
映像情報再生方法。
A reception step of receiving a reception signal including video data and control information data of the video data;
A reference time detecting step of detecting a reference time based on time information included in the control information data;
An internal time detection step for detecting the internal time measured by the internal clock;
A comparison step for comparing the reference time detected in the reference time detection step with the internal time detected in the internal time detection step;
An output update step of changing a display time of each frame of the video data so as to display the video data at a display frame rate equal to or higher than a frame rate of the video data;
Have
In the output update step,
When it is determined from the comparison result of the comparison step that there is no difference between the reference time and the internal time, two frames are the same in the display frame having a frame rate twice as high as the frame rate of the video data. Display image information,
When it is determined from the comparison result of the comparison step that the internal time is delayed from the reference time, only one frame is displayed and image information different from the previous frame is displayed in the next frame,
Wherein when the front SL internal time Ri by the reference time from the comparison result of the comparison step is determined to proceed, the video information playback method of changing the display time to display the same image information or three frames.
JP2016538192A 2014-07-29 2015-06-02 Video information reproducing apparatus and reproducing method Active JP6336083B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014153478 2014-07-29
JP2014153478 2014-07-29
PCT/JP2015/065882 WO2016017266A1 (en) 2014-07-29 2015-06-02 Video information playback device and playback method

Publications (2)

Publication Number Publication Date
JPWO2016017266A1 JPWO2016017266A1 (en) 2017-04-27
JP6336083B2 true JP6336083B2 (en) 2018-06-06

Family

ID=55217171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538192A Active JP6336083B2 (en) 2014-07-29 2015-06-02 Video information reproducing apparatus and reproducing method

Country Status (3)

Country Link
JP (1) JP6336083B2 (en)
SG (1) SG11201610660PA (en)
WO (1) WO2016017266A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6596450B2 (en) * 2017-01-06 2019-10-23 株式会社教育情報サービス Computer, content reproduction method and program
JP2020077929A (en) * 2018-11-06 2020-05-21 セイコーソリューションズ株式会社 Time distribution device, synchronization system, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159191A (en) * 2002-11-07 2004-06-03 Seiko Epson Corp Conversion of frame rate in accordance with image data
JP2012169727A (en) * 2011-02-10 2012-09-06 Panasonic Corp Image signal processor and image signal processing method
JP6051847B2 (en) * 2012-12-25 2016-12-27 三菱電機株式会社 Video information reproduction method and system

Also Published As

Publication number Publication date
WO2016017266A1 (en) 2016-02-04
JPWO2016017266A1 (en) 2017-04-27
SG11201610660PA (en) 2017-02-27

Similar Documents

Publication Publication Date Title
JP6275326B2 (en) Video information playback system and video information playback device
US8954496B2 (en) Multi-screen display system
US8873928B2 (en) Audio and video synchronization apparatus and method in wireless communication network
US6429902B1 (en) Method and apparatus for audio and video end-to-end synchronization
US8111327B2 (en) Method and apparatus for audio/video synchronization
US8526501B2 (en) Decoder and decoding method based on video and audio time information
KR20210030478A (en) Dynamic reduction of replacement content playback to support aligning the end of the replacement content with the end of the replacement content
JP5616922B2 (en) Synchronization signal adjustment device, synchronization signal adjustment method, video display device, and synchronization signal generation device
JP2009272945A (en) Synchronous reproduction apparatus
KR102566550B1 (en) Method of display playback synchronization of digital contents in multiple connected devices and apparatus using the same
JP6336083B2 (en) Video information reproducing apparatus and reproducing method
JP2003092761A (en) Moving picture reproducing device, moving picture reproducing method and audio reproducing device
JP3906712B2 (en) Data stream processing device
JP5186094B2 (en) Communication terminal, multimedia playback control method, and program
JP4359024B2 (en) Synchronous control method and apparatus, synchronous playback apparatus and television receiver using the same
JP4689231B2 (en) Transport stream switching device
JP5958008B2 (en) Stream processing apparatus, stream processing method, and stream processing program
US9912427B2 (en) Reception apparatus and system
US5724476A (en) Method and apparatus for extending and reproducing compressed moving pictures
JP2008067179A (en) Receiver and coded data reproduction method
JP6347204B2 (en) REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP5720285B2 (en) Streaming system
JP4188402B2 (en) Video receiver
JP2009177303A (en) Video signal processor, and video signal processing method
JP2009141458A (en) Device, method, and program for recording and reproducing

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180501

R150 Certificate of patent or registration of utility model

Ref document number: 6336083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250