JP2011244278A - Video comparison monitoring system, video comparison monitoring method, video comparison monitoring program, and recording medium for video comparison monitoring program - Google Patents
Video comparison monitoring system, video comparison monitoring method, video comparison monitoring program, and recording medium for video comparison monitoring program Download PDFInfo
- Publication number
- JP2011244278A JP2011244278A JP2010115611A JP2010115611A JP2011244278A JP 2011244278 A JP2011244278 A JP 2011244278A JP 2010115611 A JP2010115611 A JP 2010115611A JP 2010115611 A JP2010115611 A JP 2010115611A JP 2011244278 A JP2011244278 A JP 2011244278A
- Authority
- JP
- Japan
- Prior art keywords
- comparison
- image data
- broadcast
- video
- retransmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 83
- 238000013500 data storage Methods 0.000 claims description 45
- 238000012795 verification Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000008447 perception Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 100
- 238000001514 detection method Methods 0.000 description 19
- 238000007726 management method Methods 0.000 description 17
- 230000000052 comparative effect Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、映像を比較して監視する技術に関する。 The present invention relates to a technique for comparing and monitoring images.
現在では、従来の地上波アナログ放送と共に、高精細性、高音質・多機能性、双方向性等の様々な利便的特徴から、ＭＰＥＧ２の信号圧縮方式を採用した地上波デジタル放送が開始されている。 At present, together with conventional terrestrial analog broadcasting, terrestrial digital broadcasting using the MPEG2 signal compression method has been started due to various convenient features such as high definition, high sound quality / multifunctionality, and bidirectionality. Yes.
通常、このような地上波デジタル放送は無線通信ネットワークを通じてユーザに提供されるが、放送されている地上波デジタル放送をリアルタイムに捕捉し、Ｈ．２６４の圧縮形式で圧縮した後に、ＩＰ化した時系列な複数の画像データ（フレームという場合もある）を再送信することにより、光回線等の有線通信ネットワークを通じて地上波デジタル放送を擬似的に提供することが可能となっている（非特許文献１，２参照）。
Usually, such terrestrial digital broadcasting is provided to users through a wireless communication network, but the terrestrial digital broadcasting being broadcast is captured in real time. Hidden digital terrestrial broadcasting over a wired communication network such as an optical line by retransmitting multiple time-series image data (sometimes referred to as frames) that have been converted to IP after being compressed in H.264 compression format (See Non-Patent
図７は、従来の映像比較監視システムを概略的に示す図である。図７（ａ）はリアルタイムで映像比較監視するシステムを示し、図７（ｂ）はオフラインで映像比較するシステムを示している。 FIG. 7 is a diagram schematically showing a conventional video comparison and monitoring system. FIG. 7A shows a system for comparing and monitoring images in real time, and FIG. 7B shows a system for comparing images offline.
リアルタイム型の映像比較監視システムでは、放送されている地上波デジタル放送の放送用映像ストリームＡを捕捉し、放送用映像ストリームＡを構成している複数の放送用画像データＡを時系列順にバッファＡに書き込むと共に、ＩＰ再送信されている再送信用映像ストリームＢを捕捉し、再送信用映像ストリームＢを構成している複数の再送信用画像データＢを時系列順にバッファＢに書き込み、各バッファＡ，Ｂから各放送用画像データＡと各再送信用画像データＢとをそれぞれ取得して画像データ単位（フレーム単位）で比較し、予め設定されている比較監視パラメータの値に合致するか否かをリアルタイムに判定して、合致しない再送信用画像データＢをエラーとして検知していた。 In the real-time video comparison and monitoring system, a broadcast video stream A of a terrestrial digital broadcast being broadcast is captured, and a plurality of broadcast image data A constituting the broadcast video stream A are buffered in chronological order. , The retransmission reputable video stream B being retransmitted by the IP is captured, and a plurality of retransmission reliable image data B constituting the retransmission reliable video stream B is written in the buffer B in time series, and each buffer A, B Each broadcast image data A and each retransmitted reliable image data B are acquired and compared in image data units (frame units), and in real time whether or not they match the preset comparison monitoring parameter values. As a result of the determination, the non-matching reliable image data B was detected as an error.
その後、エラー検知された再送信用画像データＢが人間の目から見てエラーに値するか否かを判断し、エラー検知に値しない場合には比較監視パラメータの値を調整して、以降同様の再送信用画像データＢが送信された際にはエラー検知しないようにすることで再送信用画像データを監視していた。 Thereafter, it is determined whether or not the retransmission-reliable image data B that has been detected as an error deserves an error when viewed from the human eye. If it does not deserve an error detection, the value of the comparison monitoring parameter is adjusted. When the trusted image data B is transmitted, the retransmission trusted image data is monitored by not detecting an error.
このような従来のリアルタイム型の映像比較監視システムによれば、リアルタイムに画像データを比較するため、放送のような映像ストリームの監視には好適である。しかしながら、再度同様の映像ストリームが出現するとは限らないため、調整後の比較監視パラメータの値を検証することは不可能であり、実際に人間の目で見て障害があるか否かを判断可能な視聴監視レベルまで比較監視パラメータを調整することは困難であった。 According to such a conventional real-time video comparison and monitoring system, image data is compared in real time, which is suitable for monitoring video streams such as broadcasting. However, since the same video stream does not always appear again, it is impossible to verify the value of the comparative monitoring parameter after adjustment, and it is possible to determine whether or not there is actually an obstacle with the human eye. It was difficult to adjust the comparative monitoring parameters to a certain viewing monitoring level.
一方、オフライン型の映像比較システムでは、上記複数の放送用画像データＡと上記複数の再送信用画像データＢとをデータ蓄積部に逐次一旦蓄積しておき、必要に応じて放送用画像データＡと再送信用画像データＢとをデータ蓄積部から読み出して所定の比較アルゴリズムを用いて画像比較を行い、予め設定されている比較パラメータに合致するか否かを判定し、合致しない場合に再送信用画像データＢをエラーとして検知していた。 On the other hand, in the offline video comparison system, the plurality of broadcast image data A and the plurality of retransmitted reliable image data B are sequentially temporarily stored in a data storage unit, and the broadcast image data A and The image data for retransmission B is read from the data storage unit, image comparison is performed using a predetermined comparison algorithm, and it is determined whether or not it matches a preset comparison parameter. B was detected as an error.
このような従来のオフライン型の映像比較システムによれば、リアルタイム性が求められないため、比較処理時間を必要とする比較アルゴリズムを採用することが可能であり、比較アルゴリズムの比較監視パラメータを何度も調整して画像比較を繰り返して詳細に行うことができ、画像データの相違箇所を正確に評価することが可能である。しかしながら、原則として二度と同じ画像データが出現しない放送のような絶えず変化する映像ストリームをリアルタイムに監視する用途には不向きであった。 According to such a conventional offline video comparison system, since real-time performance is not required, it is possible to employ a comparison algorithm that requires a comparison processing time. The image comparison can be repeated and the image comparison can be repeatedly performed in detail, and the difference between the image data can be accurately evaluated. However, in principle, it is unsuitable for monitoring a video stream that changes constantly, such as a broadcast in which the same image data does not appear again.
そこで、２つの映像ストリームのリアルタイムでの映像比較監視を人間による視聴監視に近いレベルで実施できるように、リアルタイム型の映像比較監視システムからエラー検知を受けたオペレータが、画像データを蓄積したオフライン型の映像比較システムを使用して、エラー検知時刻から目的の画像データを検索し、エラー検知が妥当であるか否かを比較アルゴリズムを用いて比較監視パラメータを可変しながら具体的に判断し、その判断結果に基づいてリアルタイム型の映像比較監視システムの比較監視パラメータを調整することを繰り返し行うことも可能であった。 In order to perform real-time video comparison and monitoring of two video streams at a level close to human viewing monitoring, an operator who has received an error detection from a real-time video comparison and monitoring system can store images. The target image data is searched from the error detection time using the video comparison system of, and whether or not the error detection is appropriate is specifically judged using the comparison algorithm while changing the comparison monitoring parameter. It was also possible to repeatedly adjust the comparison and monitoring parameters of the real-time video comparison and monitoring system based on the determination result.
比較監視に用いられる処理には画像処理、画像認識、その他メタ情報を用いることが考えられるが、人間の極めて複雑な視聴感覚に近づけるような画像比較処理を自動で行うには、様々な比較アルゴリズムを導入して比較監視パラメータの調整をその都度行う必要があるため、単純な既存施術の組み合わせでは画像比較処理が煩雑且つ高負荷となり、膨大な時間を要するという問題があった。 It is conceivable to use image processing, image recognition, and other meta information for the processing used for comparative monitoring, but various comparison algorithms are used to automatically perform image comparison processing that approximates the extremely complex viewing sensation of humans. Since it is necessary to adjust the comparison monitoring parameters each time, there is a problem that the image comparison processing becomes complicated and high load with a combination of simple existing procedures, and it takes a lot of time.
また、このような問題に起因して、様々な比較アルゴリズムの導入や比較監視パラメータの変更等を迅速に対応することが困難となり、次々と対処すべき事象が発生する監視現場ではエラー検知の妥当性の調査がされずに保留された状態の監視結果が存在するという問題もあった。 In addition, due to such problems, it is difficult to respond quickly to the introduction of various comparison algorithms and comparison monitoring parameter changes. There was also a problem that there was a monitoring result in a suspended state without a sex investigation.
本発明は、上記を鑑みてなされたものであり、リアルタイムに比較監視を行い、その結果をオフラインで検証し、比較条件にフィードバックして、２つの映像ストリームを人間の知覚に近いレベルでリアルタイムに比較することを課題とする。 The present invention has been made in view of the above, and performs comparative monitoring in real time, verifies the result offline, feeds back to the comparison condition, and in real time at a level close to human perception. The challenge is to compare.
請求項１に記載の本発明は、放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを蓄積する画像データ蓄積手段と、前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録するリアルタイム型映像比較監視手段と、前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定するオフライン型追比較検証手段と、を有することを特徴とする。
The present invention according to
本発明によれば、複数の放送用画像データと複数の再送信用画像データとを、放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、その第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行うため、リアルタイムでの監視を実現しながら、人間の視聴感覚に近づけるような複数の比較処理をリアルタイム監視向けに短時間で実現することが可能となる。 According to the present invention, a plurality of broadcast image data and a plurality of retransmitted reliable image data are played back following the broadcast video stream broadcast and the retransmitted retransmitted video stream, respectively, and human visual characteristics are improved. Of the plurality of considered comparison algorithms, a first comparison is made between each broadcast image data and each retransmitted reliable image data using a comparison algorithm with a short comparison processing time, and as a result of the first comparison, a preset comparison is made. Since comparison processing is performed for second comparison using the comparison algorithm with the short comparison processing time next for the broadcast image data and the re-transmission credit image data that do not match the conditions, a human viewing sensation while realizing real-time monitoring. It is possible to realize a plurality of comparison processes that are close to those for real-time monitoring in a short time.
本発明によれば、画像比較結果記録手段から各識別情報を読み出して、その各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを画像データ蓄積手段から取得するため、リアルタイム型映像比較監視手段とオフライン型追比較検証手段との間で、対象となる画像データの時間ズレや検出結果の差異等の発生を防止することが可能となる。 According to the present invention, each identification information is read from the image comparison result recording means, and the broadcast image data and the retransmission trusted image data corresponding to each identification information are obtained from the image data storage means. It is possible to prevent occurrence of a time lag of target image data, a difference in detection results, and the like between the comparison monitoring unit and the offline type additional comparison verification unit.
請求項２に記載の本発明は、前記比較が、前記放送用画像データと前記再送信用画像データとの近似度又は相違度の比較であることを特徴とする。
The present invention according to
請求項３に記載の本発明は、前記オフライン型追比較検証手段が、比較される前記放送用画像データ及び前記再送信用画像データと前記比較の結果とを表示する表示手段と、前記比較条件として設定されるパラメータの値の変更の入力を受け付ける変更入力受付手段と、を有し、前記パラメータの値は、前記表示手段に表示された前記比較の結果に基づいて、前記変更入力受付手段で入力が受け付けられたユーザによって変更された値であることを特徴とする。 According to a third aspect of the present invention, the off-line additional comparison / verification unit displays the broadcast image data to be compared, the retransmission trusted image data, and the comparison result, and the comparison condition. Change input receiving means for receiving an input of a change in the value of the parameter to be set, and the parameter value is input by the change input receiving means based on the result of the comparison displayed on the display means Is a value changed by the accepted user.
本発明によれば、パラメータの値は、表示手段に表示された比較の結果に基づいて、変更入力受付手段で入力が受け付けられたユーザによって変更された値であるため、リアルタイム型映像比較監視手段における以降の比較処理を、より人間の視聴感覚に近いものにすることが可能となる。 According to the present invention, since the parameter value is a value changed by the user whose input is received by the change input receiving means based on the comparison result displayed on the display means, the real-time video comparison monitoring means The subsequent comparison processing in can be made closer to the human viewing sensation.
請求項４に記載の本発明は、前記オフライン型追比較検証手段が、前記パラメータの値が変更される毎に、前記比較を行って当該比較の結果を表示することを特徴とする。
The present invention according to
請求項５に記載の本発明は、前記オフライン型追比較検証手段が、比較される前記放送用画像データと前記再送信用画像データとに時系列的に前後する複数の放送用画像データと複数の再送信用画像データとを前記画像データ蓄積手段から更に取得して再生することを特徴とする。 According to a fifth aspect of the present invention, the off-line additional comparison / verification means includes a plurality of pieces of broadcast image data and a plurality of pieces of broadcast image data that are time-seriesly followed by the broadcast image data to be compared and the retransmission trusted image data. The image data for re-transmission is further acquired from the image data storage means and reproduced.
請求項６に記載の本発明は、前記オフライン型追比較検証手段が、コマ送り再生、繰り返し再生のうちいずれか１以上を行うことを特徴とする。
The present invention according to
本発明によれば、コマ送り再生、繰り返し再生のうちいずれか１以上を行うため、エラー判定結果を容易且つ適宜適切に確認することが可能となる。 According to the present invention, one or more of frame-by-frame playback and repetitive playback are performed, so that the error determination result can be easily and appropriately confirmed.
請求項７に記載の本発明は、前記リアルタイム型映像比較監視手段が、前記放送用映像ストリームとして放送されている各放送用画像データの各放送時刻と、前記再送信用映像ストリームとして再送信されている各再送信用画像データの各再送信時刻とから前記それぞれ追い掛けて再生されるまでの遅延時間の最小値を設定しておき、前記比較処理が重い場合には、当該比較処理に要する時間に応じて前記遅延時間を増大して前記追い掛けて再生し、前記比較処理が軽い場合には、前記遅延時間の最小値になるまで当該比較処理に要する処理速度に応じて早送り再生することを特徴とする。
In the present invention according to
請求項８に記載の本発明は、前記リアルタイム型映像比較監視手段が、少なくとも１以上の放送用画像データからなる第１画像群を複数選択すると共に、少なくとも１以上の再送信用画像データからなる第２画像群を複数選択し、前記複数の第１画像群のうちいずれかの第１画像群と前記複数の第２画像群のうちいずれかの第２画像群とを任意に比較して相関度を求め、最も相関度の高い第１画像群と第２画像群とにそれぞれ含まれる放送用画像データと再送信用画像データとを用いて前記比較処理を行うことを特徴とする。 In the present invention according to claim 8, the real-time video comparison and monitoring means selects a plurality of first image groups each including at least one broadcast image data and includes at least one retransmission reliable image data. A plurality of two image groups are selected, and any first image group of the plurality of first image groups and any second image group of the plurality of second image groups are arbitrarily compared to obtain a correlation degree And the comparison process is performed using the broadcast image data and the retransmission trusted image data respectively included in the first image group and the second image group having the highest degree of correlation.
請求項９に記載の本発明は、前記リアルタイム型映像比較監視手段が、放送時及び再送信時に付与されている時刻情報の値が最も近い放送用画像データと再送信用画像データとを用いて前記比較処理を行うことを特徴とする。
The present invention according to
請求項１０に記載の本発明は、前記リアルタイム型映像比較監視手段が、前記第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとを更に比較処理時間の短い比較アルゴリズムを用いて第３比較する比較処理を行い、当該第３比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を前記画像比較結果記録手段に記録する、及び／又は、前記第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報と、前記第３比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報との両方を前記画像比較結果記録手段に記録する、ことを特徴とする。 The present invention according to claim 10 is characterized in that the real-time video comparison / monitoring means compares the broadcast image data that does not meet the comparison condition and the re-transmission credit image data with a shorter comparison processing time as a result of the second comparison. A comparison process for performing a third comparison using an algorithm is performed, and as a result of the third comparison, each identification information of the broadcast image data and the re-transmission credit image data that does not match the comparison condition is recorded in the image comparison result recording means. And / or the identification information of the broadcast image data and the re-transmission credit image data that do not meet the comparison condition as a result of the second comparison, and the broadcast image that does not meet the comparison condition as a result of the third comparison. Both the data and each identification information of the retransmitted reliable image data are recorded in the image comparison result recording means.
請求項１１に記載の本発明は、前記放送用映像ストリームは、地上波デジタル放送又はＢＳデジタル放送の映像ストリームであり、前記再送信用映像ストリームは、当該地上波デジタル放送又は当該ＢＳデジタル放送のうちいずれかの放送の映像ストリームをＨ．２６４で圧縮した映像ストリームであって、当該放送に追従して送信されていることを特徴とする。
In the present invention described in
請求項１２に記載の本発明は、前記再送信用映像ストリームが、ケーブルテレビで再送信されることを特徴とする。
The present invention according to
請求項１３に記載の本発明は、コンピュータにより、放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１のステップと、前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２のステップと、前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３のステップと、を有することを特徴とする。 According to a thirteenth aspect of the present invention, a broadcast video stream being broadcast is captured by a computer, a plurality of broadcast image data flowing as the broadcast video stream is accumulated, and the broadcast video stream is compressed. A first step of capturing a re-transmission credit video stream being retransmitted and storing a plurality of re-transmission credit image data flowing as the retransmission trust video stream in an image data storage unit; and the plurality of broadcast image data; The plurality of retransmitted reliable image data is read from the image data storage unit respectively, and is played back following the broadcast of the broadcast video stream and the retransmitted retransmitted video stream, taking into account human visual characteristics For each broadcast using a comparison algorithm with short comparison processing time among multiple comparison algorithms The image data and each retransmitted reliable image data are respectively subjected to a first comparison, and as a result of the first comparison, the broadcast image data and the retransmitted reliable image data that do not meet a preset comparison condition are next compared in a short time. A comparison process for performing a second comparison is performed using a comparison algorithm, and as a result of the second comparison, each identification information of the broadcast image data and the retransmission trusted image data that does not match the comparison condition is recorded in the image comparison result recording means. Reading each identification information from the second step and the image comparison result recording means, obtaining broadcast image data and retransmission credit image data respectively corresponding to the identification information from the image data storage means, The broadcast image data is compared with the retransmitted reliable image data using one or more of a plurality of comparison algorithms, and based on the result of the comparison, By changing the comparison condition, characterized by having a third step of setting the comparison condition of said real-time image comparing monitoring means compares conditions after the change.
請求項１４に記載の本発明は、コンピュータに、放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１の手順と、前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２の手順と、前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３の手順と、を実行させることを特徴とする。 The present invention according to claim 14 captures a broadcast video stream being broadcast to a computer, accumulates a plurality of broadcast image data flowing as the broadcast video stream, and compresses the broadcast video stream A first procedure for capturing a re-transmission credit video stream being retransmitted and storing a plurality of re-transmission credit image data flowing as the re-transmission credit video stream in an image data storage unit; and the plurality of broadcast image data; The plurality of retransmitted reliable image data is read from the image data storage unit respectively, and is played back following the broadcast of the broadcast video stream and the retransmitted retransmitted video stream, taking into account human visual characteristics Among the multiple comparison algorithms, each broadcast image data is compared using a comparison algorithm with a short comparison processing time. A first comparison of each of the retransmitted reliable image data with each of the retransmitted reliable image data and, as a result of the first comparison, the broadcast image data that does not meet the preset comparison condition and the retransmitted reliable image data are compared with each other with a short comparison processing time. A second comparison process is performed using the second comparison result, and each identification information of the broadcast image data and the re-transmission credit image data that does not match the comparison condition is recorded in the image comparison result recording unit as a result of the second comparison. Each of the identification information is read from the image comparison result recording means, broadcast image data and retransmission credit image data corresponding to the identification information are obtained from the image data storage means, The broadcast image data is compared with the retransmission trusted image data using any one or more of the comparison algorithms, and the comparison condition is determined based on the comparison result. Further to, characterized in that to execute a third routine for setting comparison conditions after the change to the comparison condition of said real-time image comparison monitoring means.
請求項１５に記載の本発明は、コンピュータに、放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１の手順と、前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２の手順と、前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３の手順と、を実行させるための映像比較監視プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。 The present invention according to claim 15 captures a broadcast video stream being broadcast to a computer, accumulates a plurality of broadcast image data flowing as the broadcast video stream, and compresses the broadcast video stream A first procedure for capturing a re-transmission credit video stream being retransmitted and storing a plurality of re-transmission credit image data flowing as the re-transmission credit video stream in an image data storage unit; and the plurality of broadcast image data; The plurality of retransmitted reliable image data is read from the image data storage unit respectively, and is played back following the broadcast of the broadcast video stream and the retransmitted retransmitted video stream, taking into account human visual characteristics Among the multiple comparison algorithms, each broadcast image data is compared using a comparison algorithm with a short comparison processing time. A first comparison of each of the retransmitted reliable image data with each of the retransmitted reliable image data and, as a result of the first comparison, the broadcast image data that does not meet the preset comparison condition and the retransmitted reliable image data are compared with each other with a short comparison processing time. A second comparison process is performed using the second comparison result, and each identification information of the broadcast image data and the re-transmission credit image data that does not match the comparison condition is recorded in the image comparison result recording unit as a result of the second comparison. Each of the identification information is read from the image comparison result recording means, broadcast image data and retransmission credit image data corresponding to the identification information are obtained from the image data storage means, The broadcast image data is compared with the retransmission trusted image data using any one or more of the comparison algorithms, and the comparison condition is determined based on the comparison result. And a computer-readable recording medium recording a video comparison and monitoring program for executing the third procedure for setting the changed comparison condition to the comparison condition of the real-time video comparison and monitoring means. It is characterized by.
本発明によれば、リアルタイムに比較監視を行い、その結果をオフラインで検証し、比較条件にフィードバックして、２つの映像ストリームを人間の知覚に近いレベルでリアルタイムに比較することができる。 According to the present invention, comparison and monitoring can be performed in real time, the result can be verified offline, and the result can be fed back to a comparison condition to compare two video streams in real time at a level close to human perception.
以下、発明を実施するための一実施の形態について、図面を用いて説明する。 Hereinafter, an embodiment for carrying out the invention will be described with reference to the drawings.
図１は、映像比較監視システムの機能ブロック構成を示す図である。この映像比較監視システムは、２つの映像ストリームを収集してリアルタイムで同時に蓄積するデータ蓄積部１と、蓄積された２つの映像ストリームをリアルタイムで比較処理して監視する映像比較監視部３と、映像比較監視部３による比較結果でエラー検知された映像ストリームをオフライン（ノンリアルタイム）で比較検証し、比較監視パラメータを変更してエラー検知の妥当性を追って比較検証する追比較検証部５とで構成されている。以下、これら各機能部の機能及び処理フローを説明した後に、本映像比較監視システムの効果について説明する。
FIG. 1 is a diagram showing a functional block configuration of a video comparison and monitoring system. This video comparison and monitoring system includes a
データ蓄積部１は、同時記録データＡ蓄積部１１と、同時記録データＢ蓄積部１２とで構成されており、放送されている地上波デジタル放送の映像ストリーム（以下、ストリームＡという）をリアルタイムで捕捉して、ストリームＡとして流れている複数の放送用画像データを時系列順に同時記録データＡ蓄積部１１に蓄積すると同時に、ストリームＡをＨ．２６４で圧縮してＩＰ化し、ストリームＡの放送に追従してＩＰ再送信されているＩＰ再送信用映像ストリーム（以下、ストリームＢという）をリアルタイムで捕捉して、ストリームＢとして流れている複数の再送信用画像データを時系列順に同時記録データＢ蓄積部１２に蓄積する機能を有している。
The
また、データ蓄積部１は、リアルタイムに蓄積された放送用画像データと再送信用画像データとを、即時に、映像比較監視部３に送出する機能を有している。さらに、データ蓄積部１は、追比較検証部５からの要求に応じて、蓄積された放送用画像データと再送信用画像データとを追比較検証部５に送出する機能をも有している。
In addition, the
次に、映像比較監視部３について説明する。映像比較監視部３は、２つの動画像デコード機能部３１，３２と、比較処理管理機能部３３と、映像比較結果記録部３４と、アラーム出力機能部３５とで構成されている。
Next, the video comparison /
動画像デコード機能部３１は、同時記録データＡ蓄積部１１に蓄積された全ての放送用画像データを時系列順で読み出して、各放送用画像データをデコード処理し、放送用画像データのストリーミング再生（以下、追い掛け再生という）開始時刻をストリームＡの放送時刻に近い実時刻に設定しておき、デコード処理された各放送用画像データを、設定された追い掛け再生開始時刻から再生させる機能を有している。
The moving image
動画像デコード機能部３２は、同時記録データＢ蓄積部１２に蓄積された全ての再送信用画像データに対し、追い掛け再生開始時刻をストリームＢの再送信時刻に近い実時刻に設定しておき、デコード処理された各再送信用画像データを、設定された追い掛け再生開始時刻から再生させる機能を有している。
The moving image
比較処理管理機能部３３は、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ比較し、その比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて比較する比較処理を繰り返し、上記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を映像比較結果記録部３４に記録する機能を有している。
The comparison processing
具体的には、比較条件として複数の比較監視パラメータＰ１を準備し、その比較監視パラメータＰ１の閾値を予め設定しておき、第１の比較アリゴリズムを用いて放送用画像データと再送信用画像データとの近似度を計算し（第１比較）、計算された近似度が設定された閾値を超えない場合（又は、相違度が閾値を超える場合。以下同様。）にはエラーとして検知する。その後、エラー検出された放送用画像データと再送信用画像データとの近似度を、第１の比較アルゴリズムの次に処理時間の短い第２の比較アルゴリズム（第１の比較アルゴリズムの処理時間よりも長い処理時間の比較アルゴリズム）を用いて計算し（第２比較）、計算された近似度が上記閾値を超えない場合にはエラーとして検知する。そして、第２比較でエラー検知された放送用画像データと再送信用画像データとの各識別情報を障害画像として比較結果記録部３４に記録する。
Specifically, a plurality of comparison monitoring parameters P1 are prepared as comparison conditions, a threshold value of the comparison monitoring parameter P1 is set in advance, and the broadcast image data and the re-transmission credit image data are set using the first comparison algorithm. When the calculated degree of approximation does not exceed the set threshold (or when the degree of difference exceeds the threshold, the same applies hereinafter), it is detected as an error. Thereafter, the degree of approximation between the error-detected broadcast image data and the retransmission trusted image data is set to a second comparison algorithm having a processing time that is short after the first comparison algorithm (longer than the processing time of the first comparison algorithm). (Second comparison), and if the calculated degree of approximation does not exceed the threshold value, it is detected as an error. Then, the identification information of the broadcast image data and the retransmission trusted image data in which an error is detected in the second comparison is recorded in the comparison
更に、比較処理管理機能部３３は、上記第２比較でエラー検出された放送用画像データと再送信用画像データとの近似度を、更に比較処理時間の短い第３の比較アルゴリズム（第２の比較アルゴリズムの処理時間よりも長い処理時間の比較アルゴリズム）を用いて計算し（第３比較）、計算された近似度が上記閾値を超えない場合にはエラーとして検知することも可能である。その場合には、第３比較でエラー検知された放送用画像データと再送信用画像データとの各識別情報を障害画像として比較結果記録部３４に記録する。
Further, the comparison processing
なお、各比較処理が行われる度に、エラー検知された放送用画像データの識別情報と再送信用画像データの識別情報とを映像比較結果記録部３４に記録することも可能である。すなわち、第１比較と第２比較と第３比較とでそれぞれエラー検知された全て又は任意の放送用画像データの識別情報と再送信用画像データの識別情報とを比較結果記録部３４に記録するようにしてもよい。
Note that it is also possible to record the identification information of the broadcast image data in which the error is detected and the identification information of the retransmission trusted image data in the video comparison
また、上記第２比較でエラー検出された放送用画像データと再送信用画像データとのみではなく、上記第１比較（又は上記第１比較及び第２比較）でエラー検出された放送用画像データと再送信用画像データとの近似度を、第３の比較アルゴリズムを用いて計算するようにしてもよい。 Also, not only the broadcast image data and the re-transmission credit image data in which the error is detected in the second comparison, but also the broadcast image data in which the error is detected in the first comparison (or the first comparison and the second comparison) The degree of approximation with the image data for retransmission may be calculated using a third comparison algorithm.
なお、上記比較監視パラメータＰ１としては、例えば、複数階調の輝度値、濃淡値、彩度値、明度値、テクスチャ等を用いることが可能である。また、上記比較処理は、画像データの全領域ではなく、特定の一領域のみを対象に比較することも可能である。さらに、後段の比較処理では、前段の比較処理でエラー検知した画像データに加えて、時系列的に前後する複数の画像データをデータ蓄積部１から読み出して、読み出された複数の画像データをも合わせて比較処理を行うことも可能である。なお、人間の視覚特性を考慮した比較アルゴリズム、換言すれば、人間の視覚検知に近づけることが可能な映像比較アルゴリズムは既に公知技術であることを明示しておく。
As the comparative monitoring parameter P1, it is possible to use, for example, a luminance value, gray value, saturation value, brightness value, texture, etc. of a plurality of gradations. In the comparison process, it is possible to compare not only the entire area of the image data but only a specific area. Further, in the subsequent comparison process, in addition to the image data in which the error is detected in the previous comparison process, a plurality of pieces of image data moving back and forth in time series are read from the
映像比較結果記録部３４は、比較処理管理機能部３３による比較処理の結果、エラー検知された場合（放送用画像データと再送信用画像データとの間に相違箇所があった場合。以下同様。）に、そのエラー検知された放送用画像データと再送信用画像データとの各識別情報を記録する機能を有している。そのような識別情報としては、例えば、各画像データに付与されている画像番号、各画像データに付与されているＰＴＳ（Presentation Time Stamp：提示時刻タイムスタンプ）、データ蓄積部１に蓄積された時刻等を一例に挙げることができる。
The video comparison
アラーム出力機能部３５は、比較処理管理機能部３３による比較処理の結果、エラー検知された場合に、比較アルゴリズム毎にレベル分けした音やパトランプ等で外部に通知する機能を有している。
The alarm
次に、追比較検証部５について説明する。追比較検証部５は、映像比較結果指定機能部５１と、再生日時指定機能部５２と、同時記録データ読出機能部５３と、２つの動画像デコード機能部５４，５５と、比較処理管理機能部５６と、追比較監視結果表示機能部５７と、ボタン指定機能部５８と、比較監視パラメータ調整機能部５９と、比較監視パラメータ読出／書込機能部６０とで構成されている。
Next, the additional
映像比較結果指定機能部５１は、映像比較監視部３の映像比較結果記録部３４から読み込んだ識別情報に基づいて映像比較結果の一覧を生成して画面に表示し、ユーザによって任意の映像比較結果が選択された場合に、その選択された映像比較結果情報を同時記録データ読出機能部５３に送信する機能を有している。例えば、「７月１５日（水）１４：３８：４１ 映像相違エラー」の表示が選択可能に表示される。
The video comparison result specifying
再生日時指定機能部５２は、日時指定再生ボタンを押下可能に表示し、ユーザにより日時指定再生ボタンが押下られ、再生したい動画像の再生開始日時が指定入力された場合に、指定入力された再生開始日時を同時記録データ読出機能部５３に送信する機能を有している。
The reproduction date / time
同時記録データ読出機能部５３は、映像比較結果指定機能部５１と、再生日時指定機能部５２と、ボタン指定機能部５８（詳細は後述する）とから送信された各情報に基づいて、選択されたエラー検知に係る放送用画像データと、指定入力された時間範囲の複数の放送用画像データとをデータ蓄積部１の同時記録データＡ蓄積部１１から読み出して動画像デコード機能部５４に送信すると共に、選択されたエラー検知に係る再送信用画像データと、指定入力された時間範囲の複数の再送信用画像データとを同時記録データＢ蓄積部１２から読み出して動画像デコード機能部５５に送信する機能を有している。
The simultaneous recording data reading
動画像デコード機能部５４は、同時記録データ読出機能部５３によって送信されたエラー検知対象の放送用画像データを含む複数の放送用画像データをデコード処理し、再生する機能を有している。
The moving image
動画像デコード機能部５５は、同時記録データ読出機能部５３によって送信されたエラー検知対象の再送信用画像データを含む複数の再送信用画像データをデコード処理し、再生する機能を有している。
The moving image
比較処理管理機能部５６は、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ比較し、その比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて比較する比較処理を繰り返す機能を有している。
The comparison processing
具体的には、映像比較監視部３の比較監視パラメータＰ１と同様の比較監視パラメータＰ２を比較条件として準備し、その比較監視パラメータＰ２の閾値も比較監視パラメータＰ１の閾値と同様の閾値を設定しておき、第１の比較アリゴリズムを用いて放送用画像データと再送信用画像データとの近似度を計算し（第１比較）、計算された近似度が設定された閾値を超えない場合（又は、相違度が閾値を超える場合。以下同様。）にはエラーとして検知する。その後、エラー検出された放送用画像データと再送信用画像データとの近似度を、第１の比較アルゴリズムよりも処理時間の長い第２の比較アルゴリズムを用いて計算し（第２比較）、計算された近似度が上記閾値を超えない場合にはエラーとして検知する。
Specifically, a comparison monitoring parameter P2 similar to the comparison monitoring parameter P1 of the video
更に、比較処理管理機能部５６は、上記第２比較でエラー検出された放送用画像データと再送信用画像データとの近似度を、更に比較処理時間の短い第３の比較アルゴリズムを用いて計算し（第３比較）、計算された近似度が上記閾値を超えない場合にはエラーとして検知することも可能である。
Further, the comparison processing
なお、各比較処理が行われる度に、エラー検知結果を後述する追比較監視結果表示機能部５７により画面表示させるようにすることも可能である。
It is also possible to cause the error detection result to be displayed on the screen by the additional comparison monitoring result
また、上記第２比較でエラー検出された放送用画像データと再送信用画像データとのみではなく、上記第１比較（又は上記第１比較及び第２比較）でエラー検出された放送用画像データと再送信用画像データとの近似度を、第３の比較アルゴリズムを用いて計算するようにしてもよい。 Also, not only the broadcast image data and the re-transmission credit image data in which the error is detected in the second comparison, but also the broadcast image data in which the error is detected in the first comparison (or the first comparison and the second comparison) The degree of approximation with the image data for retransmission may be calculated using a third comparison algorithm.
なお、上記比較監視パラメータＰ２としては、例えば、複数階調の輝度値、濃淡値、彩度値、明度値、テクスチャ等を用いることが可能である。また、上記比較処理は、画像データの全領域ではなく、特定の一領域のみを対象に比較することも可能である。さらに、後段の比較処理では、前段の比較処理でエラー検知した画像データに加えて、時系列的に前後する複数の画像データをデータ蓄積部１から読み出して、読み出された複数の画像データをも合わせて比較処理を行うことも可能である。
As the comparative monitoring parameter P2, it is possible to use, for example, a luminance value, gray value, saturation value, brightness value, texture, etc. of a plurality of gradations. In the comparison process, it is possible to compare not only the entire area of the image data but only a specific area. Further, in the subsequent comparison process, in addition to the image data in which the error is detected in the previous comparison process, a plurality of pieces of image data moving back and forth in time series are read from the
追比較監視結果表示機能部５７は、比較処理管理機能部５６によって再生されながら比較処理される放送用画像データと再送信用画像データを画面に表示し、比較処理結果についても識別可能に画面に表示する機能を有している。なお、比較処理結果としてエラー検知された箇所（相違点があった箇所）には、明暗や色付け等が施され、どの比較監視パラメータでエラーを検出したかを画面に同時に表示する。
The additional comparison monitoring result
ボタン指定機能部５８は、再生ボタン、一時停止ボタン、早送りボタン、巻き戻しボタン、５秒前から再生ボタン、繰り返し再生ボタン等を押下可能に表示し、オペレータ（以下、単にユーザという）により任意のボタンが押下られた場合に、押下られたボタンに係るボタン情報を同時記録データ読出機能部５３に送信する機能を有している。なお、同時記録データ読出機能部５３は、送信されたボタン情報に応じて動画像デコード機能部５４，５５の再生処理を制御する。例えば、放送用画像データと再送信用画像データとの再生に対して、一時停止、コマ送り再生、繰り返し再生等の制御が可能となる。
The button
比較監視パラメータ調整機能部５９は、比較条件として設定される比較監視パラメータＰ２の閾値の変更の入力を受け付けて、ユーザによって比較監視パラメータＰ２の閾値が調整された場合に、比較監視パラメータＰ２の閾値を再設定する機能を有している。すなわち、ユーザによって、放送用画像データと再送信用画像データとを一時停止した状態で、比較監視パラメータＰ２の閾値として表示されている数値やインジケータ上の設定バーが変更された場合や、各々の比較監視パラメータＰ２を選択し、画面上で相違箇所として判断させたい／判断させたくない場所をマウスでクリックされた場合に、比較監視パラメータＰ２の閾値の変更を反映する機能を有している。
The comparison monitoring parameter
比較監視パラメータ読出／書込機能部６０は、比較条件として映像比較監視部３で管理している比較監視パラメータＰ１の情報を追比較検証部５で管理している比較監視パラメータＰ２に反映する機能や、追比較検証部５での追比較検証により変更された比較監視パラメータＰ２を映像比較監視部３の比較監視パラメータＰ１に反映する機能を有している。
The comparison monitoring parameter read /
次に、本映像比較監視システムの処理フローについて説明する。まず、図２，図３を用いて、映像比較監視部３で画像データの比較監視を行うまでの処理フローについて説明する。
Next, the processing flow of this video comparison / monitoring system will be described. First, with reference to FIGS. 2 and 3, a processing flow until the image
最初に、データ蓄積部１により、放送されているストリームＡと再送信されているストリームＢとがリアルタイムで捕捉され、ストリームＡとして流れる複数の放送用画像データが、各放送用画像データの放送時刻にそれぞれ関連付けられてリアルタイムに同時記録データＡ蓄積部１１に蓄積されると同時に、ストリームＢとして流れる複数の再送信用画像データが、各再送信用画像データの再送信時刻にそれぞれ関連付けられてリアルタイムに同時記録データＢ蓄積部１２に蓄積される（Ｓ１）。
First, the
次いで、データ蓄積部１により、リアルタイムに蓄積された複数の放送用画像データと複数の再送信用画像データとが映像比較監視部３に即時に送出され、動画像デコード機能部３１により、複数の放送用画像データがデコード処理され、ストリームＡの放送に追い掛けて再生されると同時に、動画像デコード機能部３２により、複数の再送信用画像データがデコード処理され、ストリームＢの再送信に追い掛けて再生される（Ｓ２）。
Next, a plurality of broadcast image data and a plurality of retransmission-reliable image data stored in real time by the
次いで、比較処理管理機能部３３により、追い掛け再生されている各放送用画像データと各再送信用画像データとを用い、第１の比較アルゴリズムを用いて、各画像データ（各フレーム）の時刻情報（例えば、前述したＰＴＳ等）の値が最も近い画像データ同士の近似度が計算される（Ｓ３）。
Next, the comparison processing
次いで、Ｓ３での計算の結果、計算された近似度が設定された閾値を超えない場合（画像データ間で相違箇所を検出した場合）には、比較処理管理機能部３３により、エラーとして検知されて、エラー検知された放送用画像データの識別情報と再送信用画像データの識別情報とが映像比較結果記録部３４に記録され、アラーム出力機能部３５により、音やパトランプ等で外部に通知される（Ｓ４）。
Next, as a result of the calculation in S3, when the calculated degree of approximation does not exceed the set threshold value (when a difference is detected between the image data), the comparison processing
次いで、エラー検知された画像データ同士を対象として、第１の比較アルゴリズムの次に処理時間の短い第２の比較アルゴリズムを用いて、Ｓ３とＳ４との処理が繰り返される（Ｓ５）。 Next, the process of S3 and S4 is repeated using the second comparison algorithm with the shortest processing time next to the first comparison algorithm for the image data whose errors are detected (S5).
なお、Ｓ２の処理で説明した追い掛け再生は、通常の追い掛け再生又はベストエフォート型追い掛け再生のいずれでもよい。ここで、ベストエフォート型追い掛け再生とは、ストリームＡとして放送されている各放送用画像データの各放送時刻と、ストリームＢとして再送信されている各再送信用画像データの各再送信時刻とから、データ蓄積部１から送出された各放送用画像データと各再送信用画像データとをそれぞれ追い掛けて再生するまでの遅延時間の最小値を設定しておき、上記Ｓ３乃至Ｓ５の各比較処理が重い場合には、その比較処理に要する時間に応じて遅延時間を増大して追い掛けて再生を行い、その比較処理が軽い場合には、遅延時間の最小値になるまで当該比較処理に要する処理速度に応じて早送り再生を実施することをいう。また、通常の追い掛け再生とは、各放送時刻又は各再送信時刻からの遅延時間を一定に保持しながら再生することをいう。ベストエフォート型追い掛け再生は、遅延時間の最小値に小さい値を設定しているため、通常の追い掛け再生よりも監視のリアルタイム性を向上することができ、比較アルゴリズムに求められるリアルタイム性（すなわち、必ず一定時間内で処理を終了することができる性能）要件を緩和することが可能となる。
The chasing playback described in the process of S2 may be either normal chasing playback or best effort chasing playback. Here, the best-effort chasing playback is based on the broadcast time of each broadcast image data broadcast as stream A and the retransmission time of each re-transmission credit image data retransmitted as stream B. When the minimum value of the delay time until each of the broadcast image data and each retransmitted reliable image data sent from the
また、Ｓ３の処理では、各画像データの時刻情報の値が最も近い画像データ同士の近似度を計算するとして説明したが、少なくとも１以上の放送用画像データからなる第１画像群を複数選択すると共に、少なくとも１以上の再送信用画像データからなる第２画像群を複数選択し、複数の第１画像群のうちいずれかの第１画像群と複数の第２画像群のうちいずれかの第２画像群とを任意に比較して相関度を求め、最も相関度の高い第１画像群と第２画像群とにそれぞれ含まれる放送用画像データと再送信用画像データとを用いて近似度を計算するようにしてもよい。 Further, in the process of S3, it has been described that the degree of approximation between the image data having the closest time information values of the respective image data is calculated. However, a plurality of first image groups including at least one broadcast image data are selected. In addition, a plurality of second image groups each including at least one or more pieces of retransmission-reliable image data are selected, and any one of the plurality of first image groups and the second one of the plurality of second image groups are selected. The degree of correlation is obtained by arbitrarily comparing the image group, and the degree of approximation is calculated by using the broadcast image data and the retransmission credit image data respectively included in the first image group and the second image group having the highest correlation degree. You may make it do.
例えば、複数の放送用画像データから、時刻ｎ〜時刻ｎ＋２の放送用画像データを有する第１ａ画像群、時刻ｎ＋１〜時刻ｎ＋３の放送用画像データを有する第１ｂ画像群、時刻ｎ＋２〜時刻ｎ＋４の放送用画像データを有する第１ｃ画像群を選択する。同様に、複数の再送信用画像データから、時刻ｍ〜時刻ｍ＋２の再送信用画像データを有する第２ａ画像群、時刻ｍ＋１〜時刻ｍ＋３の再送信用画像データを有する第２ｂ画像群、時刻ｍ＋２〜時刻ｍ＋４の再送信用画像データを有する第２ｃ画像群を選択する（ｎは、ｍと同じであっても異なってもよい）。そして、第１ｂ画像群の平均輝度値に対する第２ａ画像群〜第２ｃ画像群の各平均輝度値を順次比較していき、最も近い平均輝度値を有する第２画像群（差分輝度値が最も小さい第２画像群）を最も相関度の高い画像群とする。なお、この相関度の計算は、輝度値のみではなく、画像の類似比較処理に用いられる全ての要素（組み合わせを含む）を利用可能であることは言うまでもない。
For example, from a plurality of broadcast image data, a 1a image group having broadcast image data from time n to
より具体的に、図４を参照しながら説明する。図４は、相関性のある２つの画像データを時間差をもって取得した場合における画像マッチング処理を説明する図である。 More specific description will be given with reference to FIG. FIG. 4 is a diagram for explaining image matching processing when two pieces of correlated image data are acquired with a time difference.
ストリームＡ，Ｂから時刻ｔの時に取得した放送用画像データ，再送信用画像データをＰｉｃ（Ａ，ｔ），Ｐｉｃ（Ｂ，ｔ）とし、ストリームＡとストリームＢとには時間差があるものとする。Ｐｉｃ（Ａ，ｔ）にマッチするＰｉｃ（Ｂ，ｔ）を求める場合、Ｐｉｃ（Ｂ，ｔ＋ｎ）のｎの値を１つずつ加算又は減算しながら平均輝度値の差分を計算していき、その差分が最小となるＰｉｃ（Ｂ，ｔ）を最も相関度の高いものとする。 It is assumed that the broadcast image data and the retransmission trusted image data acquired at time t from the streams A and B are Pic (A, t) and Pic (B, t), and there is a time difference between the stream A and the stream B. . When obtaining Pic (B, t) that matches Pic (A, t), the difference between the average luminance values is calculated while adding or subtracting n values of Pic (B, t + n) one by one. Let Pic (B, t) with the smallest difference be the highest correlation.
但し、ストリームＡにおける時刻ｔ＋１と時刻ｔ＋２との画像データのように、同じ画像が連続する場合もあるため、１つの画像のみで行ったマッチング判定の信頼性は低い。そこで、例えば、図４の下段に示すように、連続する複数の画像データを１つの画像群とし、ストリームＡの画像群とストリームＢの画像群との輝度差の合計が最小となる画像群を求めるようにしてもよい。 However, since the same image may continue like the image data at time t + 1 and time t + 2 in the stream A, the reliability of the matching determination performed with only one image is low. Therefore, for example, as shown in the lower part of FIG. 4, an image group in which a plurality of continuous image data is set as one image group and the sum of luminance differences between the stream A image group and the stream B image group is minimized. You may make it ask.
続いて、図５を用いて、追比較検証部５で相違検出結果を検証するまでの処理フローについて説明する。
Next, a processing flow until the difference comparison result is verified by the additional
最初に、映像比較結果指定機能部５１により、映像比較監視部３の映像比較結果記録部３４からエラー検知に係る識別情報が取得され、映像比較結果の一覧が生成されて選択可能に画面に表示され、再生日時指定機能部５２により、再生したい動画像の再生開始日時が指定入力可能に表示される（Ｓ１１）。これにより、ユーザによって、確認したい動画像データが選択又は指定されることになる。
First, the video comparison result specifying
次いで、同時記録データ読出機能部５３により、ユーザによって選択された映像比較結果に対応する、又は指定された時刻情報に対応する、各放送用画像データが同時記録データＡ蓄積部１１から読み出されて動画像デコード機能部５４に送信されると共に、各再送信用画像データが同時記録データＢ蓄積部１２から読み出されて動画像デコード機能部５５に送信され、各動画像デコード機能部５４，５５によりデコード処理される（Ｓ１２）。
Next, the simultaneous recording data reading
次いで、各動画像デコード機能部５４，５５により、比較監視パラメータＰ２が取り出され、各放送用画像データと各再送信用画像データとがそれぞれ再生されながら、比較処理管理機能部５６により、取り出された比較監視パラメータＰ２を用いて、各放送用画像データと各再送信用画像データとがそれぞれ比較処理される（Ｓ１３）。なお、比較結果は、追比較監視結果表示機能部５７により、エラー検知された箇所（相違点があった箇所）については、明暗や色付け等が施され、どの比較監視パラメータでエラーを検出したかが画面に同時に表示される。これにより、ユーザは、映像比較監視部３によってエラー検知された再送信用画像データにおける放送用画像データとの相違箇所を把握することが可能となる。
Subsequently, the comparison monitoring parameter P2 is extracted by the moving image
続いて、図６を用いて、追比較検証部５での比較監視パラメータＰ２の変更による動画像の比較検証までの処理フローについて説明する。
Next, a processing flow from moving image comparison verification by changing the comparison monitoring parameter P2 in the additional
最初に、ユーザによって一時停止ボタンが押下られて放送用画像データと再送信用画像データとが再生後一時停止した状態になった場合に、比較監視パラメータ調整機能部５９により、比較条件として設定される比較監視パラメータＰ２の閾値の変更の入力が受付可能に制御される（Ｓ２１）。ユーザの視点から説明すると、放送用画像データと再送信用画像データとを再生した後に、一時停止した状態で、比較監視パラメータＰ２の閾値を変更することが可能となる。
First, when the user presses the pause button and the broadcast image data and the re-transmission credit image data are paused after reproduction, the comparison monitoring parameter
次いで、ユーザによって、比較監視パラメータＰ２の閾値として表示されている数値やインジケータ上の設定バーが変更された場合や、各々の比較監視パラメータＰ２を選択し、画面上で相違箇所として判断させたい／判断させたくない場所をマウスでクリックされた場合に、比較監視パラメータ調整機能部５９により、このような変更に基づいて比較監視パラメータＰ２の閾値が変更される（Ｓ２２）。
Next, when the user changes the numerical value displayed as the threshold value of the comparison monitoring parameter P2 or the setting bar on the indicator, or selects each comparison monitoring parameter P2 and wants to determine the difference on the screen / When a place where the user does not want to make a determination is clicked with the mouse, the comparison monitoring parameter
次いで、比較監視パラメータＰ２の閾値が変更された後、ユーザによって再生ボタンが押下された場合に、動画像デコード機能部５４，５５により、放送用画像データと再送信用画像データとの再生が再開され、比較処理管理機能部５６により、変更後の比較監視パラメータＰ２の閾値で、再度比較処理される（Ｓ２３）。
Next, after the threshold value of the comparison monitoring parameter P2 is changed, when the playback button is pressed by the user, the moving image
なお、再度の比較処理にエラー検知された場合には、比較処理管理機能部５６により、追比較検証部５の映像比較結果蓄積部（不図示）に記録され、追比較監視結果表示機能部５７により、相違箇所が画面に表示される。
If an error is detected in the comparison process again, the comparison process
また、Ｓ２２における比較監視パラメータＰ２の閾値の変更は何回でも可能であり、Ｓ２３における再度の比較処理は、比較監視パラメータＰ２の閾値が変更される毎に繰り返し行われ、比較処理結果はその都度画面表示される。 Further, the threshold value of the comparison monitoring parameter P2 in S22 can be changed any number of times, and the comparison process in S23 is repeated every time the threshold value of the comparison monitoring parameter P2 is changed, and the comparison processing result is obtained each time. Displayed on the screen.
続いて、追比較検証部５による映像比較監視部３の比較監視パラメータＰ１の閾値の変更までの処理フローについて説明する。
Next, a processing flow until the change of the threshold value of the comparison monitoring parameter P1 of the video
最初に、追比較検証部５の比較監視パラメータ調整機能部５９によって比較監視パラメータＰ２の閾値が変更され、ユーザによって監視設定ボタン（図５，図６参照）が押下られた場合に、比較監視パラメータ読出／書込機能部６０により、変更後の比較監視パラメータＰ２が読み出され、映像比較監視部３の比較監視パラメータＰ１が更新される（Ｓ３１）。
First, when the threshold value of the comparison monitoring parameter P2 is changed by the comparison monitoring parameter
次いで、映像比較監視部３により、更新後の比較監視パラメータＰ２を用いて、上述したＳ１〜Ｓ５の処理が行われる（Ｓ３２）。
Next, the above-described processing S1 to S5 is performed by the video
本実施の形態によれば、放送用画像データの追い掛け再生開始時刻をストリームＡの放送時刻に近い実時刻に設定し、再送信用画像データの追い掛け再生開始時刻をストリームＢの再送信時刻に近い実時刻に設定しているので、リアルタイムでの監視を実現が可能であり、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ比較し、その比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて比較するので、リアルタイムでの監視を実現しながら、人間の視聴感覚に近づけるような複数の比較処理をリアルタイム監視向けに短時間で実現することが可能となる。 According to the present embodiment, the chasing playback start time of broadcast image data is set to an actual time close to the broadcast time of stream A, and the chasing playback start time of retransmission trusted image data is set to an actual time close to the retransmission time of stream B. Because the time is set, real-time monitoring is possible, and among the multiple comparison algorithms that take into account human visual characteristics, each broadcast image data and each broadcast data are compared using a comparison algorithm with a short comparison processing time. Since the image data for re-transmission is compared with each other, and as a result of the comparison, the image data for broadcast and the re-transmission image data that do not meet the preset comparison conditions are compared using a comparison algorithm with a short comparison processing time. Realizes real-time monitoring and multiple comparisons in a short period of time for real-time monitoring to bring the human viewing sensation closer Rukoto is possible.
本実施の形態によれば、オフライン型の追比較検証部５で監視結果を閲覧する際には、リアルタイム型の映像比較監視部３での比較監視結果に対応する画像データをデータ蓄積部１から取得するので、リアルタイム型の映像比較監視部３とオフライン型の追比較検証部５との間で、対象となる画像データの時間ズレや検出結果の差異等の発生を防止することが可能となる。
According to the present embodiment, when the monitoring result is browsed by the offline type additional comparison and
本実施の形態によれば、オフライン型の追比較検証部５で映像比較監視部３での監視結果を検証する際において、再生ボタン、一時停止ボタン、早送りボタン、巻き戻しボタン、５秒前から再生ボタン等のいずれかのボタンがユーザにより押下られた場合に、押下られたボタン情報に応じて放送用画像データと再送信用画像データとを制御するため、画面上で相違箇所を閲覧しつつ、エラー判定結果を容易且つ適宜適切に確認することが可能となり、人間の視聴感覚に基づいて変更（調整）された比較監視パラメータＰ２が比較監視パラメータＰ１に反映されるので、映像比較監視部３における以降のリアルタイム監視を、より人間の視聴感覚に近いものにすることが可能となる。
According to the present embodiment, when the offline comparison /
本実施の形態によれば、人間の主観に依存する比較監視パラメータを試行錯誤しながら調整可能な環境の実現が可能となり、比較監視パラメータの調整作業に要する時間を大幅に削減することが可能となる。また、試行錯誤しながら比較監視パラメータの調整を行う作業に時間がかかり過ぎるために比較監視パラメータの調整機能が実質的に利用されないといった事態を防止することが可能となる。 According to the present embodiment, it is possible to realize an environment in which comparative monitoring parameters that depend on human subjectivity can be adjusted by trial and error, and the time required for adjustment work of comparative monitoring parameters can be greatly reduced. Become. In addition, it is possible to prevent a situation in which the adjustment function of the comparison monitoring parameter is not substantially used because it takes too much time to adjust the comparison monitoring parameter through trial and error.
本実施の形態によれば、放送用画像データと再送信用画像データとが保存されているので、一時的に比較処理が遅れた場合や、動画像デコーダ等の障害により比較処理に瞬断が発生した場合でも、後から追い掛け再生し、実時刻に追いついて監視欠落部分を無くすことが可能である。また、リアルタイム処理が困難な複雑な比較処理に関しても、時間差は生じるものの、欠落部分なく監視することが可能となるので、動画像デコーダ等の安定性や比較アルゴリズムの処理速度についての要求レベルが下がり、様々な動画像デコーダや比較アルゴリズムが利用可能となる。 According to the present embodiment, since the broadcast image data and the re-transmission credit image data are stored, the comparison process is temporarily delayed, or a short interruption occurs in the comparison process due to a failure of the moving picture decoder or the like. Even in this case, it is possible to follow up and play back later, catch up with the actual time, and eliminate the missing monitoring part. Even for complicated comparison processing that is difficult to perform in real time, although there is a time difference, it is possible to monitor without missing portions, so that the required level of stability of the video decoder and the processing speed of the comparison algorithm decreases. Various video decoders and comparison algorithms can be used.
本実施の形態によれば、放送用画像データと再送信用画像データとが保存されているので、データ蓄積部１と、映像比較監視部３と、追比較検証部５とを各々あらかじめ独立させておくことにより、監視欠落期間なく各機能部単位で交換が可能となるので、保守運用時の作業面の負担だけではなく、映像比較監視部３と追比較検証部５との冗長化設計における費用面の負担も軽減される。
According to the present embodiment, since the broadcast image data and the re-transmission credit image data are stored, the
本実施の形態によれば、映像配信事業者は、配信する映像の同時録画装置を利用していることが多く、その同時録画装置がデータ蓄積部１と同等の機能を有する場合には、新たにデータ蓄積部１を導入する必要がなく、既存のリソースを有効活用した効率のよい映像比較監視システムの構築が可能となる。
According to the present embodiment, a video distribution company often uses a simultaneous recording device for video to be distributed, and if the simultaneous recording device has a function equivalent to that of the
本実施の形態によれば、２つの映像ストリームに時差が存在する場合であっても、その２つの映像ストリームの比較対象画像データのマッチングができる前提で、保存されている画像データから比較監視することが可能であるため、例えば、国内時差が存在する国等での映像配信や、地域間配信における番組編成上発生する時差放送においても有効である。 According to the present embodiment, even when there is a time difference between two video streams, comparison monitoring is performed from stored image data on the assumption that the comparison target image data of the two video streams can be matched. Therefore, for example, it is effective for video distribution in a country or the like where there is a domestic time difference, and also for time difference broadcasting that occurs in program organization in inter-regional distribution.
本実施の形態によれば、オフライン比較における比較監視パラメータの変更に対して、発生する映像比較結果ログ量の増減も調整することが可能となり、オペレータが対応しきれないほど相違検出が頻発した場合など、比較監視の比較監視パラメータを変更し、障害検知レベルを保ちながら、実質的に対応可能な検出量に抑えるといった、障害検知レベルと運用作業量とのバランス調整が容易となる。 According to the present embodiment, it is possible to adjust the increase / decrease in the amount of video comparison result log generated for the comparison monitoring parameter change in the offline comparison, and when the difference detection occurs so frequently that the operator cannot cope with it. Thus, it is easy to adjust the balance between the failure detection level and the operation work amount, for example, by changing the comparison monitoring parameter of the comparison monitoring and keeping the failure detection level at a detection amount that can be substantially handled.
なお、追比較検証部５の動画像デコード機能部５４，５５として、異なる複数のデコーダを用いることにより、デコーダの性能によって比較結果の差異を確認するようにしてもよい。また、追比較検証部５の比較処理管理機能部５６に新たな比較アルゴリズムを導入し、既存の比較アルゴリズムとの性能差の検証や比較監視パラメータＰ２の調整を、映像比較監視部３に反映する前に実施するようにしてもよい。更に、データ蓄積部１と、映像比較監視部３と、追比較検証部５とは、それぞれ異なる場所に存在してもよいし、比較監視パラメータ数を変更（増加減）することも可能である。
Note that, by using a plurality of different decoders as the moving image
なお、本実施の形態では、地上波デジタル放送の映像ストリーム（ストリームＡ）と、ストリームＡをＨ．２６４で圧縮してＩＰ化し、ストリームＡの放送に追従してＩＰ再送信されているＩＰ再送信用映像ストリーム（ストリームＢ）との映像を監視する場合について説明したが、地上波デジタル放送以外で放送されている映像を監視する場合についても、本映像比較監視システムを利用可能であることはいうまでもない。例えば、ストリームＡを、ＢＳデジタル放送やＣＳデジタル放送としてもよいし、ストリームＢを、地上波，ＢＳ，ＣＳデジタル放送のＩＰ再送信としてもよい。また、ストリームＡやストリームＢとして放送又は再送信される映像は、ケーブルテレビで放送又は再送信されるものであってもよい。 In the present embodiment, the terrestrial digital broadcast video stream (stream A) and the stream A are H.264. The case of monitoring video with an IP retransmission trusted video stream (stream B) that has been compressed to H.264 and converted to IP and IP retransmitted following the broadcast of stream A has been described. Needless to say, this video comparison and monitoring system can also be used for monitoring the video being recorded. For example, stream A may be BS digital broadcast or CS digital broadcast, and stream B may be terrestrial, BS, CS digital broadcast IP retransmission. The video broadcast or retransmitted as stream A or stream B may be broadcast or retransmitted on cable television.
最後に、本実施の形態で説明した映像比較監視システムは、コンピュータで構成され、各機能部の各処理はプログラムで実行されるようになっている。また、上記各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を映像比較監視システムとして機能させることができるのは勿論である。 Finally, the video comparison and monitoring system described in the present embodiment is configured by a computer, and each process of each functional unit is executed by a program. Further, each processing operation described above is recorded as a program on a recording medium such as a compact disk or a floppy (registered trademark) disk, and the recording medium is incorporated in a computer, or the program recorded on the recording medium is transferred to an arbitrary communication medium. Of course, each processing operation described above can be made to function as an image comparison and monitoring system by downloading to a computer via a line or installing from a recording medium and operating the computer with the program.
また、同時記録データＡ蓄積部１１、同時記録データＢ蓄積部１２、映像比較結果記録部３４としては、例えば、一次メモリや二次メモリ、ハードディスク、更には通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いて実現可能である。
The simultaneous recording data
１…データ蓄積部（画像データ蓄積手段）
１１…同時記録データＡ蓄積部
１２…同時記録データＢ蓄積部
３…映像比較監視部（リアルタイム型映像比較監視手段）
３１，３２…動画像デコード機能部
３３…比較処理管理機能部
３４…映像比較結果記録部
３５…アラーム出力機能部
５…追比較検証部（オフライン型追比較検証手段）
５１…映像比較結果指定機能部
５２…再生日時指定機能部
５３…同時記録データ読出機能部
５４，５５…動画像デコード機能部
５６…比較処理管理機能部
５７…追比較監視結果表示機能部
５８…ボタン指定機能部
５９…比較監視パラメータ調整機能部
６０…比較監視パラメータ読出／書込機能部
Ｓ１〜Ｓ５…ステップ
Ｓ１１〜Ｓ１３…ステップ
Ｓ２１〜Ｓ２３…ステップ
Ｓ３１〜Ｓ３２…ステップ
1 Data storage unit (image data storage means)
DESCRIPTION OF
31, 32 ... Moving picture
51 ... Video comparison result
Claims (15)
前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録するリアルタイム型映像比較監視手段と、
前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定するオフライン型追比較検証手段と、
を有することを特徴とする映像比較監視システム。 Captures a broadcast video stream being broadcast, accumulates a plurality of broadcast image data that flows as the broadcast video stream, and compresses the broadcast video stream to capture a re-transmission credit video stream And image data storage means for storing a plurality of retransmission credible image data flowing as the retransmission credible video stream,
The plurality of broadcast image data and the plurality of retransmitted reliable image data are read from the image data storage unit, respectively, and are played back following the broadcast of the broadcast video stream and the retransmission of the retransmitted reliable video stream, respectively. The first comparison is made between each broadcast image data and each re-transmission credit image data using a comparison algorithm having a short comparison processing time among a plurality of comparison algorithms considering human visual characteristics, and the result of the first comparison , Performing a second comparison process of the broadcast image data that does not meet the preset comparison condition and the retransmission trusted image data using a comparison algorithm with a shorter comparison processing time, and the result of the second comparison is Real-time recording of identification information between broadcast image data and retransmission-reliable image data that do not match the comparison conditions in the image comparison result recording means And type video comparing and monitoring means,
Reading each identification information from the image comparison result recording means, obtaining broadcast image data and retransmission credit image data respectively corresponding to the identification information from the image data storage means, and among the plurality of comparison algorithms The broadcast image data and the retransmitted reliable image data are compared using any one or more, the comparison condition is changed based on the comparison result, and the changed comparison condition is compared with the real-time video comparison and monitoring Offline additional comparison verification means to be set in the comparison condition of means,
A video comparison and monitoring system characterized by comprising:
比較される前記放送用画像データ及び前記再送信用画像データと前記比較の結果とを表示する表示手段と、前記比較条件として設定されるパラメータの値の変更の入力を受け付ける変更入力受付手段と、を有し、
前記パラメータの値は、
前記表示手段に表示された前記比較の結果に基づいて、前記変更入力受付手段で入力が受け付けられたユーザによって変更された値であることを特徴とする請求項１又は２に記載の映像比較監視システム。 The offline type additional comparison verification means,
Display means for displaying the broadcast image data to be compared, the retransmitted reliable image data, and the comparison result; and a change input receiving means for receiving an input of a change in a parameter value set as the comparison condition. Have
The value of the parameter is
The video comparison monitoring according to claim 1 or 2, wherein the value is changed by a user whose input is received by the change input receiving means based on the result of the comparison displayed on the display means. system.
前記パラメータの値が変更される毎に、前記比較を行って当該比較の結果を表示することを特徴とする請求項３に記載の映像比較監視システム。 The offline type additional comparison verification means,
4. The video comparison and monitoring system according to claim 3, wherein each time the parameter value is changed, the comparison is performed and a result of the comparison is displayed.
比較される前記放送用画像データと前記再送信用画像データとに時系列的に前後する複数の放送用画像データと複数の再送信用画像データとを前記画像データ蓄積手段から更に取得して再生することを特徴とする請求項１乃至４のいずれか１項に記載の映像比較監視システム。 The offline type additional comparison verification means,
A plurality of broadcast image data and a plurality of retransmitted reliable image data that are time-sequentially followed by the broadcast image data and the retransmitted reliable image data to be compared are further acquired from the image data storage means and reproduced. The video comparison and monitoring system according to any one of claims 1 to 4.
コマ送り再生、繰り返し再生のうちいずれか１以上を行うことを特徴とする請求項５に記載の映像比較監視システム。 The offline type additional comparison verification means,
6. The video comparison and monitoring system according to claim 5, wherein one or more of frame-by-frame playback and repeated playback are performed.
前記放送用映像ストリームとして放送されている各放送用画像データの各放送時刻と、前記再送信用映像ストリームとして再送信されている各再送信用画像データの各再送信時刻とから前記それぞれ追い掛けて再生されるまでの遅延時間の最小値を設定しておき、前記比較処理が重い場合には、当該比較処理に要する時間に応じて前記遅延時間を増大して前記追い掛けて再生し、前記比較処理が軽い場合には、前記遅延時間の最小値になるまで当該比較処理に要する処理速度に応じて早送り再生することを特徴とする請求項１乃至６のいずれか１項に記載の映像比較監視システム。 The real-time video comparison and monitoring means includes
Each of the broadcast image data broadcast as the broadcast video stream is followed and reproduced from each broadcast time of each broadcast image data and each retransmission reliable image data retransmitted as the retransmission reliable video stream. If the comparison process is heavy, the delay time is increased according to the time required for the comparison process, and the chasing playback is performed, so that the comparison process is light. 7. The video comparison and monitoring system according to claim 1, wherein fast-forward reproduction is performed according to a processing speed required for the comparison processing until the delay time reaches a minimum value.
少なくとも１以上の放送用画像データからなる第１画像群を複数選択すると共に、少なくとも１以上の再送信用画像データからなる第２画像群を複数選択し、前記複数の第１画像群のうちいずれかの第１画像群と前記複数の第２画像群のうちいずれかの第２画像群とを任意に比較して相関度を求め、最も相関度の高い第１画像群と第２画像群とにそれぞれ含まれる放送用画像データと再送信用画像データとを用いて前記比較処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の映像比較監視システム。 The real-time video comparison and monitoring means includes
A plurality of first image groups composed of at least one or more broadcast image data are selected, and a plurality of second image groups composed of at least one or more retransmitted reliable image data are selected, and any one of the plurality of first image groups is selected. The first image group and the second image group of any of the plurality of second image groups are arbitrarily compared to obtain a degree of correlation, and the first image group and the second image group having the highest degree of correlation are obtained. The video comparison / monitoring system according to any one of claims 1 to 7, wherein the comparison process is performed using broadcast image data and re-transmission credit image data respectively included therein.
放送時及び再送信時に付与されている時刻情報の値が最も近い放送用画像データと再送信用画像データとを用いて前記比較処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の映像比較監視システム。 The real-time video comparison and monitoring means includes
8. The comparison process according to claim 1, wherein the comparison process is performed using broadcast image data and retransmission trusted image data having the closest value of time information given at the time of broadcasting and retransmission. The video comparison and monitoring system described in 1.
前記第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとを更に比較処理時間の短い比較アルゴリズムを用いて第３比較する比較処理を行い、当該第３比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を前記画像比較結果記録手段に記録する、及び／又は、
前記第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報と、前記第３比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報との両方を前記画像比較結果記録手段に記録する、
ことを特徴とする請求項１乃至９のいずれか１項に記載の映像比較監視システム。 The real-time video comparison and monitoring means includes
As a result of the second comparison, a comparison process for performing a third comparison between the broadcast image data that does not match the comparison condition and the retransmission trusted image data using a comparison algorithm with a shorter comparison processing time is performed, and the result of the third comparison Recording the identification information of the broadcast image data and the re-transmission credit image data not meeting the comparison condition in the image comparison result recording means, and / or
As a result of the second comparison, identification information of broadcast image data and retransmission trusted image data that do not match the comparison condition, and broadcast image data and retransmission trusted image that do not match the comparison condition as a result of the third comparison Recording both identification information and data in the image comparison result recording means,
The video comparison and monitoring system according to any one of claims 1 to 9,
前記再送信用映像ストリームは、当該地上波デジタル放送又は当該ＢＳデジタル放送のうちいずれかの放送の映像ストリームをＨ．２６４で圧縮した映像ストリームであって、当該放送に追従して送信されていることを特徴とする請求項１乃至１０のいずれか１項に記載の映像比較監視システム。 The broadcast video stream is a terrestrial digital broadcast or BS digital broadcast video stream,
The re-transmission credit video stream is an H.264 video stream of either the terrestrial digital broadcast or the BS digital broadcast. The video comparison / monitoring system according to any one of claims 1 to 10, wherein the video stream is compressed in accordance with H.264 and transmitted following the broadcast.
ケーブルテレビで再送信されることを特徴とする請求項１１に記載の映像比較監視システム。 The retransmission trusted video stream is:
The video comparison and monitoring system according to claim 11, wherein the video comparison and monitoring system is retransmitted by cable television.
放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１のステップと、
前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２のステップと、
前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３のステップと、
を有することを特徴とする映像比較監視方法。 By computer
Captures a broadcast video stream being broadcast, accumulates a plurality of broadcast image data that flows as the broadcast video stream, and compresses the broadcast video stream to capture a re-transmission credit video stream A first step of storing a plurality of retransmission credible image data flowing as the retransmission credible video stream in an image data storage unit;
The plurality of broadcast image data and the plurality of retransmitted reliable image data are read from the image data storage unit, respectively, and are played back following the broadcast of the broadcast video stream and the retransmission of the retransmitted reliable video stream, respectively. The first comparison is made between each broadcast image data and each re-transmission credit image data using a comparison algorithm having a short comparison processing time among a plurality of comparison algorithms considering human visual characteristics, and the result of the first comparison , Performing a second comparison process of the broadcast image data that does not meet the preset comparison condition and the retransmission trusted image data using a comparison algorithm with a shorter comparison processing time, and the result of the second comparison is A second step of recording in the image comparison result recording means the identification information of the broadcast image data and the retransmitted reliable image data that do not match the comparison condition. And-flops,
Reading each identification information from the image comparison result recording means, obtaining broadcast image data and retransmission credit image data respectively corresponding to the identification information from the image data storage means, and among the plurality of comparison algorithms The broadcast image data and the retransmitted reliable image data are compared using any one or more, the comparison condition is changed based on the comparison result, and the changed comparison condition is compared with the real-time video comparison and monitoring A third step for setting the comparison condition of the means;
A video comparison and monitoring method characterized by comprising:
放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１の手順と、
前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２の手順と、
前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３の手順と、
を実行させることを特徴とする映像比較監視プログラム。 On the computer,
Captures a broadcast video stream being broadcast, accumulates a plurality of broadcast image data that flows as the broadcast video stream, and compresses the broadcast video stream to capture a re-transmission credit video stream And a first procedure for storing a plurality of retransmission credible image data flowing as the retransmission credible video stream in an image data storage means;
The plurality of broadcast image data and the plurality of retransmitted reliable image data are read from the image data storage unit, respectively, and are played back following the broadcast of the broadcast video stream and the retransmission of the retransmitted reliable video stream, respectively. The first comparison is made between each broadcast image data and each re-transmission credit image data using a comparison algorithm having a short comparison processing time among a plurality of comparison algorithms considering human visual characteristics, and the result of the first comparison , Performing a second comparison process of the broadcast image data that does not meet the preset comparison condition and the retransmission trusted image data using a comparison algorithm with a shorter comparison processing time, and the result of the second comparison is Second procedure of recording identification information of broadcast image data and retransmission trusted image data not matching the comparison condition in the image comparison result recording means ,
Reading each identification information from the image comparison result recording means, obtaining broadcast image data and retransmission credit image data respectively corresponding to the identification information from the image data storage means, and among the plurality of comparison algorithms The broadcast image data and the retransmitted reliable image data are compared using any one or more, the comparison condition is changed based on the comparison result, and the changed comparison condition is compared with the real-time video comparison and monitoring A third procedure for setting the comparison condition of the means;
A video comparison and monitoring program characterized in that the program is executed.
放送されている放送用映像ストリームを捕捉し、前記放送用映像ストリームとして流れる複数の放送用画像データを蓄積すると共に、前記放送用映像ストリームを圧縮して再送信されている再送信用映像ストリームを捕捉し、前記再送信用映像ストリームとして流れる複数の再送信用画像データを画像データ蓄積手段に蓄積する第１の手順と、
前記複数の放送用画像データと前記複数の再送信用画像データとを前記画像データ蓄積手段からそれぞれ読み出して、前記放送用映像ストリームの放送と前記再送信用映像ストリームの再送信とにそれぞれ追い掛けて再生し、人間の視覚特性を考慮した複数の比較アルゴリズムのうち、比較処理時間の短い比較アルゴリズムを用いて各放送用画像データと各再送信用画像データとをそれぞれ第１比較し、当該第１比較の結果、予め設定された比較条件に合致しない放送用画像データと再送信用画像データとを次に比較処理時間の短い比較アルゴリズムを用いて第２比較する比較処理を行い、当該第２比較の結果、前記比較条件に合致しない放送用画像データと再送信用画像データとの各識別情報を画像比較結果記録手段に記録する第２の手順と、
前記画像比較結果記録手段から前記各識別情報を読み出して、当該各識別情報にそれぞれ対応する放送用画像データと再送信用画像データとを前記画像データ蓄積手段から取得し、前記複数の比較アルゴリズムのうちいずれか１以上を用いて当該放送用画像データと当該再送信用画像データとを比較し、当該比較の結果に基づいて前記比較条件を変更して、変更後の比較条件を前記リアルタイム型映像比較監視手段の比較条件に設定する第３の手順と、
を実行させるための映像比較監視プログラムを記録したコンピュータ読み取り可能な映像比較監視プログラム用記録媒体。 On the computer,
Captures a broadcast video stream being broadcast, accumulates a plurality of broadcast image data that flows as the broadcast video stream, and compresses the broadcast video stream to capture a re-transmission credit video stream And a first procedure for storing a plurality of retransmission credible image data flowing as the retransmission credible video stream in an image data storage means;
The plurality of broadcast image data and the plurality of retransmitted reliable image data are read from the image data storage unit, respectively, and are played back following the broadcast of the broadcast video stream and the retransmission of the retransmitted reliable video stream, respectively. The first comparison is made between each broadcast image data and each re-transmission credit image data using a comparison algorithm having a short comparison processing time among a plurality of comparison algorithms considering human visual characteristics, and the result of the first comparison , Performing a second comparison process of the broadcast image data that does not meet the preset comparison condition and the retransmission trusted image data using a comparison algorithm with a shorter comparison processing time, and the result of the second comparison is Second procedure of recording identification information of broadcast image data and retransmission trusted image data not matching the comparison condition in the image comparison result recording means ,
Reading each identification information from the image comparison result recording means, obtaining broadcast image data and retransmission credit image data respectively corresponding to the identification information from the image data storage means, and among the plurality of comparison algorithms The broadcast image data and the retransmitted reliable image data are compared using any one or more, the comparison condition is changed based on the comparison result, and the changed comparison condition is compared with the real-time video comparison and monitoring A third procedure for setting the comparison condition of the means;
A computer-readable recording medium for a video comparison and monitoring program in which a video comparison and monitoring program for executing the program is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010115611A JP5258839B2 (en) | 2010-05-19 | 2010-05-19 | Video comparison and monitoring system, video comparison and monitoring method, video comparison and monitoring program, and recording medium for video comparison and monitoring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010115611A JP5258839B2 (en) | 2010-05-19 | 2010-05-19 | Video comparison and monitoring system, video comparison and monitoring method, video comparison and monitoring program, and recording medium for video comparison and monitoring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011244278A true JP2011244278A (en) | 2011-12-01 |
| JP5258839B2 JP5258839B2 (en) | 2013-08-07 |
Family
ID=45410459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010115611A Active JP5258839B2 (en) | 2010-05-19 | 2010-05-19 | Video comparison and monitoring system, video comparison and monitoring method, video comparison and monitoring program, and recording medium for video comparison and monitoring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5258839B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015115826A (en) * | 2013-12-12 | 2015-06-22 | 日本放送協会 | Rate control device, and rate control program |
| JPWO2015072341A1 (en) * | 2013-11-12 | 2017-03-16 | 株式会社トラフィック・シム | Stream monitoring system, program, recording medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223610A (en) * | 1995-02-17 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer evaluating device |
| WO2009025027A1 (en) * | 2007-08-20 | 2009-02-26 | Fujitsu Limited | Video quality monitoring method, distribution server, and client |
| WO2009119721A1 (en) * | 2008-03-26 | 2009-10-01 | 日本電気株式会社 | Video transcoder monitoring device, method for monitoring video transcoder, and program for monitoring video transcoder |
| JP2009284184A (en) * | 2008-05-22 | 2009-12-03 | Nec Corp | Television broadcasting retransmission monitoring system, monitoring method and monitoring control program |
| JP2010074513A (en) * | 2008-09-18 | 2010-04-02 | Toshiba Corp | Monitoring device |
-
2010
- 2010-05-19 JP JP2010115611A patent/JP5258839B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223610A (en) * | 1995-02-17 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer evaluating device |
| WO2009025027A1 (en) * | 2007-08-20 | 2009-02-26 | Fujitsu Limited | Video quality monitoring method, distribution server, and client |
| WO2009119721A1 (en) * | 2008-03-26 | 2009-10-01 | 日本電気株式会社 | Video transcoder monitoring device, method for monitoring video transcoder, and program for monitoring video transcoder |
| JP2009284184A (en) * | 2008-05-22 | 2009-12-03 | Nec Corp | Television broadcasting retransmission monitoring system, monitoring method and monitoring control program |
| JP2010074513A (en) * | 2008-09-18 | 2010-04-02 | Toshiba Corp | Monitoring device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2015072341A1 (en) * | 2013-11-12 | 2017-03-16 | 株式会社トラフィック・シム | Stream monitoring system, program, recording medium |
| JP2015115826A (en) * | 2013-12-12 | 2015-06-22 | 日本放送協会 | Rate control device, and rate control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5258839B2 (en) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10009630B2 (en) | System and method for encoding video content using virtual intra-frames | |
| USRE47825E1 (en) | Methods, systems, and media for certifying a playback device | |
| US8015586B2 (en) | Image display method, image display device, and image display program | |
| US10049702B2 (en) | Digital video recorder options for editing content | |
| US11405665B1 (en) | System and method for asynchronous uploading of live digital multimedia with resumable connections | |
| WO2012043356A1 (en) | Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system | |
| US9997203B2 (en) | System and method for streaming and recording video | |
| CN111988560B (en) | Method and apparatus for encoding and streaming video sequences over multiple network connections | |
| CN109155840B (en) | Moving image dividing device and monitoring method | |
| US12081606B2 (en) | Content player performance detection | |
| JP5258839B2 (en) | Video comparison and monitoring system, video comparison and monitoring method, video comparison and monitoring program, and recording medium for video comparison and monitoring program | |
| JP5764005B2 (en) | Playback apparatus and playback method | |
| JP2007104454A (en) | Streaming image reproduction quality evaluation system | |
| TW201436577A (en) | Video display system and method based on highlight information | |
| US10542213B2 (en) | Imaging apparatus | |
| CN107484005A (en) | Monitoring method, set top box, monitoring system and storage medium | |
| KR102163427B1 (en) | Multichannel monitoring system for adaptive to svc codec based network situation | |
| US20140081748A1 (en) | Customized television commercials | |
| JP2012156808A (en) | Image transmission system and image reproducing device | |
| KR102590136B1 (en) | Cloud server for monitoring live videos, and operating method thereof | |
| KR20180058155A (en) | The Dynaminc Adaptive Streaming CCTV System and technique based Pattern Recognition | |
| JP2015185919A (en) | Display control unit, information processing method, and program | |
| JP2005318190A (en) | Method and system for video distribution | |
| JP2004153479A (en) | Video image monitoring system and server thereof | |
| KR20100041633A (en) | The video server that improves the quality of monitoring video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130423 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5258839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |