JP2001504656A

JP2001504656A - Sub-threshold message protection

Info

Publication number: JP2001504656A
Application number: JP52356098A
Authority: JP
Inventors: ヤンデル，マグヌス
Original assignee: テレフオンアクチーボラゲツトエルエムエリクソン
Priority date: 1996-11-19
Filing date: 1997-11-13
Publication date: 2001-04-03
Also published as: KR100349190B1; SE510444C2; WO1998023087A1; KR20000057150A; SE9604241D0; AU5076398A; SE9604241L

Abstract

(57)【要約】本発明は、２つのフレーム間の第１文脈変化を検出する方法及びシステムに関する。更に他の２つのフレーム間の第２文脈変化が所定時間区間内に起こるとき、２つの文脈変化内に収容されたフレームが閾下メッセージと定義される。閾下メッセージの検出の際、警報が観察者へ送信される。 (57) SUMMARY The present invention relates to a method and system for detecting a first context change between two frames. When a second context change between two further frames occurs within a predetermined time interval, the frame contained within the two context changes is defined as a sub-threshold message. Upon detection of a subthreshold message, an alert is sent to the observer.

Description

【発明の詳細な説明】閾下メッセージ保護本発明は、観察者を閾（いき）下（ｓｕｂｌｉｍｉｎａｌ）メッセージから保護するシステム及び方法に関する。発明の背景閾下メッセージは、観察者によって意識的に検出不可能であるような方法で送信されるメッセージである。閾下メッセージは、隠された暗示（ｈｉｄｄｅｎｓｕｇｇｅｓｔｉｏｎ）であって、下意識（ｓｕｂｃｏｎｓｃｉｏｕｓ）によってのみ知覚され得る。ビデオ通信では、閾下メッセージを非常に敏速にフラッシュすることができるので、視聴者はそのメッセージを見たことに気づかない。にもかかわらず、視聴者は、そのメッセージ内容に感化され得る。例えば、視聴者が株式市場からの最新テレビ放送ニュースを調べている間に送信される閾下広告の場合を考えよう。この広告は、ＡＣＭＥチョコレートが旨いことを視聴者に知らせるかもしれないが、しかし非常に敏速にフラッシュされるので視聴者は自分が広告を受けていることに気づかない。しかしながら、或る視聴者は、その広告によって下意識的に感化され、後にＡＣＭＥチョコレートを説明しようもなく欲しくなる。テレビジョン・チャネルの地上ベース（ｇｒｏｕｎｄ−ｂａｓｅｄ）伝送は、上の型式の広告を防止することを狙った倫理的及び法的制約を受けている。しかしながら、地域法及び地域規則に従わない国際衛星ベース（ｉｎｔｅｒｎａｔｉｏｎａｌｓａｔｅｌｌｉｔｅ−ｂａｓｅｄ）テレビジョン・チャネルの多くでは閾下メッセージの伝送の防止を保証することは、可能でない。観察者のこのようなメッセージからの保護は、例えば、インターネット及びビデオ電話のような、現代型式の通信において達成するのがかなり困難である。閾下メッセージは、ビデオ列（ｖｉｄｅｏｓｅｑｕｅｎｃｅ）内だけでなく、静止画像、又は観察者が静止画像と考えるもの内にもまた、及び音声列（ａｕｄｉｏｓｅｑｕｅｎｃｅｓ）内にもまた隠すことができる。画像列のうちの２つの相互に逐次並ぶ画像が正確に同じものであることはめったにない。複数の相互に逐次並ぶ画像を用いて動きを仲介する（ｍａｄｉａｔｅ）ことの基本概念は、各画像が先行画像から僅かに異なると云うことである。それらの画像がスピードを出して示されるとき、それは眼が或る程度の慣性を持っているために、眼には運動として知覚され、個別画像の表示としては知覚されない。大多数の場合、画像フレームの小さな部分だけが実運動に係わる。これに関しては、歩いている人物を静止背景と比較せよ。この特徴は、例えば、ＭＰＥＧ２のような、いくつかの異なる型式の画像列圧縮に使用される。ＭＰＥＧ２は、なかでも、変化する画素を記述する近似情報を送信することによって、画像列中の空きを節約する。しかしながら、この結果、画像列に誤りを導入し、規則間隔で画像を同期させることを必要にする。これは、完全画像を形成するために必要な全ての情報を含む、いわゆる、Ｉ画像によって達成される。画像列はまた、動画像を可能な最も有効な方法で伝送させるためにいくつかの異なるフレームの行を含む。フレームは、画像又はピクチャを形成するために、更に他のフレームとおそらくは一緒に、媒体上に表される画像情報を含む。例えば、インタレース画像は、２つのフレームで以て構成される。用語フレームを、次の説明全体を通して一貫して使用する。フレームは、或る１つの画像をコンパイルするために使用される情報を意味する。フレームは、それ自体で完全画像を含むか、又は或る１つの画像の単にいくつかの部分、又は或る１つの画像をそれから計算することができる情報を含むことができる。Ｉフレームは、画像情報を含む完全フレームである。Ｉフレームは大量の情報を含むと云う理由から、このフレームは転送するのが高価に付く。新Ｐフレームは、Ｉフレームから又はＰフレームから形成することができる。Ｐフレーム（予測（ｐｒｅｄｉｃｔｉｏｎ）フレーム）は、先行フレームに関係した運動ベクトル及びＤＦＤ（変位フレーム差（ＤｉｓｐｌａｃｅｄＦｒａｍｅＤｉｆｆｅｒｅｎｃｅ）を受信機側へ転送することによって形成される。運ベクトルは、Ｐフレームを形成するために予測フレーム内の物体をいかに運動させるかを記述する。新Ｐフレームが形成されるとき、例えば、切り上げに因って誤りが起こる。ＤＦＤは、計算されたＰフレームが原画像からいかに異なるかを記述する。計算されたフレーム内の各画素の値と元のフレーム内の各画素の値との間の差を白黒フレームに関して計算することができる。ＲＧＢ（赤、緑、青）を使用する色彩フレームは、１つの部分が輝度部分から成る形に変換することができる。輝度部分は、この場合、ＤＦＤを計算するために使用することができる。運動ベクトルに加えてＤＦＤは相当するＩフレームが含むであろうより遥かに少ない情報しか含まないから、ＰフレームはＩフレームより遥かに対費用効果が高い。Ｂフレームもまた含まれるが、これらは先行及び後続Ｐフレームから計算される。式閾下メッセージ（ｅｘｐｒｅｓｓｉｏｎｓｕｂｌｉｍｉｎａｌｍｅｓｓａｇｅ）がコードを記述するためにまた使用され、この場合いくつもの暗号化メッセージがシンボルの同じ集合内にコード化される。これは、本発明と全然関係を持たない。Ｕ．Ｓ．５，１５１，７８８に、空白画像を検出することによって、ビデオ信号内の広告を識別しかつこれらをビデオ信号から除去するシステムが説明されている。この解決の概念を閾下メッセージに適用することはできない。なぜならば、閾下メッセージには通常空白画像が先行していないからである。ＦＲ２，６２２，０７７に、ライン毎にアナログ・ビデオ信号を分析することによって、画像間の不連続性を検出するシステムが説明されている。その概念は、本発明に適用不可能である。それは、閾下メッセージは、ライン毎に考えたとき、他の信号と異ならないからである。発明の要約本発明は、閾下メッセージを検出しかつそれらの存在について観察者に警告することによって、前述の問題に取り組む。本発明の目的は、それゆえ、閾下メッセージに対して観察者を保護することにある。前述の問題は、２つのフレーム間の文脈変化（ｃｏｎｔｅｘｔｃｈａｎｇｅ）を検出することによって、閾下メッセージを検出しかつそれらの存在について観察者に警告することによって、本発明によって解決される。より具体的には、２つのフレーム間で第１文脈変化が検出される。第２文脈変化が所定時間間隔中に更に別の２つのフレーム間に起こるとき、これら２つの文脈変化内に収容されたフレームが閾下メッセージと定義される。閾下メッセージが検出されたとき、警報が観察者へ送信される。文脈変化は、フレーム内の文脈中の主要変化と定義することができる。例えば、シーン変化である。フレーム点は、他のフレーム点と一緒に画像を形成する前記画像中の点内の値と定義することができる。本発明は、閾下メッセージを検出しかつ後の分析のために記憶することを可能にする利点を提供する。他の利点は、閾下メッセージの存在に対して観察者を保護しかつそれらのメッセージの存在について観察者に警告することができることである。本発明をその好適実施例を参照してかつまた添付図面を参照して更に詳細に説明する。図面の簡単な説明図１は本発明の１実施例の概観図である。図２は本発明の１実施例を示す流れ図である。図３は本発明の他の実施例を示す流れ図である。図４は本発明の１実施例に従って文脈変化を検出することを示す流れ図である。図５は本発明の他の実施例に従って文脈変化を検出することを示す流れ図である。図６は本発明の更に他の実施例に従って文脈変化を検出することを示す流れ図である。図７は閾下メッセージを検出することを示す流れ図である。図８は閾下保護モジュールを示すブロック図である。好適実施例の詳細な説明図１は、本発明の１実施例の概観図である。参照符号１０１は、テレビション１０２上の映画を見ている観察者又は視聴者を示す。フィルム及びテレビジョンなる用語がこの実施例を説明するのに使用されるけれども、云うまでもなく、等価な用語、例えば、ＭＰＥＧ列（ｓｅｑｕｅｎｃｅ）及びデータ端末のような用語を代わりに使用することができる。参照符号１１１は、発信源１１０からテレビジョン１０２へ送信されたフレーム列を示す。フレームの列１１１は、ＳＭＰモジュール１１２（閾下メッセージ保護（ＳｕｂｌｉｍｉｎａｌＭｅｓｓａｇｅＰｒｏｔｅｃｔｉｏｎ））を経由してテレビション１０２に到達する。ＳＭＰモジュールは、これに代えて、ビデオ・デコーダに一体化してもよい。発信源１１０は、例えば、ケーブル・テレビ・ディストリビュータ、ＳＰ（サービス提供業者（ＳｅｒｖｉｃｅＰｒｏｖｉｄｅｒ））又はインターネットに接続されたコンピュータ又はイントラネットであってよい。図１はフレーム列１１１の一部分を示し、ここで参照符号１０３が正規の列内のフレームをまた識別する。参照符号１０４がまた正規の列内のフレームを識別するが、もっとも図示の場合フレーム１０４は文脈変化１０５の生起に先立つ正規の列内に起こる最終フレームを構成する。文脈変化は、フレームの文脈内の主要変化と定義することができる。例えば、シーン変化である。文脈変化１０５の後に一連のフレームが続き、これらの一連のフレーム同志で閾下メッセージ１０６を構成する。閾下メッセージ１０６は、単１フレームで又はいくつかの相互に逐次並ぶフレームで構成される。参照符号１０７は閾下メッセージを終了させる文脈変化を識別し、かつ正規の列が出現する。参照符号１０８は正規のフレーム列内の第１フレームを識別し、他方、参照符号１０９は次に続くフレームを識別する。ＳＭＰモジュール１１２は、文脈変化１０５及び１０７を検出する。文脈変化１０５及び１０７が指定された時間区間内に起こるや否や、警報が発せられ、及び閾下メッセージ１０６が記憶されかつこれを観察者１０１は再生することができる。図２は、本発明の１実施例を示す流れ図である。参照符号２０５は、フレーム列を示す。参照符号ＣＣ１は、正規のフレーム列Ｎと閾下メッセージＳを構成するフレームとの間の文脈変化を示す。参照符号ＣＣ２は、閾下メッセージＳと正規のフレーム列Ｎとの間の文脈変化を示す。ボックス２０１に従って、ＳＭＰジュール（図示されていない）に到達する各フレームが最後に到達したフレームと比較され、かつ文脈変化が検出される。２つの最新文脈変化が起こった時刻が保存される。最新２つの文脈変化が起こる時間差がボックス２０２に従って計算される。その時間差がしきい値Ｔｓより小さいとき、ボックス２０４に従って、利用者警報２０３がトリガされかつ画像が凍結される。そこで、観察者は、自分が閾下メセージを受けているか否かを確かめることができ、かつ、もし受けているならば、そのメッセージの性質を確かめることができる。図３は、本発明の別の実施例を示す流れ図である。参照符号３０１は、ＳＭＰジュール（図示されていない）に到達するフレーム列を示す。参照符号ＣＣ１は、フレーム列内の文脈変化を示す。参照符号Ｎ１は正規のフレーム列内の最終フレームを示し、他方、参照符号Ｓ１は閾下メッセージ内の第１フレームを示す。参照符号Ｓ２は閾下メッセージ内の最終フレームを示しかつ参照符号ＣＣ２はＳ２とＮ２との間の文脈変化を示し、ここにＮ２は文脈変化ＣＣ２の後の正規の列内の第１フレームを示す。ボックス３０２に従って、ＳＭＰモジュール（図示されていない）は文脈変化を検出するように機能し、かつこれらの変化が起こる時刻がフレームＮ１、Ｎ２、Ｓ１、及びＳ２と一緒に保存される。ボックス３０３で、もし最新の２つの文脈変化ＣＣ１とＣＣ２との間の時間差が所定のしきい値Ｔｓより小さいならば、ボックス３０４に従って、事前警報がトリガされかつ関連データ、例えば、閾下メッセージ発信源、そのメッセージの到達時刻等が記録される。次いで、フレームＮ１とＮ２との間に文脈変化が存在するか否かを確かめるために試験が実施される。もし前記フレーム間に文脈変化が存在しないならば、警報がトリガされ（ボックス３０６）かつそのフレーム列が凍結される（ボックス３０７）。そこで、観察者は、起こった文脈変化を、凍結フレームの媒体及び続いて起こった記録活動を通して、意識的に評価することができる。シーン変化の場合におけるように、フレーム全体が劇的に変化している事態は、そのフレーム列内のＩフレームを用いて仲介することができる。閾下メッセージの伝送を始めるとき、シーン変化が起こることになり、シーン変化はフレームの大部分を２つの相互に逐次並ぶフレーム間で変化させる原因となる。それゆえ、受信機がＩフレームを受信するとき文脈変化が起こり得る。２つのＩフレームが短い時間間隔内に逐次受信されるとき、閾下メッセージが伝送されたと疑うことができる。図４は、ＭＰＥＧ列中のＩフレームを用いて変化を検出することを示す流れ図である。参照符号４０１は、ＳＭＰモジュール（図示されていない）に到達するフレーム列を示す。ボックス４０２で、ＳＭＰ装置はフレームを受信し、かつ、ボックス４０３で、受信したフレームがＩフレームであるか否かを確かめる。ボックス４０４で、Ｉフレームの受信が文脈の変化を表示する。図５は、２つのフレーム間の変化の値を数値計算することによって、文脈変化を検出することを示す流れ図である。参照符号５０１は、ＳＭＰ装置（図示されていない）に到達するフレーム列を示す。ボックス５０２で、ＳＭＰ装置（図示されていない）がフレームＮ_iを受信する。フレームＮ_iは、メモリＬ₂に記憶される。これに先立ち、ボックス５０３で、Ｌ₂の値がメモリＬ₁に記憶される。ボックス５０４で、それらのフレーム間の差の値Ｅが、フレームＬ₁とフレームＬ₂ 内の対応するフレーム点間の差のエネルギー測定値を合計することによって、計算される。このエネルギー測定値は、例えば、ｘ²であってよく次の式を与えることになろう。ここにＩ_sはフレームＬ₂内のフレーム点ｓの値であり、及びＩ’_sはフレームＬ₁ 内のフレーム点ｓの値である。それぞれ、ボックス５０６及び５０６に従って、Ｅがしきい値Ｔ_eより大きいとき文脈変化が表示される。図６に示されたように、２つのＰフレーム間の文脈変化は、ＤＦＤ内のエネルギーを測定することによって、上に説明したのと類似の方法で検出することができる。図６で、参照符号６０１は、フレーム列を示す。ボックス６０２で受信された各ＤＦＤについて、ボックス６０３で、エネルギーが計算される。６０４でもしＤＦＤに含まれたエネルギーの量がしきい値より大きいならば、ボックス６０５で、これは文脈変化が起こったことを示す。図７に示されたように、ＳＭＰはライブラリ機能を含むことができ、このライブラリ機能は既知の閾下メッセージに関係するデータを含む。参照符号７０１は、フレーム列を示す。ボックス７０７で受信された各フレームがボックス７０３でライブラリに記憶されたフレームと比較され、かつボックス７０４で充分な類似性があると分かれると、ボックス７０５で、利用者警報がトリガされる。この比較は、いくつもの特徴を表すように、各フレームをフィルタすることによって実施されることがある。これらの特徴は、次いで、ライブラリ機能に記憶された特徴と比較される。この手順に関する１つの利点は、コンピュータ・パワー及びメモリ空間が節約されることである。図８は、モニタ８０１に接続されたＳＭＰモジュール８０２を詳細に示す。フレーム列がＳＭＰ装置８０３に到達する。それらのフレームはシステム８０７を通過し、このシステムが文脈変化を検出する。システム８０７は、その機能がフレームに含まれるエネルギーを測定することである部品８０４、その機能がエネルギー値をしきい値と比較することである部品８０８、及びその機能が警報を開始させることである部品を含む。ＳＭＰはまた、フレームのストリーム又は列を記憶する手段８０６を含む。云うまでもなく、本発明は上に説明されたかつ図示されたその例証実施例に限定されることはなく、及び修正を次の請求の範囲内で行うことができる。DETAILED DESCRIPTION OF THE INVENTION Sub-threshold message protection The present invention keeps the observer from subliminal messages. Protection systems and methods. Background of the Invention Subthreshold messages are sent in such a way that they are consciously undetectable by the observer. It is a message that is received. The subthreshold message is a hidden suggestion. Suggestion, which is caused by subconsciousness. Can only be perceived. Video communication flashes subthreshold messages very quickly. Viewers are unaware that they have seen the message. To Nevertheless, the viewer may be inspired by the message content. For example, viewers Ads sent while scrutinizing the latest TV news from the stock market Let's consider the case. This ad tells viewers that ACME chocolate is good It may flash, but the viewer will be flashing so quickly Does not notice that is receiving advertisements. However, some viewers may Consciously inspired by the desire to help explain ACME chocolate later It becomes difficult. Ground-based transmission of television channels Subject to ethical and legal restrictions aimed at preventing the above types of advertising. Only International satellite bases that do not comply with local laws and regulations online satellite-based) on many of the television channels It is not possible to guarantee the prevention of transmission of subthreshold messages. This is an observer ’s place Protection from messages such as Internet and video calls , Are quite difficult to achieve in modern style communications. Sub-threshold messages are not only in the video sequence , Still images or what the observer considers still images, and also audio sequences (au It can also be hidden within the dio sequences. It is very unlikely that two successive images in the sequence are exactly the same. Not really. Mediate motion using a plurality of mutually sequential images (mediate The basic concept is that each image is slightly different from the preceding image. So When these images are shown at speed, it has a certain amount of inertia in the eyes Are perceived as motion by the eyes and not as a display of individual images. No. In most cases, only a small portion of the image frame is involved in real motion. About this Then compare the walking person with the stationary background. This feature is, for example, MPEG 2, used for several different types of image sequence compression. MPEG2 is Above all, by sending approximate information describing the changing pixels, To save space. However, this results in introducing errors into the image sequence, Need to synchronize images. This is necessary to form a complete image This is achieved by a so-called I-picture which contains all the necessary information. Image sequences can also be used to transmit video in the most efficient way possible. Contains rows from different frames. A frame is used to form an image or picture, Still further, possibly together with other frames, contain image information that is represented on the media. example For example, an interlaced image is composed of two frames. Term frame Used consistently throughout the following description. A frame is a compilation of a single image. Means the information that is used to The frame itself is a complete image Include or just some parts of an image, or an image Information that can be calculated from I-frames contain image information It is a complete frame including. Because I-frames contain a lot of information, Frames are expensive to transfer. New P-frames can be from I-frames or P-frames. Can be formed from frames. P frame (prediction) Frame) is the motion vector and DFD (displacement frame) related to the previous frame. difference(DisplacedFramDtransfer to the receiver side It is formed by sending. The luck vector is reserved for forming the P frame. Describes how to move the object in the measurement frame. A new P frame is formed In some cases, errors occur due to rounding up, for example. DFD is the calculated P-frame Describes how the game differs from the original image. Each pixel in the calculated frame The difference between the value of and the value of each pixel in the original frame for a black and white frame be able to. A color frame using RGB (red, green, blue) has one part It can be converted to a form consisting of luminance parts. The luminance part, in this case, the DFD Can be used to calculate. DFD is equivalent to motion vector P-frames contain much less information than I-frames would contain Are much more cost effective than I-frames. B frames are also included, but this Are calculated from the preceding and succeeding P frames. Expression subliminal message age) is also used to describe the code, in this case a number of cryptographic The messages are coded in the same set of symbols. This has nothing to do with the present invention Do not have. U. S. 5,151,788, the video signal is detected by detecting a blank image. A system for identifying advertisements in an issue and removing them from a video signal is described. I have. This concept of solution cannot be applied to subthreshold messages. because This is because a blank image usually does not precede the sub-threshold message. FR 2,622,077 analyzes analog video signals line by line. Describe a system for detecting discontinuities between images. The concept Is not applicable to the present invention. It was a sub-threshold message thought line by line This is because the time is not different from other signals. Summary of the Invention The present invention detects subthreshold messages and alerts the observer about their presence. Addressing the aforementioned problems. The aim of the present invention is therefore to protect the observer against subthreshold messages. is there. The aforementioned problem is that the context change between two frames (context change) ) To detect subthreshold messages and for their presence This is solved by the present invention by alerting the observer. More specifically, a first context change is detected between two frames. Second context change These two statements are used when the transformation takes place between two further frames during a given time interval. A frame contained within a pulse change is defined as a sub-threshold message. Subthreshold message Is detected, an alert is sent to the observer. A context change can be defined as a major change in context within a frame. For example , Scene change. A frame point is a value within a point in the image that forms an image with other frame points. Can be defined as The invention allows subthreshold messages to be detected and stored for later analysis To provide the benefits. Another advantage is that it protects the observer against the presence of subthreshold messages and those messages. The ability to warn the observer about the presence of the sage. The invention will be described in more detail with reference to preferred embodiments thereof and also with reference to the accompanying drawings. I will tell. BRIEF DESCRIPTION OF THE FIGURES FIG. 1 is a schematic view of one embodiment of the present invention. FIG. 2 is a flowchart showing one embodiment of the present invention. FIG. 3 is a flowchart showing another embodiment of the present invention. FIG. 4 is a flowchart illustrating detecting a context change according to one embodiment of the present invention. . FIG. 5 is a flowchart illustrating detecting a context change according to another embodiment of the present invention. You. FIG. 6 is a flowchart illustrating detecting a context change according to yet another embodiment of the present invention. It is. FIG. 7 is a flowchart illustrating detecting a sub-threshold message. FIG. 8 is a block diagram showing the sub-threshold protection module. Detailed Description of the Preferred Embodiment FIG. 1 is a schematic view of one embodiment of the present invention. Reference numeral 101 denotes a television Shows an observer or viewer watching the movie on 102. Film and television Although the term is used to describe this embodiment, it should be understood that Terms such as MPEG sequences and data terminals Words can be used instead. Reference numeral 111 indicates that the 4 shows a sequence of frames transmitted to the vision 102. Column 111 of the frame is an SMP Module 112 (Subliminal Message Protection e Protection)) to reach the television 102. SM The P module may alternatively be integrated with the video decoder. Source 110 is, for example, a cable television distributor, SP (service provider). Connected to a Service Provider or the Internet Computer or intranet. FIG. 1 shows one of the frame trains 111. A portion is shown, where reference numeral 103 also identifies a frame in the regular column. three Reference numeral 104 also identifies frames in the regular column, but in the illustrated case Frame 104 is the last frame that occurs in the regular sequence prior to the occurrence of context change 105 Is composed. Context change can be defined as the main change in the context of the frame . For example, a scene change. The context change 105 is followed by a series of frames. These series of frames constitute the sub-threshold message 106. Subthreshold message 106 comprises a single frame or a number of mutually sequential frames . Reference numeral 107 identifies the context change that terminates the sub-threshold message, and A column appears. Reference numeral 108 identifies the first frame in the regular sequence of frames, On the other hand, reference numeral 109 identifies the next succeeding frame. SMP module 112 Detects context changes 105 and 107. Context changes 105 and 107 are specified As soon as it occurs within the specified time interval, an alert is issued and the sub-threshold message 106 It is stored and can be reproduced by the observer 101. FIG. 2 is a flowchart showing one embodiment of the present invention. Reference numeral 205 denotes a frame. Indicates a column. The reference code CC1 constitutes the regular frame sequence N and the sub-threshold message S. Figure 7 shows the context change to and from the current frame. Reference code CC2 is the same as the sub-threshold message S. 5 shows a context change between the frame sequence N and a normal frame sequence N. According to box 201, the SMP Each frame arriving at the rule (not shown) is The comparison is made and a context change is detected. The time at which the two latest context changes occurred Be preserved. The time difference between the last two context changes is calculated according to box 202 It is. When the time difference is smaller than the threshold value Ts, according to box 204, User alert 203 is triggered and the image is frozen. So, the observer You can check if you are receiving a sub-threshold message and if so Then you can check the nature of the message. FIG. 3 is a flowchart showing another embodiment of the present invention. Reference numeral 301 denotes an SMP 4 shows a sequence of frames reaching a Joule (not shown). Reference code CC1 is , Indicates a context change within a sequence of frames. Reference numeral N1 represents the last frame in the normal frame sequence. Indicate the first frame in the sub-threshold message. Reference S2 indicates the last frame in the sub-threshold message and reference CC2 indicates S 2 shows the context change between 2 and N2, where N2 is the regular sequence after context change CC2 1 shows a first frame. According to box 302, the SMP module (shown Not function) to detect contextual changes and when these changes occur The ticks are stored along with the frames N1, N2, S1, and S2. Box 303 If the time difference between the two latest context changes CC1 and CC2 is a predetermined threshold If less than Ts, a pre-alarm is triggered and related according to box 304. Record of continuous data, for example, sub-threshold message source, arrival time of the message, etc. Is done. It is then determined whether a context change exists between frames N1 and N2. A test is performed to determine If there is no context change between the frames If so, an alarm is triggered (box 306) and the frame sequence is frozen (box 306). Box 307). The observer then describes the context change that occurred, And conscious evaluation through subsequent recording activities. As in the case of scene changes, the whole frame is changing dramatically , Using the I frame in the frame sequence. Sub-threshold message When the transmission of the image begins, a scene change will occur and the scene change Will change between two mutually adjacent frames. therefore , A context change can occur when the receiver receives an I-frame. Two I frames Suspicious that a subthreshold message was transmitted when Can be. FIG. 4 is a flowchart showing detecting changes using I frames in an MPEG stream. It is. Reference number 401 reaches an SMP module (not shown) 3 shows a frame sequence. At box 402, the SMP device receives the frame, and In box 403, it is determined whether the received frame is an I frame. Bo At box 404, receipt of an I-frame indicates a change in context. FIG. 5 illustrates the context change by numerically calculating the value of the change between two frames. Is a flowchart showing the detection of. Reference numeral 501 denotes an SMP device (shown in FIG. Not shown). In box 502, an SMP device (shown Not done) is frame N_iTo receive. Frame N_iIs the memory L_TwoRemembered It is. Prior to this, in box 503, L_TwoIs the memory L₁Is stored. Bo In box 504, the difference value E between the frames is₁And frame L_Two By summing the energy measurements of the difference between corresponding frame points in Is calculated. This energy measurement is, for example, x^TwoWhich gives the following equation It will be. Here I_sIs the frame L_TwoAnd the value of the frame point s in_sIs the frame L₁ Is the value of the frame point s. According to boxes 506 and 506, respectively, E is the threshold T_eWhen greater, a context change is displayed. As shown in FIG. 6, the context change between two P frames is due to the energy in the DFD. By measuring the energy, it can be detected in a manner similar to that described above. Wear. In FIG. 6, reference numeral 601 indicates a frame sequence. Received in box 602 For each saved DFD, the energy is calculated in box 603. In 604 If the amount of energy contained in the DFD is greater than the threshold, box 6 At 05, this indicates that a context change has occurred. As shown in FIG. 7, the SMP can include a library function, The library function includes data related to known sub-threshold messages. Reference numeral 701 is , A frame sequence. Each frame received in box 707 is Is compared with the frames stored in the library at box 704, and box 704 is sufficient If so, at box 705, a user alert is triggered. this The comparison is made by filtering each frame to represent a number of features. Real May be applied. These features are then stored in the library function. Compared to the sign. One advantage of this procedure is that computer power and The space of the moly is to be saved. FIG. 8 shows the SMP module 802 connected to the monitor 801 in detail. H The frame train reaches the SMP device 803. These frames add system 807 Pass and the system detects the context change. The system 807 has a function Part 804, which measures the energy contained in the frame, whose function is energy Part 808, which is to compare the energy value to a threshold, and its function to trigger an alarm. Including the part that is to be started. SMP also provides a stream or sequence of frames. Means 806 for storing. It goes without saying that the invention is limited to the exemplary embodiment described and illustrated above. It is not defined, and modifications can be made within the following claims.

【手続補正書】特許法第１８４条の８第１項【提出日】平成１０年１２月２９日（１９９８．１２．２９）【補正内容】請求の範囲 1. 画像情報を含むフレームの列内のメッセージ間を区別する方法であって、第１フレームと第２フレームとの間の第１文脈変化が検出される前記方法は、第３フレームと第４フレームとの間の第２文脈変化を検出し、前記第１文脈変化と前記第２文脈変化との間の時間間隔を第１しきい値と比較し、かつ前記比較に依存して前記メッセージを表示することを特徴とする方法。 2. 請求項１記載の方法であって、前記第１文脈変化と前記第２文脈変化とに関係した関連データと前記フレーム列の発信源に関係するデータとがメモリに記億されることを特徴とする方法。 3. 請求項１記載の方法であって、前記第１フレームと前記第４フレームとの間の第３文脈変化が検出されるかどうかに依存して第２メッセージが表示されることを特徴とする方法。 4. 請求項１記載の方法であって、前記第１文脈変化が前記第１フレームと前記第２フレームとの間のエネルギー差を測定することによって検出されることを特徴とする方法。 5. 請求項１記載の方法であって、前記第２文脈変化が前記第２フレームと前記第３フレームとの間のエネルギー差を測定することによって検出されることを特徴とする方法。 6. 請求項４又は５に記載の方法であって、エネルギーが、各フレーム点について、第１フレーム内のフレーム点の値と第２フレーム内の対応するフレーム点の値との間の差を計算し、計算された差の平方を計算し、かつ全てのフレーム点について前記計算された平方値の和を形成することによって測定されることを特徴とする方法。 7. 請求項１記載の方法であって、前記第１文脈変化が第１変位フレーム差（ＤＦＤ）内のエネルギーを測定することにより検出され、かつ前記第１フレームから前記第２フレームを計算するために前記測定されたエネルギーを使用することを特徴とする方法。 8. 請求項１記載の方法であって、前記第２文脈変化が第２変位フレーム差（ＤＦＤ）内のエネルギーを測定することによって検出され、かつ前記第３フレームから前記第４フレームを計算するために前記測定されたエネルギーを使用することを特徴とする方法。 9. 請求項７記載の方法であって、前記変位フレーム差内のエネルギーを第２しきい値と比較し、かつ前記比較に依存して文脈変化を表示することを特徴とする方法。 10．請求項８記載の方法であって、前記変位フレーム差（ＦＤＦ）内のエネルギーを第２しきい値と比較し、かつ前記比較に依存して文脈変化を表示することを特徴とする方法。 11．請求項７から１０のうちいずれか１つに記載の方法であって、前記変位フレーム差（ＤＦＤ）内のエネルギーが前記変位フレーム差内の各フレーム点内の値の平方を計算しかつ全てのフレーム点について前記計算された値の和を形成することによって測定されることを特徴とする方法。 12．請求項７から１０のうちいずれか１つに記載の方法であって、前記変位フレーム差（ＤＦＤ）内のエネルギーが前記変位フレーム差内の各フレーム点内の値の絶対値を計算しかつ全てのフレーム点について前記計算された値の和を形成するすることによって測定されることを特徴とする方法。 13．請求項１記載の方法であって、ＭＰＥＦストリーム内のＩフレームが検出されるとき前記第１文脈変化が示されることを特徴とする方法。 14．請求項１記載の方法であって、ＭＰＥＦストリーム内のＩフレームが検出されるとき前記第２文脈変化が示されることを特徴とする方法。 15．請求項１記載の方法であって、前記第２フレームをフレーム・ライブラリに記憶された第５フレームと比較し、かつ前記比較に依存して前記第１メッセージを表示することを特徴とする方法。 16．請求項２記載の方法であって、前記メモリに前記第１文脈変化と前記第２文脈変化との間のフレーム列を記憶することを特徴とする方法。 17．請求項２又は１６記載の方法であって、利用者が前記メモリの内容を検査することができることを特徴とする方法。 18．請求項１記載の方法であって、前記第２フレームと前記第３フレームとが同一フレームであることを特徴とする方法。 19．フレーム列内の２つのフレーム間の文脈変化を測定する手段（８０７）と、警報を開始させる手段（８０５）と、フレーム列を記憶する手段とを含み、前記フレーム列内の閾下メッセージを自動的に検出するシステムであって、２つの文脈変化間の時間差を計算する手段と、測定された時間差をしきい値と比較する手段と、前記比較の成果に応答して警報を開始させる手段とを含むことを特徴とするシステム。[Procedure of Amendment] Article 184-8, Paragraph 1 of the Patent Act [Submission Date] December 29, 1998 (December 29, 1998) [Correction contents] The scope of the claims 1. A method of distinguishing between messages in a sequence of frames containing image information, The method wherein a first context change between a first frame and a second frame is detected, Detecting a second context change between a third frame and a fourth frame; Comparing the time interval between the second context change with a first threshold value and relying on the comparison; And displaying the message. 2. The method of claim 1, wherein the first context change and the second context change Relevant related data and data related to the source of the frame sequence are stored in a memory. A method characterized by being billiond. 3. The method of claim 1, wherein the first frame and the fourth frame are combined. A second message is displayed depending on whether a third context change is detected during A method comprising: 4. The method of claim 1, wherein the first context change is prior to the first frame. That is detected by measuring the energy difference between the second frame and the second frame. Features method. 5. The method of claim 1, wherein the second context change is the same as the second frame. That is detected by measuring the energy difference between the third frame. Features method. 6. The method according to claim 4 or 5, wherein the energy is applied to each frame point. And the value of the frame point in the first frame and the corresponding frame point in the second frame Calculate the difference between the values of, the square of the calculated difference, and all frame points Which is measured by forming the sum of the calculated squared values. How to sign. 7. The method of claim 1, wherein the first context change is a first displacement frame difference ( DFD), and is detected by measuring energy in the first frame. Using the measured energy to calculate the second frame from And the method characterized by the above. 8. The method of claim 1, wherein the second context change is a second displacement frame difference. (DFD), and is detected by measuring the energy in the third frame. Use the measured energy to calculate the fourth frame from the A method comprising: 9. The method of claim 7, wherein the energy in the displacement frame difference is reduced to a second Comparing with a threshold value and displaying a context change depending on the comparison. Way. Ten. 9. The method according to claim 8, wherein the energy within the displacement frame difference (FDF). Comparing the energy to a second threshold value and indicating a context change depending on the comparison A method characterized by the following. 11． The method according to any one of claims 7 to 10, wherein the displacement flange is provided. The energy in the frame difference (DFD) is calculated for each frame point in the displacement frame difference. Calculate the square of the value and form the sum of the calculated values for all frame points The method is characterized by being measured by: 12． The method according to any one of claims 7 to 10, wherein the displacement flange is provided. The energy in the frame difference (DFD) is calculated for each frame point in the displacement frame difference. Calculate the absolute value of the value and form the sum of the calculated values for all frame points A method characterized by being measured by: 13. The method of claim 1, wherein an I frame in the MPEF stream is detected. Wherein the first context change is indicated when performed. 14. The method of claim 1, wherein an I frame in the MPEF stream is detected. Wherein the second context change is indicated when performed. 15． The method of claim 1, wherein the second frame is a frame library. The fifth message stored in the first message and depending on the comparison the first message Displaying a page. 16． 3. The method of claim 2, wherein the first context change and the second context change are stored in the memory. A method characterized by storing a sequence of frames between context changes. 17． 17. The method according to claim 2, wherein a user checks the contents of the memory. A method characterized by being able to. 18． 2. The method of claim 1, wherein the second frame and the third frame are A method characterized by being in the same frame. 19. Means (807) for measuring a context change between two frames in the sequence of frames; , Means for initiating an alarm (805), and means for storing a frame sequence. A system for automatically detecting subthreshold messages in a sequence of frames, Means for calculating the time difference between context changes and comparing the measured time difference with a threshold Means, and means for initiating an alarm in response to the result of the comparison. System to do.

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ────────────────────────────────────────────────── ─── Continuation of front page (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FI, FR, GB, GR, IE, IT, L U, MC, NL, PT, SE), OA (BF, BJ, CF) , CG, CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AP (GH, KE, LS, MW, S D, SZ, UG, ZW), EA (AM, AZ, BY, KG) , KZ, MD, RU, TJ, TM), AL, AM, AT , AU, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES, F I, GB, GE, GH, HU, ID, IL, IS, JP , KE, KG, KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, M W, MX, NO, NZ, PL, PT, RO, RU, SD , SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, US, UZ, VN, YU, ZW

Claims

[Claims] 1. A method of distinguishing between messages in a sequence of frames containing image information, Detecting a first context change between a first frame and a second frame, and Displaying a page. 2. The method of claim 1, wherein the second frame between the third frame and the fourth frame. Detecting a context change and determining a time interval between the first context change and the second context change to a second One threshold value and displaying said first message in dependence on said comparison. And the method characterized by the above. 3. The method of claim 2, wherein the first context change and the second context change Relevant related data and data related to the source of the frame sequence are stored in a memory. A method characterized by being stored. 4. The method according to claim 2, wherein the first frame and the fourth frame are combined. A second message is displayed depending on whether a third context change is detected during A method comprising: 5. The method of claim 2, wherein the first context change is prior to the first frame. That is detected by measuring the energy difference between the second frame and the second frame. Features method. 6. The method of claim 2, wherein the second context change is prior to the second frame. That is detected by measuring the energy difference between the third frame. Features method. 7. The method according to any one of claims 5 and 6, wherein the energy is , For each frame point, the value of the frame point in the first frame and the second Calculating the difference between the value of the frame point in the frame and the value of the frame point The calculated squared difference and pass the calculated squared value over all frame points The method is characterized in that it is measured by summing 8. The method of claim 1, wherein the first context change is a first displacement frame difference ( DFD) is detected by measuring the energy in the Calculating the second frame from the first frame using energy. Features method. 9. The method of claim 2, wherein the second context change is a second displacement frame difference ( DFD) is detected by measuring the energy in the The energy used to calculate the fourth frame from the third frame. And the method characterized by the above. Ten. 9. The method of claim 8, wherein the energy in the displacement frame difference is reduced to a second. Comparing with a threshold value and displaying a context change depending on the comparison. Way. 11． 10. The method according to claim 9, wherein the energy within the displacement frame difference (FDF). Comparing the energy to a second threshold value and indicating a context change depending on the comparison A method characterized by the following. 12. The method according to any one of claims 8 to 11, wherein the displacement flange is provided. The energy in the frame difference (DFD) is calculated for each frame point in the displacement frame difference. By calculating the square of the value and summing the values calculated over each frame point Is measured. 13. The method according to any one of claims 8 to 11, wherein the displacement flange is provided. The energy in the frame difference (DFD) is calculated for each frame point in the displacement frame difference. Calculating the absolute value of the value and summing the values calculated over each frame point Thus, the method is characterized in that it is measured. 14. 2. The method of claim 1, wherein the first context change is in an MPEF stream. The method is characterized by being displayed by an I-frame. 15． 3. The method of claim 2, wherein the second context change is in an MPEF stream. The method is characterized by being displayed by an I-frame. 16． The method of claim 1, wherein the second frame is a frame library. The fifth message stored in the first message and depending on the comparison the first message Displaying a page. 17． 4. The method of claim 3, wherein the first context change and the second context change are stored in the memory. A method characterized by storing a sequence of frames between context changes. 18． 18. The method according to claim 3, wherein a user checks the contents of the memory. A method characterized by being able to. 19. 3. The method according to claim 2, wherein the second frame and the third frame are A method characterized by being in the same frame. 20. A system for automatically detecting subthreshold messages in a sequence of frames, comprising: Means (807) for measuring a context change between two frames in the sequence of frames; And a frame sequence storage unit (806). System. twenty one. 21. The system of claim 20, wherein said means for measuring context change comprises a frame. Means for measuring the energy in the frames (804) and the energy between the two frames Means for comparing the difference to a threshold value (808) and triggering an alarm depending on said comparison; (805).