JP2002513222A - インテリジェントビデオシステムにおけるマルチメディア分析 - Google Patents

インテリジェントビデオシステムにおけるマルチメディア分析

Info

Publication number
JP2002513222A
JP2002513222A JP2000546309A JP2000546309A JP2002513222A JP 2002513222 A JP2002513222 A JP 2002513222A JP 2000546309 A JP2000546309 A JP 2000546309A JP 2000546309 A JP2000546309 A JP 2000546309A JP 2002513222 A JP2002513222 A JP 2002513222A
Authority
JP
Japan
Prior art keywords
audio
analysis
data
video
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000546309A
Other languages
English (en)
Inventor
ヌナリー、パトリック・オー
マックコーマック、デビッド・ロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensormatic Electronics Corp
Original Assignee
Sensormatic Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensormatic Electronics Corp filed Critical Sensormatic Electronics Corp
Publication of JP2002513222A publication Critical patent/JP2002513222A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/08—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water
    • G08B21/086—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water by monitoring a perimeter outside the body of the water
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 柔軟なマルチメディア情報分析装置は、オーディオ(54)及びビデオ(52)の両方の情報を含むデータベース(50)を記憶する。また、そのデータベースにはオーディオ情報を分析するための複数の内容の分析アルゴリズムも記憶される。ユーザーは、マウスを操作してその分析アルゴリズムの中の１つを選択することができる。その選択されたアルゴリズムは、そのデータベース内のオーディオ情報を分析し、又はそのオーディオ情報が受信されたときに「ライブ」に基づいてそのオーディオ情報を分析するように用いられる。オーディオ分析アルゴリズムには、記憶されたビデオデータ又はライブ入力ビデオ流れに適用される移動イメージ内容分析アルゴリズムを前後に並べて加えることができる。

Description

【発明の詳細な説明】
【０００１】関連出願の相互参照 本願はともに１９９６年１０月３１日に出願された係属する先の米国特許出願
第０８／７４２，０１７号及び０８／７４１，９８２号の一部継続出願である。
それらの２つの先の出願は参考としてここに組み入れる。他の関連出願は、１９
９６年１０月３１日に出願された米国特許出願第０８／７２９，６２０号（現在
米国特許第５，８２２，５４２号）がある。
【０００２】発明の背景 上記の特許出願には、インテリジェントなビデオ情報管理性能を持つデジタル
ビデオレコーダーが開示されている。開示されているレコーダーの特徴の内の１
つの注目すべき特徴によると、レコーダーが、そのレコーダーがビデオ画像情報
流れの既定の特徴を検知できるようにする多数の異なるイメージの内容分析アル
ゴリズムに相当するプログラムソフトウエアを記憶する。「フィルター」または
「ツール」とも呼ぶこともできるそのイメージ内容分析アルゴリズムは、レコー
ダーのユーザーが選択でき、また、レコーダーの入力として到達するビデオ信号
流れに適用できるか（「ライブ分析」）、または、レコーダーに既に記憶されて
いるビデオデータ流れの特徴の検知を促進するように用いることができる（「ツ
ール利用の観察」）。
【０００３】本願発明の目的及び概要 本願発明の目的は、ライブ分析及びツール利用の観察の概念をオーディオ信号
流れに適用する点にある。
【０００４】 本願発明の別の目的は、進歩的な情報管理性能を持つ統合されたビデオ及びオ
ーディオ記録装置を提供する点にある。
【０００５】 本願発明の第１の観点によると、柔軟なマルチメディア情報分析装置が提供さ
れ、それは、マルチメディア情報データベースを記憶する第１の記憶性能であっ
て、データベースがイメージデータ及び音声データを含む第１の記憶性能と、デ
ータベース内のサウンドデータを分析するための複数のサウンドデータ内容分析
アルゴリズムを記憶する第２の記憶性能と、アルゴリズムの１つを選択するため
のユーザー操作の機構と、そのユーザー操作機構に応答して、そのユーザー操作
機構によって選択された１つのアルゴリズムにしたがって、データベース内のサ
ウンドデータを分析するための分析回路とを備える。本願発明に係る装置は、さ
らに、アナログサウンド信号の個々のシーケンスを発生する複数のマイクロホン
と、そのマイクロホンから発生されたアナログサウンド信号の個々のシーケンス
をデジタル化するとともに、サウンド信号のデジタル化されたシーケンスを第１
記憶性能に提供する回路とを備える。その装置は、さらに、複数のアイコン又は
英数字のラベルを表示する表示装置を含むことができ、各ラベルが、サウンドデ
ータを分析するためのそれぞれのアルゴリズムを表し、ユーザー操作可能な機構
が表示されたアイコン又は英数字のラベルの１つを選択するためのマウスまたは
他の表示インタフェース機構を含むことができる。記憶されているアルゴリズム
のそれぞれは、そのアルゴリズムによって分析されたサウンドデータの振幅レベ
ルまたはそのアルゴリズムによって分析されたサウンドデータの周波数特徴を検
出するように作動できる。
【０００６】 本願発明の第２の観点によると、オーディオデータを記憶及び引き出す方法が
提供される。それは、ある期間にわたって発生するサウンド信号を表すデータを
記憶する工程と、記憶されたデータによって表された所望のサウンドセグメント
を調査する際に用いられる調査アルゴリズムを選択する工程と、その選択された
調査アルゴリズムの実行を抑制するためのパラメータを設定する工程と、選択さ
れた調査アルゴリズム及び設定されたパラメータにしたがって記憶されたデータ
を調査する工程とを含む。
【０００７】 本願発明の第３の観点によると、フレキシブルなマルチメディア情報分析装置
が提供される。それは、少なくとも１つのシーケンスのサウンド信号を表すオー
ディオ情報を提供するためのオーディオ情報源と、オーディオ情報源によって提
供されるオーディオ情報を分析するための複数のアルゴリズムを記憶する記憶装
置と、アルゴリズムの１を選択するためのユーザー操作可能な機構と、そのユー
ザー操作可能な機構に応答して、オーディオ情報源によって提供されたオーディ
オ情報を受け取るとともに、ユーザー操作可能な機構によって選択された１つの
アルゴリズムにしたがってオーディオ情報源によって提供された受け取ったオー
ディオ情報を分析する分析回路とを含む。オーディオ情報源は、サウンド信号の
シーケンスまたは個別のシーケンスを発生する１又は２以上のマイクロホンと、
サウンド信号をデジタルオーディオデータに変換するアナログ／デジタル変換手
段とを含むことができる。
【０００８】 本願発明の第４の観点によると、マルチメディア情報分析方法が提供される。
それは、イメージのダイナミックシーケンスを表すアナログビデオ信号を受け取
る工程と、その受け取ったアナログビデオ信号をデジタル化して、イメージのダ
イナミックシーケンスを表すビデオデータフレームのシーケンスを形成する工程
と、既定のビデオデータ分析アルゴリズムを用いてビデオデータフレームのシー
ケンスを第１に分析して、その第１の分析の結果を表す第１分析データを発生す
る工程と、ビデオデータフレームのシーケンスをデータベースに記憶する工程と
、ビデオデータフレームの記憶されたシーケンスに関連して第１分析データをデ
ータベースに記憶する工程と、これまでの工程と同時に、オーディオサウンドの
シーケンスを表すアナログオーディオ信号を受け取る工程と、その受け取ったア
ナログオーディオ信号をデジタル化して可聴サウンドを表すオーディオデータの
シーケンスを形成する工程と、既定のオーディオデータ分析アルゴリズムを用い
てオーディオデータのシーケンスを第２に分析して、その第２の分析の結果を表
す第２分析データを発生する工程と、オーディオデータのシーケンスをデータベ
ースに記憶する工程と、オーディオデータの記憶されたシーケンスに関連して第
２分析データをデータベースに記憶する工程とを含む。
【０００９】 ここでの開示及び特許請求の範囲の目的のために、「ビデオデータフレーム」
及び「ビデオ信号フレーム」が「ビデオデータフィールド」及び「ビデオ信号フ
ィールド」とその逆も含むことを理解すべきである。
【００１０】 本願発明の第５の観点によると、ビデオ及びオーディオ情報を分析する装置が
提供される。それは、イメージのダイナミックシーケンスを表すアナログビデオ
信号を受け取る第１の受取り回路と、この第１受取り回路に接続されていて、ア
ナログビデオ信号をデジタル化してイメージのダイナミックシーケンスを表すビ
デオデータフレームのシーケンスを形成する第１のアナログ／デジタル変換回路
と、この第１のアナログ／デジタル変換回路に接続されていて、既定のビデオデ
ータ分析アルゴリズムを用いてビデオデータフレームのシーケンスを分析して第
１分析データを生成する第１分析回路と、第１アナログ／デジタル変換回路及び
第１分析回路に接続されていて、第１アナログ／デジタル変換回路によって形成
されたビデオデータフレームのシーケンス及び第１分析回路によって発生された
第１分析データを記憶する記憶装置と、可聴サウンドのシーケンスを表すアナロ
グオーディオ信号を受取る第２受取り手段と、第２の受取り回路と記憶装置と野
間に接続されていて、アナログオーディオ信号をデジタル化して可聴サウンドを
表すオーディオデータのシーケンスを形成する第２のアナログ／デジタル変換回
路であって、この第２のアナログ／デジタル変換回路によって形成されたオーデ
ィオデータのシーケンスが記憶装置に記憶される第２のアナログ／デジタル変換
回路と、この第２のアナログ／デジタル変換回路と記憶装置との間に接続されて
いて、既定のオーディオデータ分析アルゴリズムを用いてオーディオデータのシ
ーケンスを分析して第２分析データを生成し、それが記憶装置に記憶される第２
分析回路とを備える。
【００１１】 本願発明の第６の観点によると、マルチメディア情報を受け取ったときにそれ
を分析する装置が提供される。その装置は、ビデオ信号のシーケンスを発生する
少なくとも１つのビデオカメラと、オーディオ信号のシーケンスを発生する少な
くとも１つのマイクロホンと、少なくとも１つのビデオカメラ及び少なくとも１
つのマイクロホンに接続されていて、ビデオ信号及びオーディオ信号をそれぞれ
ビデオデータ及びオーディオデータに変換する変換回路と、その変換回路に接続
されていて、少なくとも１つのビデオ情報分析アルゴリズムをビデオ情報に適用
するとともに、少なくとも１つのオーディオ情報分析アルゴリズムをオーディオ
データに適用するための分析回路とを備える。
【００１２】 本願発明の第７の観点によると、オーディオ情報分析装置が提供される。それ
は、オーディオ情報を受け取る回路と、既定の分析アルゴリズムにしたがって受
け取ったオーディオ情報を分析する分析回路と、装置のユーザーが操作可能で、
分析アルゴリズムの実行を抑制するようにパラメータを設定する設定装置であっ
て、分析回路がこのパラメータ設定装置によって設定されたパラメータにしたが
って分析アルゴリズムを実行するために、このパラメータ設定装置に応答するパ
ラメータ設定装置とを備える。
【００１３】 本願発明の第８の観点によると、マルチメディア情報データベースを調査する
方法が提供される。それは、データベース内のオーディオ情報によって表された
それぞれの特徴を識別するために複数のアルゴリズムを記憶する工程と、記憶さ
れたアルゴリズムの内の２つを選択して第１の特徴及び第２の特徴をそれぞれ識
別する工程と、論理演算子を選択して２つの選択したアルゴリズムの論理組合せ
を形成する工程と、データベースを調査して２つの選択したアルゴリズムの論理
組合せを満足するオーディオデータシーケンスを識別する工程とを含む。
【００１４】 本願発明の第９の観点によると、マルチメディアデータ分析方法が提供される
。その方法は、ビデオデータの流れとオーディオデータの流れとを同時に受け取
る工程と、先の工程と同時に、第１分析アルゴリズムを、受け取ったビデオデー
タの流れに適用して第１の特徴がそのビデオデータの流れに存在するか否かを決
定する工程と、先の工程と同時に、第２分析アルゴリズムを、受け取ったオーデ
ィオデータの流れに適用して第２の特徴がそのオーディオデータの流れに存在す
るか否かを決定する工程と、第２の特徴がオーディオデータの流れに存在すると
決定したときに第１の特徴がビデオデータの流れに存在すると決定した場合に、
警報信号を発生する工程とを含む。本願発明のこの関点の特定の応用には、ビデ
オ及びオーディオの両方の監視を用いて窓の破壊を検知し、または、水泳プール
の水はね音を検知する工程を含めることができる。
【００１５】 本願発明の第１０の観点によると、ビデオ監視装置が提供される。その装置は
、ビデオ信号の流れを発生するビデオカメラと、そのビデオカメラに接続されて
いて、そのビデオ信号の流れを選択的に記憶する記憶装置と、アナログオーディ
オ信号の流れを発生するマイクロホンと、このマイクロホンに接続されていて、
アナログオーディオ信号の流れをオーディオデータ信号のシーケンスに変換する
アナログ／デジタル変換回路と、そのオーディオデータ信号のシーケンスを受け
取るとともに選択されたオーディオ情報分析アルゴリズムをオーディオデータ信
号のシーケンスに適用してアナログオーディオ信号の流れの既定の特徴を検出す
る分析回路とを備えていて、分析装置がアナログオーディオ信号の流れの既定の
特徴を検出したときのみに、記憶装置がビデオ信号の流れを記憶するために分析
回路に応答するモードで作動することができる。
【００１６】 本願発明の第１１の観点によると、オーディオ情報を分析する装置が提供され
る。その装置は、アナログオーディオ信号の流れを発生するマイクロホンと、こ
のマイクロホンに接続されていて、アナログ信号の流れをオーディオデータ信号
のシーケンスに変換するアナログ／デジタル変換回路と、このアナログ／デジタ
ル変換回路によって形成されたオーディオデータ信号のシーケンスを受け取ると
ともに、オーディオデータ信号の受け取ったシーケンスに関して第１のオーディ
オ情報内容分析アルゴリズムを実行し、さらに、その受け取ったオーディオデー
タ信号のシーケンスに関して、第１アルゴリズムとは異なる、第２のオーディオ
情報内容分析アルゴリズムも実行する分析回路とを備える。
【００１７】 本願発明の第１２の観点によると、ビデオ情報記憶装置が提供される。その装
置は、ビデオ成分およびオーディオ成分を含むテレビ放送信号を受信する回路と
、この受信回路に接続されていて、受信したテレビ放送信号をデジタルの形態で
選択的に記憶する記憶装置と、テレビ放送信号のオーディオ成分の内容を分析す
るモニタ回路であって、記憶装置がこのモニタ回路に応答して、このモニタ回路
がテレビ放送信号のオーディオ成分の既定の特性を検出したときのみにそのテレ
ビ放送信号を記憶するようにするモニタ回路とを備える。受信回路は、無線放送
信号を受信するためのアンテナに接続されたチューナーまたはケーブルテレビで
用いられている従来のセットトップボックスを備えてもよい。テレビ放送信号は
スポーツ関係のイベントを表示することができ、テレビ放送信号のオーディオ成
分の既定の特性は、放送信号のオーディオ成分の視聴ノイズ成分の増加とするこ
とができる。テレビ放送信号はクローズドキャプション成分も含むことができ、
その成分はモニタ回路によってモニタされて、そのクローズドキャプション成分
内の既定の特性ストリングが検出されたときのみに、その放送テレビ信号を記憶
するように記憶装置が起動させられる。
【００１８】 本願発明の別の特徴および観点は添付図面および望ましい実施例の詳細な説明
から明らかになるであろう。
【００１９】望ましい実施例の説明 図１は、以下に説明する、マルチメディアおよび記憶装置を持つ、本願発明に
係る、接続された入力および出力装置の構成を、ブロック図の形態で示す。分析
および記憶装置自体は参照番号５０によって示されている。
【００２０】 図１からわかるように、１または２以上のビデオカメラ５２が接続されていて
分析／記憶装置５０への入力として別々のビデオ信号流れを提供する。その分析
／記憶装置の望ましい実施例は、１６のビデオ信号流れを同時に受信するための
入力ポートを含む。また、分析/記憶装置５０には、１または２以上のマイクロ
ホン５４も接続されており、それらは、分析／記憶装置５０に、入力信号として
、個々のオーディオ信号流れを提供する。マイクロホン５４はビデオカメラ５２
から分離するように示されているが、少なくとも２，３のマイクロホン５４をビ
デオカメラに物理的に組み込むこともできることは予定している。また、分析/
記憶ユニット５０にはビデオセキュリティー装置において一般的に見られるよう
な他の構成要素も接続することができ、それらには、表示モニタ５６、機械的に
起動可能なアラームセンサ５８およびアラーム発声装置６０が含まれる。また、
分析／記憶装置５０には少なくとも１つの拡声器６２も接続される。
【００２１】 ビデオカメラ５２によってそれぞれ発生されて分析／記憶装置５０に受信され
たビデオ信号の流れは、表示のために装置５０からモニタ５６に選択的に送信さ
れる。その信号は、フルスクリーンを含むさまざまなフォーマットで、またはイ
メージ面の一部のみを取り上げるウインドウ内で表示することができる。複数の
表示ウインドウをモニタ５６の１つまたは両方に形成して、複数のビデオ流れを
単一のモニタに同時に表示することができる。モニタは公知のＮＴＳＣまたはＳ
ＶＧＡのような従来の種類のものでよい。
【００２２】 アラームセンサ５８の望ましくは従来のもので良く、扉、窓および表示ケース
等の開閉のような事象を検出する。そのような事象が検出されたときには、対象
となるアラームセンサがその事象を表す信号を発生し、その結果発生された信号
は分析／記憶装置５０に供給される。
【００２３】 拡声器６２は、分析／記憶装置５０から出力されたオーディオ信号流れによっ
て選択的に駆動されて連続する可聴音を発生する。
【００２４】 アラーム発声装置６０は、分析／記憶装置から出力されたアラーム信号によっ
て起動されて警報状態の聴覚的及び／または視覚的な指示を発声する。発声装置
６０を駆動するアラーム信号は１または２以上のアラームセンサ５８から分析／
記憶装置５０を経由して循環することができ、又は分析／記憶装置５０自体で発
声することができる。その警報状態は人間のオペレータによって表明することが
でき、又は、マイクロホン５４およびビデオカメラ５２によって提供される１ま
たは２以上の入力オーディオおよびビデ信号の流れに関して、分析／記憶装置５
０によって実行されるオーディオ、ビデオまたはマルチメディア分析工程の結果
とすることもできる。
【００２５】 図１に示す入力および出力の構成要素はそれらに限定されるものではなく、例
えば、マウス、キーボードおよび／またはカメラ制御装置のようなユーザー操作
の入力装置を分析／記憶装置５０にインタフェース接続することができる。
【００２６】 図１の構成部品の構成の他の変形例も意図するものである。例えば、モニタの
数を１に減少し、又は２より大きな数に増加することもできる。プリンタのよう
な他の周辺装置も存在することができ、また、分析／記憶装置５０内に組み込ま
れている記憶装置に加えて、付加的なデータ記憶装置も存在することができる。
図１の構成要素の構成には、分析／記憶装置５０とのインタフェースを行ってい
る販売時除外モニタシステム（ときには「ＰＯＳ／ＥＭ（商標）」システムとし
て特定される）を含めることができる。分析／記憶装置５０とインタフェース接
続することができるデータの他のソースには、例外なしの販売時点モニタ、磁気
ストライプカードリーダーまたは自動化された窓口係装置を含めることができる
。さらに、分析／記憶装置５０は、ホストコンピュータに接続され、および／ま
たは外部のコンピュータ装置とダイアルアップ接続するための機器に接続された
、他の分析／記憶装置とネットワーク接続することができる。
【００２７】 図２は、マルチメディア分析／記憶装置５０の斜視図である。
【００２８】 分析／記憶ユニット５０の内部構成要素は、一体成形された樹脂製ハウジング
６４内に含まれている。わかるように、内部構成要素は制御および信号処理回路
のみならず多数のデータ記録装置を備える。例えば、分析／記憶ユニット５０内
には、望ましくは、磁気タイプの２または３以上の固定されたまたは「ハード」
データ記録ドライブと取り外し可能なデータ記憶媒体用の少なくとも１つのドラ
イブとが組み込まれる。望ましい実施例には、フロッピィーディスクドライブお
よびデジタルオーディオテープ（ＤＡＴ）ドライブの両方が含まれる。フロッピ
ードライブはソフトウエアプログラムをロードするために用いることができ、Ｄ
ＡＴドライブは内部ハードドライブからの取り出した、マルチメディアデータを
記録するために用いて、標準的なＤＡＴフォーマットにしたがってフォーマット
された磁気テープへ永久的またはアーカイブ記憶することができる。取り外し可
能な媒体（図示せず）のドライブへのアクセスは、ハウジング６４の前面にある
ヒンジ取り付けされたダストシールド６６を経由して行われる。
【００２９】 前面６８には、フロントパネル７０も設けられており、その上には複数のスイ
ッチが取り付けられている。それらのスイッチによって、ユーザーは、記録のた
めに入力カメラの選択、表示されたビデオ信号のためのフォーマットの設定、並
びにビデオおよびオーディオの再生操作の制御のような装置のさまざまな機能を
制御することができる。
【００３０】 本願発明の技術にしたがって、変更およびプログラムすることができる装置の
実施例は、最近、本願発明の譲受人のSensormatic Electronics Corporation、B
oca Raton、Floridaによる商標「INTELLEX」が付されて販売されている。
【００３１】 分析／記憶装置の内部の構成要素の概略を図３を参照しながら説明する。図３
から明らかなように、主要な構成要素には、マザーボード７２およびフロントエ
ンド処理／圧縮電子機器７４が含まれる。マザーボード７２は分析／記憶装置用
に全体的なインテリジェンスおよび制御を提供する。望ましくは、マザーボード
７２はパーソナルコンピュータマザーボード用の従来のアーキテクチャにしたが
って構成される。マザーボードの中央処理ユニットは、望ましくは、従来のマイ
クロプロセッサ７６によって組み立てられており、それは、例えば、公知のマイ
クロプロセッサのペンティアム（Pentium）ラインのモデルの１つとすることが
できる。
【００３２】 マザーボード７２は、上記のハードディスクドライブ、ＤＡＴドライブおよび
フロッピーディスクドライブのようなデータ記憶装置を制御しさらにそれらとデ
ータの交換を行う。マザーボード７２は、フロントパネル７０（図２）を経由し
て、又はマウス７８（図３）および／またはキーボード（図示せず）のような従
来のユーザー入力装置を経由して入力することができるユーザー制御信号を受け
取るのに適している。また、マザーボード７２は、フロントエンド処理／圧縮電
子機器７４とデータの交換を行うとともに、そのフロントエンド電子機器７４か
らの入力デジタルオーディオおよびビデオ信号を受け取る。さらに、マザーボー
ド７２は、モニタまたはスピーカ（図３に示さず）を駆動するためにビデオおよ
びオーディオ出力信号を提供する。マザーボード７２は、従来の特徴的なもの、
例えば、プログラムメモリ、作動メモリ、データ通信入力および出力ポート、デ
ータ信号バス接続、記録媒体ドライブ用インタフェース、ビデオ入力および出力
インタフェースポートならびにオーディオ出力インタフェースポートを含むとい
う点は理解すべきである。
【００３３】 フロントエンド電子機器７４は、バックパネル８０を経由して受け取った入力
ビデオおよびオーディオ信号に関する信号処理を提供する。フロントエンド電気
機器７４のビデオ信号処理機能の点におけるそのフロントエンド電子機器７４の
構成は、上記のＩＮＴＥＬＬＥＸビデオレコーダーに組み込まれているものと同
様なもの、および／または上記の親出願に開示されているようなものとすること
ができる。入力オーディオ信号処理に関するフロントエンド電子機器７４の特徴
の概略を図４に示す。多数の入力オーディオ信号流れ（例えば、８チャンネルに
対応することができる）は、バックパネル（図３）で受け取られ、次に、入力と
してオーディオ入力マルチプレクサ８２に提供される。マザーボードからまたは
フロントエンド電子機器に含まれているコントローラ（図示せず）から生じる制
御信号に応答して、オーディオ入力マルチプレクサ（ＭＵＸ）８２（図４）は、
順に、連続して、入力アナログオーディオ信号の各々を選択してアナログ／デジ
タル変換回路８４に出力する。その結果としての各入力流れのための信号は、オ
ーディオデータバッファ８６のそれぞれの部分に記憶される。（各入力オーディ
オ流れ用の個別のＡ／Ｄ及びバッファリングチャンネルを各流れの中断しない記
録のために提供することも予定するものである。）
【００３４】 バッファ８６に一時的に記憶されたオーディオデータは、分析回路８８および
圧縮回路９０にパラレルで供給される。分析回路８８は、マザーボードから受け
取った制御および／またはプログラム信号に応答して、内容分析アルゴリズムを
実行して入力オーディオ信号の予め定めた特徴を検出する。その分析の結果はマ
ザーボードに報告される。
【００３５】 圧縮回路９０は、データ圧縮アルゴリズムを入力オーディオデータ流れに適用
する。オーディオデータ圧縮は、たとえば、従来からのオーディオデータ圧縮ア
ルゴリズムにしたがって実行することができる。その結果得られた圧縮済みデー
タは次にハードディスクドライブに記憶するためにマザーボードに送られる。
【００３６】 望ましくは、分析および圧縮機能は、デジタル信号処理チップごとに実行され
、それは入力ビデオ信号内容分析および圧縮に関連してそれぞれ用いることもで
きる。
【００３７】 図５は、圧縮ビデオおよびオーディオデータが分析／記憶装置の１または２以
上のハードディスクドライブに記憶されるフォーマットを示す。図５から明らか
なように、ハードディスクに記憶されるデータは、概略９２で示すような圧縮ビ
デオおよびオーディオデータファイルと、概略９４で示すようなインデックスデ
ータとを含む。ビデオデータは、分析／記憶装置に接続されかつ記録用に現在選
択されたすべてのカメラからの入力流れに対応する。装置の望ましい実施例は、
最大１６カメラによって発生されるビデオ信号流れを同時に記録することを支援
する。オーディオデータは、分析／記憶装置に接続されかつ現在記録のために選
択されたすべてのマイクロホンによって発生されるオーディオ信号の入力流れに
対応する。ビデオデータおよびオーディオデータの両方ともがオーディオ／ビデ
オインターリーブ（ＡＶＩ）フォーマットに記憶される。
【００３８】 入力ビデオおよびオーディオ信号の流れに対応するデータは、固定された長さ
のファイル９６のフォームに一緒に記憶およびインターリーブされ、その内のＰ
ファイル（Ｐは正の整数である）を、それがハードディスクに記録されているよ
うに図５に示す。各ファイル９６の望ましい寸法は、約２０メガバイトである。
ビデオおよびオーディオデータの流れを分割することによって、ハードディスク
上でデータのドロップアウトまたは改ざんによるデータの消失を排除することが
できる。
【００３９】 データファイルはカードリーダー、ＡＴＭ端末またはＰＯＳ端末のような付加
的なソースからのテキストおよび／または英数字データも含むことができる。
【００４０】 準永久ビデオおよびオーディオデータファイル９６に加えて、ハードディスク
上に、そのディスクの予備アラームバッファセクションに保持されているビデオ
およびオーディオデータも記憶される。その予備アラームバッファ９８は、望ま
しくは、カメラおよびマイクロホンが永久記録のために選択されたか否かにかか
わらず、すべてのカメラからの入力ビデオ信号に相当するビデオデータと、すべ
てのマイクロホンに対応するオーディオデータとを記憶する。予備アラームバッ
ファ９６は、望ましくは、ハードディスク上でリングバッファとして実行され、
例えば、過去の６０秒に相当する期間にわたる、フロントエンド電子機器で捕捉
されたすべてのビデオフィールドと、すべての入力オーディオ流れのセグメント
とを記憶することができる。
【００４１】 ここでハードディスク上のインデックスデータ９４に戻ると、すべてのファイ
ル９２にわたる全体的な索引付けを参照符号１００に示す。各Ｐファイル９６の
ために、開始日時および終了日時が提供される。加えて、ファイル明細データは
、１０２に示されており、また、ビデオデータの各フィールドごとに又はオーデ
ィオデータの各セグメントごとに、フィールドまたはオーディオセグメントが捕
捉されが日時と、フィールドまたはオーディオセグメントを捕捉したカメラ又は
マイクロホンと、事象関連情報と、フィールドまたはオーディオセグメントを発
見することができるファイル内のオフセットとを示す。参照番号１０４に示すよ
うに、特定のフィールドまたはオーディオセグメントに与えられる事象情報は、
フィールドまたはオーディオセグメントが捕捉された時点での１より多い種類の
事象の発生を表すデータを含むことができる。事象の検出は、図１に関連して説
明したアラームセンサ５８を通じて、および／またはビデオ若しくはオーディオ
信号流れの特性の分析によって実行することができる。その分析は、信号流れが
受信された時点で行うことができるか、又はハードディスクから再生された信号
流れに適用することができる。事象を検出するために用いられたオーディオまた
はビデオ信号流れの分析アルゴリズムは、事象が起こっていることを検出するこ
とに加えて確実さの係数値を戻すことができる。その場合には、事象が検出され
たことを示すデータに、参照番号１０６で示すように、事象検出アルゴリズムに
よって提供される確実性の係数を付けることができる。
【００４２】 図６は、ユーザーが見つけたいオーディオセグメントを発見するためにマルチ
メディアデータベースをサーチすることに関連してマザーボードＣＰＵによって
実行される処理を示す。サーチ操作が、ユーザーによって（以下に説明するよう
に、グラフィカルユーザーインタフェースとの会話を通じて）開始されると、こ
の装置は、ユーザーからそのユーザーに関心がオーディオ情報に関する日付、時
間およびソースマイクロホンを表すサーチパラメータを得る（１２０）。さらに
、その装置は、ユーザーから、サーチがサウンドデータ分析アルゴリズム（「ツ
ール」とも呼ぶ）を使用するためのものか否かに関する指示を得る。ステップ１
２２は、サウンドデータ分析利用のサーチが要求されたか否かを決定する決定ブ
ロックである。その場合には、ユーザーは、実行すべきサウンドデータ分析アル
ゴリズムの種類と、適切であれば、サウンドデータ分析アルゴリズムの実行を抑
制するための１または２以上のパラメータとを表す入力を提供することができる
（ステップ１２４）。この情報に基づいて、サウンドデータ分析アルゴリズムが
、サーチの間に取り出されるオーディオデータに関して作動するように作られる
（ステップ１２６）。ステップ１２６に続くのは（サウンドデータ分析が要求さ
れない場合には、ステップ１２２の直後には）、ステップ１２８であり、そこで
は、データベースが調査されてユーザーによって要求されたオーディオデータが
取り出される。サウンドデータ分析が要求された場合には、分析アルゴリズムが
取り出されたオーディオデータに適用される。いずれの場合でも、サーチの出力
は報告される（ステップ１３０）。
【００４３】 ここで、図７を参照して、図６のステップ１２８（「サーチの実行」）として
示されているプロセスを詳細に説明する。ステップ１２８は、最初、ユーザーに
よって特定されたサーチ基準に合致する１または２以上の日時ファイルのリスト
を構築することを含む（図７のステップ１３４）。そのリストの各ファイルごと
に、ステップ１３６で示すような以下のステップが実行される。日付、時間およ
びマイクロホンの記載事項のリストが各ファイルごとに発生され（ステップ１３
８）、次に、サウンドデータ分析アルゴリズムが適用されるか否かに関する決定
が行われる（ステップ１４０）。そうでなければ、つまり、ユーザーがサウンド
データ分析を要求しなかった場合には、リストは単に報告のために提出される（
ステップ１４２）。
【００４４】 しかし、サウンドデータ分析利用のサーチが要求されている場合には、ステッ
プ１３８で編集されたリストの各記載事項ごとに、ステップ１４４で示されてい
るような以下の手続が続く。まず、サウンドデータ分析アルゴリズムがリセット
され（ステップ１４６）、記載事項に対応するオーディオデータセグメントのシ
ーケンスが、選択されたサウンドデータ分析アルゴリズムを用いて分析される（
ステップ１４８）。次に、ステップ１５０において、サウンドデータセグメント
が、サウンドデータ分析アルゴリズムによって検出されたような特性を示すか否
かが決定される。そうであれば、そのシーケンスは、肯定的な結果リストに加え
られ（ステップ１５２）、そのファイルに関するインデックス情報が事象の検出
を示すように更新される（ステップ１５４）。つまり、図５の１０４で示す事象
関連データが、事象の検出のみならず事象検出決定に適用できる確実性係数を示
すように更新される。対象の特性がサウンドデータセグメントのシーケンスに存
在することがわからない場合には、そのシーケンスは結果リストには追加されず
、インデックス情報は更新されない。どの場合でも、ステップ１５４に続いて、
又はステップ１５０に直接続いて、対象の特性が検出されない場合には、リスト
にさらに記載事項が存在するか否かが決定される（ステップ１５６）。そうでな
ければ、イメージ分析の結果として得られた結果が記録される（ステップ１４２
）。しかし、さらに記載事項が存在する場合には、次の記載事項が読み出され（
ステップ１５８）、次の記載事項に関してステップ１４４から始まるループが実
行される。
【００４５】 図８は、サウンドデータ分析アルゴリズムつまり「ツール」の選択およびセッ
トアップに含まれる処理を示す。ステップ１６０に示されているように、最初に
、ユーザーに、ユーザーが選択のために利用可能な多数のツール（分析アルゴリ
ズム）のスクリーン表示が提示される。例えば、利用可能な各ツールに対応する
アイコンがスクリーン上に表示される。または、名前で利用可能なツールをリス
トするメニューを表示することもできる。ツールメニューを示すスクリーン表示
の例を図２２（ツール利用サーチ）及び図２３（「ライブツール」の先行スケジ
ュール、つまり、入力オーディオ流れが受信されたときのその分析）に提供する
。それらのスクリーン表示のより詳細な説明は以下に行う。
【００４６】 ステップ１６０に続くのはステップ１６２で、そこでは、ユーザーがツールキ
ットからツールを選択したか否かが決定される。そうである場合には、どのツー
ルが選択されたかを示すように（ステップ１６４）、新たなスクリーンが発生さ
れ、または、選択スクリーンが変えられる。次に（ステップ１６６）、ユーザー
が選択したツールの利用を開始することを望んでいるのか否かが決定される。そ
うでなければ、プロセスはステップ１６０まで戻る。しかし、ユーザーがツール
の利用を開始することを望む場合には、ステップ１６８が続き、そこでは、ユー
ザーが、マイクロホンの番号または名前によって、選択されたツールが適用され
るオーディオ信号の流れのソース（源）を示す。次に（ステップ１７０で示され
るような）ループが続き、それは、選択されたツールに関連して各パラメータに
適用される。そのループはステップ１７２乃至１７６から作られる。ステップ１
７２では、パラメータに関してユーザーが選択できるオプションがユーザーに示
される。ステップ１７４では、所望のオプションに関するユーザーの入力が受け
取られ、ステップ１７６でユーザーによって提供されたパラメータ設定がサウン
ドデータ分析プロセスに関連するデータに変換される。
【００４７】 各パラメータに関してツールパラメータのループが実行された後に、ステップ
１７８が続き、そこでは、問題のツールがライブオーディオデータまたは再生オ
ーディオデータに適用されるか否かが決定される。ライブオーディオデータが選
択されたツールによって分析される場合には、適切なコマンドメッセージまたは
一組のコマンドメッセージが発生されて（ステップ１８０）、「システムディレ
クター」ソフトウエアモジュールを経由してフロントエンド電子機器に伝達され
る（ステップ１８２）。親出願からわかるように、「システムディレクター」ソ
フトウエアモジュールはマザーボード（ＣＰＵ）からまたはそれに送られるメッ
セージに関してクリアリングハウス（情報センター）機能を実行する。
【００４８】 一方、選択されたアルゴリズムが再生されたオーディオ信号に適用される場合
には、マザーボードＣＰＵのためのサウンドデータ分析ソフトウエアコンポーネ
ントがロードされ（ステップ１８４）、選択されたアルゴリズムおよびパラメー
タを表す適切なコマンドメッセージがシステムディレクタソフトウエアのコンポ
ーネントを経由して送られる（ステップ１８６）。
【００４９】 ここで、パラメータ設定の例を説明する。第１の例はノイズレベル検出ツール
に関し、それに関する図が図９Ａ及び図１９に描かれている。
【００５０】 「ノイズツール」の目的は、存在すべきでない場所での音の存在（例えば、部
屋の中では動きの音はないと予想される）、または、音が存在すべき場所での音
の不存在（例えば、発電機又はエアコンのような機械的機器の近くの静かな音の
レベルは連続して作動していると思われる）を検出することにある。
【００５１】 図１９はノイズツールが選択されたときにユーザーに提示することができる種
類のスクリーンの表示である。図９Ａは、しきい値設定に関連して実行されるプ
ロセスを示す。図９Ａにおいて、最初に、ステップ１９０があり、それは、図９
に１９２で示す「スライドバー」の表示を提供する。そのスライドバー１９２は
従来のグラフィカルユーザーインタフェース要素に似ており、パラメータに関し
てユーザーの入力を提供するためにマウス制御のカーソル（図示せず）によって
起動することができるということを認識するであろう。ノイズツールの場合には
、設定すべきパラメータは、サウンドレベルしきい値であり、それは、分析され
たサウンドデータシーケンスが、「非常にうるさい（Too Loud）」又は「非常に
静か（Too Quiet）」という大きさのレベルを表すか否かを決定する分析アルゴ
リズムのために用いられる。
【００５２】 再度図９Ａを参照すると、ステップ１９０の後には、決定ブロック１９４があ
り、そこでは、ユーザーがしきい値パラメータの設定を変えるためにスライドバ
ーを作動したか否かが決定される。そうであれば、新たな設定がグラフィカルユ
ーザーインタフェースを介して読み取られて（ステップ１９６）、その結果のデ
ータがオーディオ信号の大きさ（振幅）のレベルを示すデータに変換される（ス
テップ１９８）。次に分析／記憶装置がマイクロホン６２（図１）を駆動してユ
ーザーにそのユーザーが選択したしきい値レベルの可聴の目安を提供する（ステ
ップ２００）。ステップ２０２に示すように、図９Ａのプロセスは、ツールのセ
ットアップが完了したことをユーザーが示すまでユーザーがしきい値レベルを変
更できるように継続する。その時点で、しきい値レベルは保存される（ステップ
２０４）。
【００５３】 図９Ｂは、感度パラメータがサウンドデータ分析アルゴリズムの設定に関連し
て調整されるプロセスを示しており、そのアルゴリズムでは、分析すべきサウン
ドデータが周波数分布テンプレートと比較される。その種の分析アルゴリズムの
例を図２０及び図２１に関連して以下に説明する。図９Ｂのプロセスはステップ
２０６で始まり、そこでは、図２０及び図２１において２０８で示すようなスラ
イドバーユーザーに提示される。図９Ｂを続けて説明すると、次に、ステップ２
１０において、ユーザーが感度パラメータを変えるためにスライドバーを操作し
たか否かが決定される。「感度」は、分析される信号流れの周波数分布が適用さ
れるツール用の関連するテンプレートと似ている程度を表すということを理解す
べきである。そうであれば、グラフィカルユーザーインタフェースによって提供
される設定データが得られ（ステップ２１２）、次に、ツールセットアップが完
了したことをユーザーが示したか否かが決定される（ステップ２１４）。そうで
なければ、ユーザーは再度自由に感度設定を変更することができる。他の場合に
は、設定データは、事象が現れた場合に分析されるオーディオデータ流れが関連
する周波数テンプレートに対して類似する程度を確定するための周波数スペース
に対応するデータに変換される（ステップ２１６）。次に感度パラメータが記憶
される（ステップ２１８）。
【００５４】 ここで、図１９及び図１０Ａを参照しながら、「ノイズツール」の別の観点を
説明する。もう一度図１９を参照すると、スライドバー１９２によってユーザー
がサウンドの大きさのしきい値レベルをセットすることができるということが思
い出されるであろう。カーソル操作の指示器２２０及び２２２は、それぞれ、ツ
ールがしきい値より上又は下のサウンドレベルを検出するためのものであること
をユーザーが示すことができるように提供される。図１９に示す例では、「非常
にうるさい（Too Loud）」指示器２２０は、ツールがしきい値を越えた大きさの
レベルを検出するということを示すように描かれている。カーソル操作のボタン
２２４によって、ユーザーは、セットアップ機能が完了したことと、そのツール
が選択したオーディオ流れに適用されるようになることを示すことができる。カ
ーソル操作のボタン２２６によってユーザーは、分析ツールを適用することなく
セットアップスクリーンから出ることができ、ブタン２２８は「ヘルプ」機能に
アクセスすることができる。
【００５５】 図１０Ａは、ノイズツールの作動を示す。最初に適用するしきい値レベルを得
る（ステップ２３０）。次に分析すべきオーディオデータのシーケンスを、選択
されたマイクロホンから発生された最新の入力流れとしてか、またはハードディ
スクから再生されたオーディオデータの流れとしてかのいずれかとして受け取る
。次に、分析されるオーディオデータ流れの大きさ（振幅）のレベルが計算され
て（ステップ２３４）、その計算された大きさレベルがしきい値と比較される（
ステップ２３６）。その比較に基づいて、ステップ２３８において、「事象」が
起こったか否か、つまり、ノイズツールによって検出すべき特徴が存在するか否
かが決定される。そうであれば、事象の内容に関連する「確実性係数」が計算さ
れる（ステップ２４０）。例えば、分析されたオーディオデータ流れの振幅レベ
ルがしきい値レベルに近い場合（ただし、検出すべきしきい値レベルの片側で）
には、相対的に小さな確実性係数が発生される。しかし、分析された流れの振幅
レベルがしきい値からかなり離れている場合には、高い確実性の係数が発生され
る。次にステップ２４２において事象の発生と確実性係数とが報告される。
【００５６】 ステップ２３８において、事象の発生が発見されなかった場合には、確実性係
数の計算及び事象の報告は行われない。
【００５７】 図２０及び図２１は、分析すべきオーディオデータ流れの中の周波数分布特徴
を検出する分析ツールのセットアップに関連して提供されるスクリーン表示であ
る。
【００５８】 図２０は、人間の声が、分析すべきオーディオ信号流れに存在するか否かを検
出するための「ボイスツール」に関する。カーソル操作の指示器が提供され、そ
れによりユーザーが検出のために以下の特性のいずれでも選択することができる
。つまり、すべての声、大人のみの声、男性又は女性か否か、大人の男性のみの
声、大人の女性のみの声、子供のみの声、及び叫び声のみである。それらの分類
の１つを選択すると、検出すべき声の種類の代表的な特性を表す周波数分布プロ
フィール又はテンプレートの適当な配列を選択することになる。スライドバー２
０８によってユーザーが設定できる「感度」パラメータは、事象が現れたときの
分析すべきオーディオデータと選択された周波数プロフィールの組の中の１つの
プロフィールとの間の相互関係の程度を設定する。
【００５９】 図２１は、ユーザーが、オーディオデータスクリーンを周波数分布テンプレー
トと比較するほかの分析ツールの中から選択できるようにするスクリーン表示で
ある。図２１に提示された選択の中には、「バン、ドスン、ドタンの打音等のBa
ng」音、水はね音又はガラスが割れる音をそれぞれ検出するツールがある。また
、ユーザーは、フロッピーを介して分析／記憶装置に入力されるか、またはハー
ドディスクから再生されたサウンドデータを分析することによって得ることので
きる別のテンプレートを設定することができる。例えば、ユーザーは、犬の吠え
る声から抽出される周波数テンプレートを加えるように選択することができる。
上記のとおり、公表する事象にのために要求される相関関係の程度はスライドバ
ー２０８を介して調節することができる。
【００６０】 図１０Ｂは、周波数テンプレート利用のオーディオ分析ツールの一般化したケ
ースを示す。図１０Ｂのプロセスは、ステップ２５０から開始され、分析に用い
られる周波数テンプレートの抽出がされる。次に、オーディオデータ流れを受け
取ったときに（ステップ２５２）、その周波数分布プロフィールが計算される（
ステップ２５４）。例えば、高速フーリエ変換（ＦＦＴ）をそのオーディオデー
タ流れに適用することができる。次に、その計算されたプロフィールをテンプレ
ートと比較する（ステップ２５６）。次に、ステップ２５８において、計算され
た周波数プロフィールが事象を公表するほど十分にテンプレートに似ているか否
かが決定される。そうであれば、類似性を示す確実性係数が計算され（ステップ
２６０）、その事象及び確実性係数が報告される（ステップ２６２）。
【００６１】 図１１、１２及び１３は、分析／記憶装置の所定の操作を、「ライブ」入力オ
ーディオ信号流れを分析することによって得られる結果によってトリガすること
ができるようにする方法を示す。
【００６２】 図１１においては、対象の特徴となるもののが入力オーディオ信号流れにおい
て検出されたときには（ステップ２６４）、分析／記憶装置が、追加の以前に記
憶された分析アルゴリズムとそのアルゴリズムのための関連する前もって記憶さ
れたパラメータとを引き出すように処理を進める（ステップ２６６）。その引き
出した分析アルゴリズムは次に指示とともにフロントエンド電子機器７４（図３
）に送られてその引き出したアルゴリズムを以前に決定した入力信号流れに適用
する。それは、指定したカメラによって発生されたビデオ流れ、または、ステッ
プ２６４においてモニタされたものとは異なるマイクロホンによって発生された
オーディオ流れでもよい。別の例としては、その引き出した分析ツールは、ステ
ップ２６４で適用されたものとは異なるオーディオツールとすることができ、フ
ロントエンド電子機器への指示は、追加のツールをステップ２６４でモニタされ
た同一の流れに適用することでも良い。
【００６３】 図１２に示すプロセスでは、オーディオ流れにおける対象となるものを検出す
ると、分析／記憶装置が、そうでなければ記憶されていないビデオ信号流れを記
憶する（ステップ２７２）。例えば、オーディオ流れにおける対象となるものを
検出すると、分析／記憶装置が、この装置に接続されたカメラの状態を「停止状
態」から「記録状態」に変え、それにより、カメラからのフィールドが記憶のた
めに選択されたビデオ信号フィールドのシーケンスに加えられる。別な例として
は、予備アラームバッファに記憶されていただけのビデオ信号フィールドがハー
ドディスクの「永久的」記憶部分に移される。
【００６４】 図１３は、入力ビデオ流れの特定の特性が検出されたときに入力オーディオ流
れの特定の特性が検出された場合に警報事象が表されるプロセスを示す。ステッ
プ２７４は、ビデオ流れの既定の特性の検出を表し、ステップ２７６がオーディ
オ流れの既定の特性の検出を表す。ビデオツール及びオーディオツールのそれぞ
れの結果のその組合せの結果は、ステップ２７８で示すように、警報事象の公表
である。
【００６５】 図２４及び図２５は、図１３のプロセスのように、「協働する」ビデオ及びオ
ーディオツールの例を示す。図２４では、ビデオカメラ５２がスイミングプール
２８２の水面２８０の像を捕捉するように配置されかつ指向されている。マイク
ロホン５４は、そのスイミングプールの近くに配置されている。カメラ５２の出
力に適用されるビデオ分析ツールが、プールに落ちた大きな寸法の物体によって
生じるようなかなりの動きを検出するようにセットアップされている。マイクロ
ホン５４の出力に適用されるオーディオ分析ツールは、結果的なオーディオ信号
データの周波数プロフィールをかなりの水飛沫の音を表すテンプレートと比較す
る。２つの分析ツールは、子供又は大きなものがプール２８２に飛び込んだり落
ちたりしたときに、アラームをトリガする。両方のツールを同時に用いることに
よって、プールの水面での反射、風によるさざ波等の結果のようにビデオツール
のみによってトリガされるような誤警報の可能性をかなり小さくする。
【００６６】 図２５は、ガラス窓２８４をモニタ（監視）するように配置されたカメラ５２
及びマイクロホン５４を示す。カメラの出力は、窓ガラスの破損・破壊を示すよ
うな動きを検するするために分析される。同様に、マイクロホンの出力に適用さ
れるオーディオツールは、オーディオデータ流れの周波数プロフィールとガラス
の破損の音に相当するテンプレートとの比較を生じさせる。したがって、図２５
におけるカメラ及びマイクロホンは窓ガラス２８４の破損を検出するために協働
する。両方のツールを同時に用いると、窓の外側での反射及び動きをビデオツー
ル検出すること自体から生じることがある誤警報又は、窓ガラス以外のガラスの
物の破損をオーディオツールが検出することによって引き起こされる誤警報を防
止することができる。
【００６７】 図１３のプロセスは、オーディオツールが他のツールと「論理的組合せ」をす
ることができる方法の内の１つの方法である。例えば、ビデオツールが光が存在
しないと判断する部屋の中で声を検出した場合には、警報（アラーム）が示され
る。別の例では、所定のエリア内でサウンド又は光の一方を検出すると、警報事
象をトリガすることができる。警報事象はオーディオツールと１又は２以上の他
のオーディオツールとの論理的組合せによってもトリガできるということを理解
すべきである。
【００６８】 図１４は、分析／記憶装置のハードディスクに記憶されたオーディオ及び／又
はビデオデータを探し出すサーチのためのパラメータをユーザーが確定すること
ができるスクリーン表示である。表示１４は、ダイアログボックス２８６を備え
ており、それはユーザーが利用できる多数のタグ付きダイアログボックスの１つ
である。図１４の例で選択されているダイアログボックスから、日付及び時間パ
ラメータのみならずサーチすべきデータの種類（サウンド、イメージ又はその両
方）も選択することができる。ユーザーが利用できるほかのダイアログボックス
では、特定のマイクロホン、カメラ及びアラーム状態を選択でき、さらに、適用
される分析ツールも選択できる。サーチライトアイコン２８８が掃くように往復
の動きをする間、サーチが実行されてユーザーに装置の最新状態が示される。
【００６９】 図１５は図１４のスクリーン表示に似たスクリーン表示であるが、マイクロホ
ン選択ダイアログがフォアグラウンドである。図１５に示すプルダウンメニュー
２９２によると、サーチ用の特定のマイクからの信号流れの選択を行うことがで
きる。サーチの結果は２９４で示す結果フィールドに表される。
【００７０】 図１６は、記憶されたイメージ流れの再生の間提供することができるスクリー
ン表示である。その表示はイメージウインドウを備えており、そこには、ビデオ
イメージのシーケンスが表示される。２９８で示す英数字はイメージ流れのソー
スと記録の時刻及び日付とを表す。図１６に示す例では、イメージと同時に記録
されたサウンドがスピーカー６２（図１）を経由して同時に再生され、再生され
たオーディオのソースであったマイクロホンが３００で英数字によって示されて
いる。図１６の表示の下方の部分３０２で示されたスイッチエリアは、マウス制
御のカーソルで操作可能で、装置のハウジング（図２）のフロントパネル７０上
の機械的に操作できるスイッチを模倣するものである。カーソルで操作可能な「
ポーズ」スイッチエリア３０４では、ユーザーがイメージ流れを「フリーズ（静
止）」することができ、それにより、オーディオ流れの再生を停止することもで
きる。一時停止されたイメージ表示を図１７に示しており、一時停止再生モード
の表示３０６を含む。図１７に３０８で示すプルダウンメニューによって、ユー
ザーは、再生したい別のオーディオ流れを選択することができる。マウス制御の
カーソルを３１０で示す。
【００７１】 再生進行モード（図１６に示すようなもの）の間にも図１７のプルダウンメニ
ュー３０８を提供し、それにより、ユーザーが新たなオーディオ流れの再生を指
定して現在再生している他の流れと置き換えるようにすることも意図していると
いうことを理解すべきである。また、ビデオ及びオーディオの再生機能を互いに
独立して制御し、オーディオを伴わずにビデオの前進又は後進の再生を提供し、
さらに、ビデオを再生することなくオーディオを前進再生することも予定してい
る。さらに、パーソナルコンピュータに提供されているオーディオ制御機能の中
で知られている従来のコンピュータ表示利用の再生、巻き戻し、早送り及び停止
の仮想キーのような一組のインタフェース要素を提供することも予定するもので
ある。
【００７２】 図１８は、オーディオ信号源として分析／記憶装置に接続されたマイクロホン
に名前を割り当てるためのダイアログボックスを含むスクリーン表示である。図
１８は、入力及び出力アラーム及びビデオ信号源に名前を付けるためのダイアロ
グボックスも利用できるという表示を含む。
【００７３】 図２２は、この図２２において「ツール」ダイアログボックスにアクセスされ
ていることを除いて、図１４及び図１５のサーチ確定表示と同様なスクリーン表
示である。図２２の３１２でわかるように、プルダウンメニューが、ユーザーに
、所望のサーチの間に用いられる予定のオーディオ分析ツールの選択に関するい
くつかのオプションを提供する。利用できるツールには、上記の「ノイズツール
」、「ボイスツール」及び様々な種類の周波数テンプレートを用いる他のツール
が含まれる。ユーザーはサーチの間にどの分析ツールも適用しないということも
選択することができる。
【００７４】 図２２のスクリーン表示によって、ユーザーは、複数の予め記憶したサウンド
分析アルゴリズムの中からサーチ目的を自由に選択することができる。図２２に
示すような分析アルゴリズムオプションの言葉によるリストの代わりとして、ユ
ーザーの選択に利用できる予め記憶させた分析アルゴリズムを表すアイコンを用
いることも意図するものである。あるツールが選択されると、ボタン領域３１４
の操作により図１９乃至図２１に示すようなセットアップスクリーンが呼び出さ
れる。
【００７５】 図２３からわかるように、ツールメニューもユーザーに提示することができ、
それにより、ユーザーはライブ入力オーディオ流れに適用されるオーディオ分析
アルゴリズムの選択を行うことができる。図２３に示すスクリーン表示では、分
析アルゴリズムがマイクロホンごとのベースで割り当てられる。均一なフィンガ
ー「粒状度」を提供することは予定されており、それにより、特定の分析アルゴ
リズムの選択が、特定のカメラのみならず特定の未来の時間間隔にも適用するこ
とができる。
【００７６】 この時点まで、本願発明を、分析アルゴリズムをマルチメディア情報に適用す
る分析／記憶装置への入力として提供される、ビデオカメラ及び／又はマイクロ
ホンによって発生されたマルチメディア情報の処理の関点から説明した。しかし
、分析アルゴリズムを放送テレビ信号に適用できることも意図する。顧客が利用
できる放送チャンネルの数は拡大しつづけているので、コンピュータインテリジ
ェンスをテレビ信号流れの間の処理、分類及びナビゲーションのタスクに適用す
ることがますます有利になってきている。
【００７７】 図２６は、本願発明の内容を放送テレビ信号の処理に適用する装置を示す。図
２６において、ブロック３２０は分析及び/又は記憶のために放送テレビ信号を
選択する機能を表す。ブロック３２０は、テレビチューナー回路及び／又は公知
のケーブルテレビジョン装置で用いられているセットトップユニットのような従
来の装置でよい。他には、ブロック３２０は衛星放送システムで直接に利用され
ている種類のチャンネル同調回路を組み入れることができる。図２６からわかる
ように、ブロック３２０で選択されたＴＶ信号は、３２２でデジタルフォーマッ
トに変換され（その信号がまだデジタルフォーマットでない場合）、次に、パラ
レルに分析回路３２４及び記憶装置３２６提供される。分析回路３２４は、オー
ディオ信号内応分析及び画像信号内容分析の一方又は両方を選択されたＴＶ信号
流れに適用することができる。分析の結果は、３２８に示すように、選択的に記
憶装置３２６に供給される。記憶装置３２６は、分析回路３２４に応答して、選
択されたＴＶ信号の記録、又は分析回路３２４で実行された分析の結果を表す記
憶されたＴＶ信号へのインデックスデータの関連付けを行う。放送ＴＶ信号の画
像及び音声コンポーネントに適用される分析アルゴリズムに加えて、またはその
代わりに、分析回路３２４は、ＴＶ信号のクローズドキャプション（限定字幕）
の成分内の特定の文字列を検出することができる。このように、図２６の装置は
、クローズドキャプションの内容によって示されるような、所定の選択された対
象に関連するテレビ放送信号を記録することになる「ビデオクリッピングサービ
ス」のように作動することができる。別の例としては、上で示唆したように、ク
ローズドキャプション分析の結果は、記録のために前に選択されたＴＶ信号内の
特定の興味のある部分に索引を付けるために用いることができ、その索引付けは
信号が受け取られたときに開始される。さらに、前に説明したことによって示唆
したように、サウンド、イメージ又はクローズドキャプション分析は、記憶装置
３２６から再生されて信号経路３３０を経由して分析回路３２４に循環された以
前に記録された信号に適用することができる。
【００７８】 顧客が特に関心のある放送テレビ信号への本願発明の適用は、「ハイライト検
出」特徴を示す。この特徴によると、あるスポーツイベントに対応するテレビ放
送信号を、視聴者又は観客の騒音の高いレベルを検出するオーディオ内容分析ア
ルゴリズムに基づいて索引を付け、または、選択的に記録することができる。高
いレベルの視聴者の反応は、フットボールでのタッチダウン、野球でのホームラ
ン、ホッケイでのゴール等のようなハイライトに対応すると推測される。放送テ
レビ信号のオーディオ成分における観客ノイズ成分のレベルを検出するための適
当なテンプレートは、入力（又は再生）テレビ信号のオーディオ成分と比較する
ために発生させて用いることができる。
【００７９】 イメージ信号特性の検出、オーディオ信号特性の検出およびクローズドキャプ
ション成分内の特定の文字列の検出の内の２又は３以上の組合わせに基づいて選
択的にテレビ信号を記録又はそれに索引付けすることができることも予定するも
のである。
【００８０】 以下は、本願発明の内容を多数の異なる環境に適用できる方法の追加の実施例
である。
【００８１】 家庭の場合には、泥棒の存在を検出するために指定されたイメージ分析ツール
を確立することが望ましい。その目的のため、適切な位置に配置されたカメラか
ら発生された流れを分析して通常の歩く速度よりよりゆっくりと動く大人の寸法
の物体の存在を検出する。
【００８２】 子供の存在を検出したい場合のツールは、子供の寸法の物体の動きを検出する
ためにセットアップされたイメージ分析ツールとともに、上記の子供の声の検出
オーディオツールを用いる。
【００８３】 小売店の環境では、イメージ及びオーディオ分析ツールを組合せて現金取り引
き検出装置を構成することができ、その検出器は、その取り引きを捕捉するビデ
オ信号の記録をトリガする。現金取り引き検出器を作り上げるツールは、現金取
り引きの動きの特性を検出するイメージツールと協働する、声の存在を検出する
オーディオツールでもよい。
【００８４】 産業上の環境では、機械類の品目の製造を検出するためのオーディオツールを
確立することができる。機械類が、適切に作動しているときに、所定のサウンド
周波数スペクトルを発生すると仮定すると、そのスペクトルはオーディオツール
用のテンプレートとして確立することができるであろうし、さらに、そのテンプ
レートからのかなりの大きさの偏差は、誤動作の可能性を示すように検出するこ
とができる。
【００８５】 上記の実施例はオーディオ及びビデオ分析ツールの協働的かつ補足的動作を含
めた。販売時点（ＰＯＳ）端末、ＡＴＭ又はカード読取装置によって提供される
ような追加的データに基づくサーチを用いてのオーディオ及び／又はビデオツー
ル利用のデータベースサーチを増加することも予定している。そのようなサーチ
には、所定の追加的データと所定のオーディオおよび／ビデオの特徴との論理的
組合せをサーチすることが含まれる。
【００８６】 上記の本願発明の実施例は例示であり、限定されるものではないことを理解す
べきである。本願発明の真の意図及び範囲は上記の請求項に規定されている。
【図面の簡単な説明】
【図１】 図１は、本願発明に係るマルチメディア分析および記憶装置に接続された入力
および出力装置の構成のブロック図である。
【図２】 図２は、図１の分析および記憶装置を示す斜視図である。
【図３】 図３は、図２の分析および記憶装置の電子構成要素の概略ブロック図である。
【図４】 図４は、図３の回路に含まれたオーディオ信号処理チャンネルのブロック図で
ある。
【図５】 図５は、図２の分析／記憶装置に含まれているハードディスク上にマルチメデ
ィアデータおよびインデックスデータを記憶するために利用されるフォーマット
を示す。
【図６】 図６は、分析／記憶装置に含まれた第１の処理回路を制御するためのソフトウ
エアに含まれたオーディオデータサーチソフトウエアのフローチャートである。
【図７】 図７は、図６に含まれた「サーチ実行」のブロックのフローチャートである。
【図８】 図８は、オーディオ分析アルゴリズムを選択しかつセットアップすることに関
連する第１の処理回路を制御するソフトウエアのフローチャートを示す。
【図９】 図９Ａは、第１オーディオ分析アルゴリズムに関連するパラメータセッティン
グオペレーションを示す。 図９Ｂは、第２オーディオ分析アルゴリズムに関連するパラメータセッティン
グオペレーションを示す。
【図１０】 第１０Ａは、第１オーディオ分析アルゴリズムのフローチャートである。 図１０Ｂは、第２オーディオ分析アルゴリズムを一般的な用語で示す。
【図１１】 図１１は、入力オーディオストリームの既定の特性のライブオーディオ分析ア
ルゴリズムによる検出に応答して、第２ライブ分析アルゴリズム（オーディオま
たはビデオ）の起動のフローチャートを示す。
【図１２】 図１２は、オーディオ信号流れの既定の特性の検出に応じてビデオ信号流れの
記憶の開始のフローチャートを示す。
【図１３】 図１３は、一方がオーディオ情報を分析し、他方がビデオ情報を分析する、２
つの異なるライブ分析アルゴリズムによって個々の既定の状態が検出された場合
に、アラーム状態を検出するための分析／記憶装置の動作を示すフローチャート
である。
【図１４】 図１４は、記録されたマルチメシア情報を調査することに関連して分析／記憶
装置のユーザーに示されたスクリーン表示である。
【図１５】 図１５は、記録されたオーディオ情報を調査することに関連してユーザーに示
されたスクリーン表示である。
【図１６】 図１６は、再生モードでの操作のときに分析／記憶装置によって発生されたス
クリーン表示である。
【図１７】 図１７は、中断された再生モードにおける分析／記憶装置によって発生された
スクリーン表示であって、ユーザーが再生のためにオーディオ信号の記録された
流れを選択できるようにするプルダウンメニューを含むスクリーン表示である。
【図１８】 図１８は、ユーザーが分析／記憶装置に接続されたマイクロフォンに名前を割
り当てることができるようにユーザーに示されたスクリーン表示である。
【図１９】 図１９は、ノイズレベル検出オーディオ分析アルゴリズムをセットアップする
ことに関連してユーザーに示されたすクリーン表示である。
【図２０】 図２０は、人間の声の存在を検出するオーディオ分析アルゴリズムをセットア
ップすることに関連してユーザーに示されたスクリーン表示である。
【図２１】 図２１は、周波数に基づくオーディオ分析ツールをセットアップすることに関
連してユーザーに示されたスクリーン表示である。
【図２２】 図２２は、分析／記憶装置に記憶されたマルチメディアデータベースを照査す
る際に用いられるオーディオ分析アルゴリズムの選択ができるようにユーザーに
示されたスクリーン表示である。
【図２３】 図２３は、ライブ受信オーディオ信号流れに適用されるオーディオ分析アルゴ
リズムを、分析／記憶装置の予め予定された操作モードに関連して、ユーザーが
選択することができるようにするスクリーン表示である。
【図２４】 図２４は、スイミングプールのオーディオおよびビデオの同時モニタの概略を
示す。
【図２５】 図２５は、窓のオーディオおよびビデオの同時モニタの概略を示す。
【図２６】 ＴＶ信号の内容に基づいてテレビ放送信号を選択的に記録または索引付けをす
るための、本願発明に係る装置のブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，Ｇ Ｈ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (71)出願人 951 Ｙａｍａｔｏ Ｒｏａｄ，Ｂｏｃａ Ｒａｔｏｎ，Ｆｌｏｒｉｄａ 33431− 0700，Ｕｎｉｔｅｄ Ｓｔｅｔｅｓ ｏｆ Ａｍｅｒｉｃａ (72)発明者 マックコーマック、デビッド・ロス アメリカ合衆国、カリフォルニア州 92104、サン・ディエゴ、サーティファー スト・ストリート 3344 Ｆターム(参考） 5C052 AA01 AB04 CC06 CC11 DD04 EE02 EE03 5C054 AA01 AA05 CA04 CC05 CH05 CH08 EA01 EA07 EB05 EG09 FC13 FE02 FE14 FE26 FE28 FF07 GA01 GB02 HA19 5D045 DA20

Claims (59)

    【特許請求の範囲】
  1. 【請求項１】 柔軟なマルチメディア情報分析装置であって、 (a)マルチメディア情報データベースを記憶する第１の記憶手段であって、前
    記データベースがイメージデータ及びサウンドデータを含む第１の記憶手段と、 (b)前記データベース内のサウンドデータを分析するための複数のサウンドデ
    ータ内容分析アルゴリズムを記憶する第２の記憶手段と、 (c)前記アルゴリズムの内の１つを選択するためのユーザー操作可能手段と、 (d)該ユーザー操作可能手段に応答して、該ユーザー操作可能手段によって選
    択された前記１つのアルゴリズムにしたがって、前記データベース内の前記サウ
    ンドデータを分析するための分析手段とを備える装置。
  2. 【請求項２】 請求項１の装置において、さらに、 アナログサウンド信号の個々のシーケンスを発生する複数のマイクロホンと、 該マイクロホンから発生されたアナログサウンド信号の個々のシーケンスをデ
    ジタル化するとともに、そのサウンド信号のデジタル化されたシーケンスを前記
    第１記憶手段に供給する回路とを備える装置。
  3. 【請求項３】 請求項１の装置において、さらに、複数のアイコン又は英数
    字のラベルを表示する表示手段を含み、各ラベルが、サウンドデータを分析する
    ための前記アルゴリズムのそれぞれを表す装置。
  4. 【請求項４】 請求項３の装置において、前記ユーザー操作可能手段は、表
    示されたアイコン又は英数字のラベルの１つを選択するための手段からなる装置
    。
  5. 【請求項５】 請求項４の装置において、前記表示されたアイコンの１つを
    選択する手段はマウスである装置。
  6. 【請求項６】 請求項１の装置において、前記ユーザー操作可能手段は、前
    記アルゴリズムの内の選択された１つの実行を抑制するパラメータを設定する手
    段を含む装置。
  7. 【請求項７】 請求項１の装置において、前記分析手段は、前記アルゴリズ
    ムの前記選択された１つにしたがってが分析手段によって実行される分析の結果
    を示す分析データを発生し、前記第１記憶手段は前記分析手段によって発生され
    た前記分析データを記憶する手段を含む装置。
  8. 【請求項８】 請求項１の装置において、前記記憶されたアルゴリズムの少
    なくとも１つは、そのアルゴリズムによって分析されたサウンドデータの振幅レ
    ベルを検出するためのものである装置。
  9. 【請求項９】 請求項１の装置において、前記記憶されたアルゴリズムの少
    なくとも１つは、そのアルゴリズムによって分析されたサウンドデータの周波数
    特性を検出するためのものである装置。
  10. 【請求項１０】 請求項１の装置において、さらに、前記データベース内の
    イメージデータを分析する複数の移動イメージ内容分析アルゴリズムを記憶する
    第３の記憶手段を備え、前記ユーザー操作可能手段は前記移動イメージ内容分析
    アルゴリズムの内の１つを選択するように操作可能であり、前記分析手段は前記
    移動イメージ内容分析アルゴリズムの１つの選択に応答して前記選択された移動
    イメージ内容分析アルゴリズムにしたがってデータベース内の前記イメージデー
    タを分析する装置。
  11. 【請求項１１】 オーディオデータを記憶及び引き出す方法であって、 ある期間にわたって発生するサウンド信号を表すデータを記憶する工程と、 記憶されたデータによって表された所望のサウンドセグメントをサーチする際
    に用いられるサーチアルゴリズムを選択する工程と、 その選択されたサーチアルゴリズムの実行を抑制するためのパラメータを設定
    する工程と、 その選択されたサーチアルゴリズム及び設定されたパラメータにしたがって前
    記記憶されたデータをサーチする工程とを含む方法。
  12. 【請求項１２】 請求項１１の方法において、前記選択されたサーチアルゴ
    リズムは前記記憶されたデータによって表されたサウンド信号の振幅レベルを検
    出するためのものである方法。
  13. 【請求項１３】 請求項１２の方法において、前記選択されたサーチアルゴ
    リズムの実行を抑制するためのパラメータはサウンド振幅レベルを表す方法。
  14. 【請求項１４】 請求項１１の方法において、前記選択されたサーチアルゴ
    リズムは前記記憶されたデータによって表されたサウンド信号の周波数レベルを
    検出するためのものである方法。
  15. 【請求項１５】 請求項１４の方法において、前記選択されたサーチアルゴ
    リズムの実行を抑制するためのパラメータは検出すべき周波数特性を画定するた
    めのものである方法。
  16. 【請求項１６】 フレキシブルなマルチメディア情報分析装置であって、 (a)少なくとも１つのシーケンスのサウンド信号を表すオーディオ情報を提供
    するためのオーディオ情報源と、 (b)該オーディオ情報源によって提供されるオーディオ情報を分析するための
    複数のアルゴリズムを記憶する記憶装置と、 (c)前記アルゴリズムの１を選択するためのユーザー操作可能手段と、 (d)該ユーザー操作可手段に応答して、前記オーディオ情報源によって提供さ
    れたオーディオ情報を受け取るとともに、前記ユーザー操作可能手段によって選
    択された前記アルゴリズムの内の１にしたがって前記オーディオ情報源によって
    提供された受け取ったオーディオ情報を分析する分析手段とを含む装置。
  17. 【請求項１７】 請求項１６の装置において、前記オーディオ情報源は、サ
    ウンド信号のシーケンスを発生するマイクロホンと、サウンド信号をデジタルオ
    ーディオデータに変換する手段とを備える装置。
  18. 【請求項１８】 請求項１７の装置において、前記オーディオ情報源は、サ
    ウンド信号の別々のシーケンスを発生する複数のマイクロホンを含む装置。
  19. 【請求項１９】 請求項１６の装置において、さらに、複数のアイコン又は
    英数字のラベルを表示する表示手段を含み、各ラベルが、オーディオ情報を分析
    するための前記アルゴリズムのそれぞれを表す装置。
  20. 【請求項２０】 請求項１９の装置において、前記ユーザー操作可能手段は
    、表示されたアイコン又は英数字のラベルの１つを選択するための手段からなる
    装置。
  21. 【請求項２１】 請求項２０の装置において、前記表示されたアイコンの１
    つを選択する手段はマウスからなる装置。
  22. 【請求項２２】 請求項１６の装置において、前記ユーザー選択可能手段は
    、前記アルトリズムの内の選択されたものの実行を抑制するためのパラメータを
    設定する手段を含む装置。
  23. 【請求項２３】 請求項１６の装置において、前記記憶されたアルゴリズム
    の内の少なくとも１つは、前記アルゴリズムによって分析されたオーディオ情報
    の振幅レベルを検出するためのものである装置。
  24. 【請求項２４】 請求項１６の装置において、前記記憶されたアルゴリズム
    の内の少なくとも１つは、前記アルゴリズムによって分析されたオーディオ情報
    の周波数特性を検出するためのものである装置。
  25. 【請求項２５】 マルチメディア情報分析方法であって、 (a)イメージのダイナミックシーケンスを表すアナログビデオ信号を受け取る
    工程と、 (b)その受け取ったアナログビデオ信号をデジタル化して、イメージのダイナ
    ミックシーケンスを表すビデオデータフレームのシーケンスを形成する工程と、 (c)既定のビデオデータ分析アルゴリズムを用いてビデオデータフレームのシ
    ーケンスを第１に分析し、その第１の分析の結果を表す第１分析データを発生す
    る工程と、 (d)ビデオデータフレームのシーケンスをデータベースに記憶する工程と、 (e)ビデオデータフレームの記憶されたシーケンスに関連して第１分析データ
    を前記データベースに記憶する工程と、 前記工程(a)から(e)と同時に、 (f)オーディオサウンドのシーケンスを表すアナログオーディオ信号を受け取
    る工程と、 (g)その受け取ったアナログオーディオ信号をデジタル化して可聴サウンドを
    表すオーディオデータのシーケンスを形成する工程と、 (h)既定のオーディオデータ分析アルゴリズムを用いてオーディオデータのシ
    ーケンスを第２に分析し、その第２の分析の結果を表す第２分析データを発生す
    る工程と、 (i)オーディオデータのシーケンスを前記データベースに記憶する工程と、 (j)オーディオデータの記憶されたシーケンスに関連して第２分析データを前
    記データベースに記憶する工程とを含む方法。
  26. 【請求項２６】 請求項２５の方法において、前記第２分析工程は、前記ア
    ナログオーディオ信号の振幅レベルを検出する工程を含む方法。
  27. 【請求項２７】 請求項２５の方法において、前記第２分析工程は、前記ア
    ナログオーディオ信号の周波数特性を検出する工程を含む方法。
  28. 【請求項２８】 請求項２５の方法において、前記第１分析工程は、前記ア
    ナログビデオ信号によって表された移動物体を検出する工程を含む方法。
  29. 【請求項２９】 請求項２５の方法において、前記工程(d)、(e)、(i)及び(
    j)は、ビデオデータフレーム、オーディオデータ、第１分析データおよび第２分
    析データを少なくとも１つのハードディスクに記憶する方法。
  30. 【請求項３０】 請求項２９の方法において、前記工程(d)及び(i)は、ビデ
    オデータフレームおよびオーディオデータをともに同一のハードディスクに記憶
    する方法。
  31. 【請求項３１】 請求項２５の方法において、前記ビデオデータフレームお
    よびオーディオデータは、ＡＶＩ基準に適合するフォーマットで記憶される方法
    。
  32. 【請求項３２】 ビデオ及びオーディオ情報を分析する装置であって、 イメージのダイナミックシーケンスを表すアナログビデオ信号を受け取る第１
    受取り回路と、 該第１受取り回路に接続されていて、アナログビデオ信号をデジタル化してイ
    メージのダイナミックシーケンスを表すビデオデータフレームのシーケンスを形
    成する第１Ａ／Ｄ（アナログ／デジタル変換）手段と、 該第１Ａ／Ｄ手段に接続されていて、既定のビデオデータ分析アルゴリズムを
    用いてビデオデータフレームのシーケンスを分析して第１分析データを生成する
    第１分析手段と、 前記第１Ａ／Ｄ手段及び前記第１分析手段に接続されていて、前記第１Ａ／Ｄ
    手段によって形成されたビデオデータフレームのシーケンス及び前記第１分析手
    段によって発生された前記第１分析データを記憶する記憶手段置と、 可聴サウンドのシーケンスを表すアナログオーディオ信号を受取る第２受取り
    手段と、 前記第２受取り手段と前記記憶手段との間に接続されていて、アナログオーデ
    ィオ信号をデジタル化して可聴サウンドを表すオーディオデータのシーケンスを
    形成する第２Ａ／Ｄ手段であって、前記記憶手段が、該第２Ａ／Ｄ手段によって
    形成された前記オーディオデータのシーケンスを記憶する第２Ａ／Ｄ手段と、 前記第２Ａ／Ｄ手段と前記記憶装置との間に接続されていて、既定のオーディ
    オデータ分析アルゴリズムを用いてオーディオデータのシーケンスを分析して第
    ２分析データを生成し、該第２分析データが前記記憶装置に記憶される第２分析
    手段とを備える装置。
  33. 【請求項３３】 請求項３２の装置において、前記記憶手段は、 前記Ａ／Ｄ手段からビデオデータフレームのシーケンスを受取るとともに、圧
    縮アルゴリズムをそのビデオデータフレームのシーケンスに適用して圧縮された
    ビデオデータを形成する圧縮手段と、 前記圧縮されたビデオデータを記憶する記憶媒体とを備える装置。
  34. 【請求項３４】 請求項３６の装置において、前記記憶媒体はハードディス
    クである装置。
  35. 【請求項３５】 請求項３２の装置において、前記オーディオデータ分析ア
    ルゴリズムは、前記可聴サウンドのシーケンスの既定の周波数特性を検出する工
    程を含む装置。
  36. 【請求項３６】 マルチメディア情報を受け取ったときにそれを分析する装
    置であって、 ビデオ信号のシーケンスを発生する少なくとも１つのビデオカメラと、 オーディオ信号のシーケンスを発生する少なくとも１つのマイクロホンと、 前記少なくとも１つのビデオカメラ及び前記少なくとも１つのマイクロホンに
    接続されていて、前記ビデオ信号及び前記オーディオ信号をそれぞれビデオデー
    タ及びオーディオデータに変換する変換手段と、 該変換手段に接続されていて、少なくとも１つのビデオ情報分析アルゴリズム
    を前記ビデオデータに適用するとともに、少なくとも１つのオーディオ情報分析
    アルゴリズムを前記オーディオデータに適用するための分析手段とを備える装置
    。
  37. 【請求項３７】 請求項３６の装置において、前記分析手段は、複数のビデ
    オ分析プログラムを記憶するプログラムメモリであって、各プログラムがそれぞ
    れのビデオ情報分析アルゴリズムに対応し、該プログラムメモリが、複数のオー
    ディオ分析プログラムも記憶し、各プログラムがそれそれのオーディオ情報分析
    アルゴリズムに対応するプログラムメモリを含み、 該装置が、さらに、ユーザーが前記分析手段を制御するために前記ビデオ分析
    プログラムの１つを選択し、前記分析手段を制御するために前記オーディオ分析
    プルグラムの１つを選択することができるようにする選択手段を備える装置。
  38. 【請求項３８】 請求項３７の装置において、前記ビデオ分析プログラムに
    対応する複数のビデオ情報分析アルゴリズムは、前記ビデオデータによって表さ
    れた移動物体を検出する複数のアルゴリズムを含む装置。
  39. 【請求項３９】 請求項３７の装置において、前記オーディオ分析プログラ
    ムに対応する複数のオーディオ情報分析アルゴリズムは、前記オーディオデータ
    によって表されたオーディオ信号の周波数特性を検出する複数のアルゴリズムを
    含む装置。
  40. 【請求項４０】 請求項３７の装置において、前記選択手段によって、ユー
    ザーがビデオ情報分析アルゴリズムおよび前記オーディオ分析アルゴリズムの実
    行を抑制するそれぞれのパラメータを設定できるようにする装置。
  41. 【請求項４１】 オーディオ情報分析装置であって、 オーディオ情報を受け取る手段と、 既定の分析アルゴリズムにしたがって前記受け取ったオーディオ情報を分析す
    る分析手段回路と、 該装置のユーザーが操作可能で、分析アルゴリズムの実行を抑制するパラメー
    タを設定するパラメータ手段であって、前記分析手段が、該パラメータ手段によ
    って設定されたパラメータにしたがって前記分析アルゴリズムを実行するために
    、該パラメータ手段に応答するパラメータ手段とを備える装置。
  42. 【請求項４２】 マルチメディア情報データベースを調査する方法であって
    、 前記データベース内のオーディオ情報によって表されたそれぞれの特徴を識別
    するために複数のアルゴリズムを記憶する工程と、 前記記憶されたアルゴリズムの内の２つを選択して第１の特徴及び第２の特徴
    をそれぞれ識別する工程と、 論理演算子を選択して前記２つの選択したアルゴリズムの論理組合せを形成す
    る工程と、 データベースを調査して前記２つの選択したアルゴリズムの前記論理組合せを
    満足するオーディオデータシーケンスを識別する工程とを含む方法。
  43. 【請求項４３】 マルチメディアデータを分析方法であって、 (a)ビデオデータの流れとオーディオデータの流れとを同時に受け取る工程と
    、 (b)前記工程(a)と同時に、第１分析アルゴリズムを、前記受け取ったビデオデ
    ータの流れに適用して、第１の特徴がそのビデオデータの流れに存在するか否か
    を決定する工程と、 (c)前記工程(a)および(b)と同時に、第２分析アルゴリズムを、前記受け取っ
    たオーディオデータの流れに適用して、第２の特徴がそのオーディオデータの流
    れに存在するか否かを決定する工程と、 (d)前記第２の特徴がオーディオデータの流れに存在すると決定したときに前
    記第１の特徴がビデオデータの流れに存在すると決定した場合に、警報信号を発
    生する工程とを含む方法。
  44. 【請求項４４】 請求項４３の方法において、 前記第１分析アルゴリズムは窓の破壊を示す動きを検出するためのもので、 前記第２分析アルゴリズムはその窓の破壊を示すサウンドを検出するためのも
    のである方法。
  45. 【請求項４５】 請求項４３の方法において、 前記第１分析アルゴリズムはスイミングプールの水しぶきを示す動きを検出す
    るためのもので、 前記第２分析アルゴリズムはそのスイミングプールの水しぶきを表すサウンド
    を検出するためのものである方法。
  46. 【請求項４６】 ビデオ監視装置であって、 ビデオ信号の流れを発生するビデオカメラと、 該ビデオカメラに接続されていて、ビデオ信号の流れを選択的に記憶する記憶
    手段と、 アナログオーディオ信号の流れを発生するマイクロホンと、 該マイクロホンに接続されていて、アナログオーディオ信号の流れをオーディ
    オデータ信号のシーケンスに変換する変換手段と、 前記オーディオデータ信号のシーケンスを受け取るとともに、選択されたオー
    ディオ情報分析アルゴリズムをオーディオデータ信号のシーケンスに適用してア
    ナログオーディオ信号の流れの既定の特徴を検出する分析手段とを備えていて、 前記分析手段がアナログオーディオ信号の流れの既定の特徴を検出したときの
    みに、前記記憶手段がビデオ信号の流れを記憶するために前記分析手段に応答す
    るというモードで、該監視装置が作動することができる装置。
  47. 【請求項４７】 請求項４６の装置において、さらに、前記記憶手段および
    前記分析手段が収容されているハウジングを備える装置。
  48. 【請求項４８】 請求項４７の装置において、さらに、前記記憶手段は、デ
    ジタル形式でビデオ信号の流れを記憶するためにハードディスクを含む装置。
  49. 【請求項４９】 請求項４７の装置において、前記変換手段は前記ハウジン
    グ内に収容されている装置。
  50. 【請求項５０】 オーディオ情報を分析する装置であって、 アナログオーディオ信号の流れを発生するマイクロホンと、 該マイクロホンに接続されていて、アナログ信号の流れをオーディオデータ信
    号のシーケンスに変換する変換手段と、 該変換手段によって形成されたオーディオデータ信号のシーケンスを受け取る
    とともに、オーディオデータ信号の該受け取ったシーケンスに関して第１のオー
    ディオ情報内容分析アルゴリズムを実行する第１の分析手段と、 前記変換手段によって形成されたオーディオデータ信号のシーケンスを受け取
    るとともに、オーディオデータ信号の該受け取ったシーケンスに関して第２のオ
    ーディオ情報内容分析アルゴリズムを実行する第２の分析手段であって、前記第
    １のオーディオ情報内容分析アルゴリズムとは異なる、第２のの分析手段とを備
    える装置。
  51. 【請求項５１】 請求項５０の装置において、前記第１の分析手段はアナロ
    グオーディオ信号の流れの振幅特性を検出し、前記第２の分析手段はアナログオ
    ーディオ信号の流れの周波数特性を検出する装置。
  52. 【請求項５２】 請求項５０の装置において、前記第１の分析手段はアナロ
    グオーディオ信号の流れの第１周波数特性を検出し、前記第２の分析手段はアナ
    ログオーディオ信号の流れの第２周波数特性を検出し、該第２周波数特性は前記
    第１周波数特性と異なる装置。
  53. 【請求項５３】 ビデオ情報記憶装置であって、 ビデオ成分およびオーディオ成分を含むテレビ放送信号を受信する手段と、 該受信手段に接続されていて、受信したテレビ放送信号をデジタル形式で選択
    的に記憶する記憶手段と、 テレビ放送信号のオーディオ成分の内容を分析するモニタ手段とを備え、 前記記憶装置が該モニタ手段に応答して、該モニタ手段がテレビ放送信号のオ
    ーディオ成分の既定の特性を検出したときのみに、前記記憶手段がそのテレビ放
    送信号を記憶するようにする装置。
  54. 【請求項５４】 請求項５３の装置において、前記受信手段は、無線の放送
    信号を受信するアンテナに接続されたチューナーを含む装置。
  55. 【請求項５５】 請求項５３の装置において、前記受信手段は、ケーブルテ
    レビ装置に接続されたセットトップボックスを含む装置。
  56. 【請求項５６】 請求項５３の装置において、 前記テレビ放送はスポーツ関係のイベントを表し、 テレビ放送信号のオーディオ情報の前記既定の特性は、オーディオ成分の観客
    のノイズの増加である装置。
  57. 【請求項５７】 ビデオ情報記憶装置であって、 ビデオ成分およびオーディオ成分を含むテレビ放送信号を受信する手段と、 該受信手段に接続されていて、受信したテレビ放送信号をデジタル形式で選択
    的に記憶する記憶手段と、 テレビ放送信号のオーディオ成分の内容を分析するモニタ手段とを備え、 前記記憶装置が該モニタ手段に応答して、該モニタ手段がテレビ放送信号のビ
    デオ成分の既定の特性を検出したときのみに、前記記憶手段がそのテレビ放送信
    号を記憶するようにする装置。
  58. 【請求項５８】 ビデオ情報記憶装置であって、 ビデオ成分、オーディオ成分およびクローズドキャプション成分を含むテレビ
    放送信号を受信する手段と、 該受信手段に接続されていて、前記テレビ放送信号の一部をデジタル形式で選
    択的に記憶する記憶手段と、 テレビ放送信号のクローズドキャプション成分の内容を検出するモニタ手段と
    を備え、 前記記憶装置が該モニタ手段に応答して、該モニタ手段がテレビ放送信号のク
    ローズドキャプション成分の既定の文字列を検出したときのみに、前記記憶手段
    がそのテレビ放送信号を記憶するようにする装置。
  59. 【請求項５９】 ビデオ情報記憶装置であって、 テレビ放送信号を受信する手段と、 該受信手段に接続されていて、前記受信したテレビ放送信号記憶する記憶手段
    と、 前記受信手段に接続されていて、前記受信したテレビ放送信号のビデオ成分、
    前記受信したテレビ放送信号のオーディオ成分および前記受信したテレビ放送信
    号のクローズドキャプション成分の内の１つの内容を検出するモニタ手段と、 該モニタ手段に応答して、前記記憶手段が、テレビ放送信号の検出された内容
    を表すインデックス情報を記憶することができるようにするインデックス手段と
    を備える装置。
JP2000546309A 1998-04-29 1999-04-29 インテリジェントビデオシステムにおけるマルチメディア分析 Withdrawn JP2002513222A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/069,508 1998-04-29
US09/069,508 US6035341A (en) 1996-10-31 1998-04-29 Multimedia data analysis in intelligent video information management system
PCT/US1999/009301 WO1999056214A1 (en) 1998-04-29 1999-04-29 Multimedia analysis in intelligent video system

Publications (1)

Publication Number Publication Date
JP2002513222A true JP2002513222A (ja) 2002-05-08

Family

ID=22089462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000546309A Withdrawn JP2002513222A (ja) 1998-04-29 1999-04-29 インテリジェントビデオシステムにおけるマルチメディア分析

Country Status (8)

Country Link
US (1) US6035341A (ja)
EP (1) EP1073966A4 (ja)
JP (1) JP2002513222A (ja)
AR (1) AR015031A1 (ja)
AU (1) AU757484B2 (ja)
BR (1) BR9909956A (ja)
CA (1) CA2325624C (ja)
WO (1) WO1999056214A1 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8429205B2 (en) * 1995-07-27 2013-04-23 Digimarc Corporation Associating data with media signals in media signal systems through auxiliary data steganographically embedded in the media signals
US6034689A (en) * 1996-06-03 2000-03-07 Webtv Networks, Inc. Web browser allowing navigation between hypertext objects using remote control
US20020054752A1 (en) * 1998-08-07 2002-05-09 Anthony Wood Video data recorder with personal channels
US6415326B1 (en) * 1998-09-15 2002-07-02 Microsoft Corporation Timeline correlation between multiple timeline-altered media streams
US6622171B2 (en) * 1998-09-15 2003-09-16 Microsoft Corporation Multimedia timeline modification in networked client/server systems
US6748416B2 (en) * 1999-01-20 2004-06-08 International Business Machines Corporation Client-side method and apparatus for improving the availability and performance of network mediated services
US7313808B1 (en) 1999-07-08 2007-12-25 Microsoft Corporation Browsing continuous multimedia content
US7293280B1 (en) 1999-07-08 2007-11-06 Microsoft Corporation Skimming continuous multimedia content
US6928655B1 (en) * 1999-12-16 2005-08-09 Microsoft Corporation Live presentation searching
US7149359B1 (en) 1999-12-16 2006-12-12 Microsoft Corporation Searching and recording media streams
US6868440B1 (en) 2000-02-04 2005-03-15 Microsoft Corporation Multi-level skimming of multimedia content using playlists
US6985966B1 (en) 2000-03-29 2006-01-10 Microsoft Corporation Resynchronizing globally unsynchronized multimedia streams
US7237254B1 (en) 2000-03-29 2007-06-26 Microsoft Corporation Seamless switching between different playback speeds of time-scale modified data streams
DE60115625T2 (de) * 2000-04-10 2006-09-14 United Video Properties, Inc., Tulsa Interaktive medienführung mit medienführungsschnittstelle
US7302490B1 (en) * 2000-05-03 2007-11-27 Microsoft Corporation Media file format to support switching between multiple timeline-altered media streams
US7013477B2 (en) * 2000-05-25 2006-03-14 Fujitsu Limited Broadcast receiver, broadcast control method, and computer readable recording medium
WO2002007440A2 (en) * 2000-07-15 2002-01-24 Filippo Costanzo Audio-video data switching and viewing system
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20060235988A1 (en) * 2001-03-26 2006-10-19 Ogram Mark E Apparatus and method for communicating over a distributed system of computers
US8949878B2 (en) * 2001-03-30 2015-02-03 Funai Electric Co., Ltd. System for parental control in video programs based on multimedia content information
US7415005B1 (en) * 2001-10-29 2008-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ad hoc selection of voice over internet streams
US20030081127A1 (en) * 2001-10-30 2003-05-01 Kirmuss Charles Bruno Mobile digital video recording with pre-event recording
US20030105794A1 (en) * 2001-11-09 2003-06-05 Jasinschi Radu S. Systems for sensing similarity in monitored broadcast content streams and methods of operating the same
US20030210139A1 (en) * 2001-12-03 2003-11-13 Stephen Brooks Method and system for improved security
US6847393B2 (en) * 2002-04-19 2005-01-25 Wren Technology Group Method and system for monitoring point of sale exceptions
AU2003900137A0 (en) * 2003-01-14 2003-01-30 Canon Kabushiki Kaisha Process and format for reliable storage of data
US20040223054A1 (en) * 2003-05-06 2004-11-11 Rotholtz Ben Aaron Multi-purpose video surveillance
US20050013589A1 (en) * 2003-07-14 2005-01-20 Microsoft Corporation Adding recording functionality to a media player
GB2404297B (en) * 2003-07-24 2007-12-05 Hewlett Packard Development Co Editing multiple camera outputs
US20050177859A1 (en) * 2004-02-09 2005-08-11 Valentino Henry Iii Video surveillance system and methods of use and doing business
WO2005086940A2 (en) * 2004-03-11 2005-09-22 Interdigital Technology Corporation Control of device operation within an area
US20060137018A1 (en) * 2004-11-29 2006-06-22 Interdigital Technology Corporation Method and apparatus to provide secured surveillance data to authorized entities
US20060227640A1 (en) * 2004-12-06 2006-10-12 Interdigital Technology Corporation Sensing device with activation and sensing alert functions
TWI285742B (en) * 2004-12-06 2007-08-21 Interdigital Tech Corp Method and apparatus for detecting portable electronic device functionality
US20060132839A1 (en) * 2004-12-22 2006-06-22 Eastman Kodak Company Data frame having database access information
US7516152B2 (en) * 2005-07-05 2009-04-07 International Business Machines Corporation System and method for generating and selecting data mining models for data mining applications
US20070078708A1 (en) * 2005-09-30 2007-04-05 Hua Yu Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements
US8406866B2 (en) 2005-12-06 2013-03-26 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for assessing coupling between an electrode and tissue
US20090177111A1 (en) * 2006-12-06 2009-07-09 Miller Stephan P System and method for displaying contact between a catheter and tissue
US9254163B2 (en) 2005-12-06 2016-02-09 St. Jude Medical, Atrial Fibrillation Division, Inc. Assessment of electrode coupling for tissue ablation
US10362959B2 (en) 2005-12-06 2019-07-30 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for assessing the proximity of an electrode to tissue in a body
US9271782B2 (en) 2005-12-06 2016-03-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Assessment of electrode coupling of tissue ablation
WO2007070361A2 (en) 2005-12-06 2007-06-21 St. Jude Medical, Atrial Fibrillation Division, Inc. Assessment of electrode coupling for tissue ablation
US8603084B2 (en) 2005-12-06 2013-12-10 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for assessing the formation of a lesion in tissue
US8403925B2 (en) 2006-12-06 2013-03-26 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for assessing lesions in tissue
US9492226B2 (en) * 2005-12-06 2016-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Graphical user interface for real-time RF lesion depth display
US20070294091A1 (en) * 2006-05-10 2007-12-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Responding to advertisement-adverse content or the like
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US8457768B2 (en) * 2007-06-04 2013-06-04 International Business Machines Corporation Crowd noise analysis
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US9204927B2 (en) 2009-05-13 2015-12-08 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for presenting information representative of lesion formation in tissue during an ablation procedure
US8290578B2 (en) 2007-12-28 2012-10-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and apparatus for complex impedance compensation
US20090313232A1 (en) * 2008-03-26 2009-12-17 Thomas Austin Tinsley Methods and Apparatus to Calculate Audience Estimations
WO2009126151A1 (en) * 2008-04-09 2009-10-15 Utc Fire & Security Corporation Video content analysis
US20100034514A1 (en) * 2008-08-05 2010-02-11 Mathieu Paul Luc Massart Display device and method with content recording and/or streaming
GB2466242B (en) 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
US9286911B2 (en) 2008-12-15 2016-03-15 Audio Analytic Ltd Sound identification systems
US8848054B2 (en) * 2010-07-29 2014-09-30 Crestron Electronics Inc. Presentation capture with automatically configurable output
US10803724B2 (en) * 2011-04-19 2020-10-13 Innovation By Imagination LLC System, device, and method of detecting dangerous situations
FR2982893B1 (fr) * 2011-11-21 2015-05-22 Aldebaran Robotics Systeme de surveillance d'un bassin et procede de surveillance associe
US8787726B2 (en) 2012-02-26 2014-07-22 Antonio Rossi Streaming video navigation systems and methods
US8928506B2 (en) * 2013-04-09 2015-01-06 Maxlinear, Inc. Successive approximation analog-to-digital converter (ADC) with dynamic search algorithm
WO2018081328A1 (en) 2016-10-26 2018-05-03 Ring Inc. Customizable intrusion zones for audio/video recording and communication devices
US10891839B2 (en) 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US20180176512A1 (en) * 2016-10-26 2018-06-21 Ring Inc. Customizable intrusion zones associated with security systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3988533A (en) * 1974-09-30 1976-10-26 Video Tek, Inc. Video-type universal motion and intrusion detection system
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4641343A (en) * 1983-02-22 1987-02-03 Iowa State University Research Foundation, Inc. Real time speech formant analyzer and display
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
US4857912A (en) * 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
JPH05509409A (ja) * 1990-06-21 1993-12-22 レイノルズ　ソフトウエア，インコーポレイティド 波動分析・事象認識方法およびその装置
US5171930A (en) * 1990-09-26 1992-12-15 Synchro Voice Inc. Electroglottograph-driven controller for a MIDI-compatible electronic music synthesizer device
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US6263290B1 (en) * 1995-02-22 2001-07-17 Michael K. Williams Process and machine for signal waveform analysis
JPH08265770A (ja) * 1995-03-20 1996-10-11 Sony Corp 高能率符号化方法、高能率符号化装置、記録再生装置及び情報伝送システム
JPH08331567A (ja) * 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
EP1455516A3 (en) * 1996-10-31 2006-03-22 Sensormatic Electronics Corporation Intelligent video information management system
US5917958A (en) * 1996-10-31 1999-06-29 Sensormatic Electronics Corporation Distributed video data base with remote searching for image data features
US5909548A (en) * 1996-10-31 1999-06-01 Sensormatic Electronics Corporation Apparatus for alerting human operator to status conditions of intelligent video information management system

Also Published As

Publication number Publication date
US6035341A (en) 2000-03-07
AU757484B2 (en) 2003-02-20
CA2325624A1 (en) 1999-11-04
AU4069999A (en) 1999-11-16
EP1073966A4 (en) 2007-07-18
BR9909956A (pt) 2000-12-26
WO1999056214A1 (en) 1999-11-04
AR015031A1 (es) 2001-04-11
CA2325624C (en) 2006-06-20
EP1073966A1 (en) 2001-02-07

Similar Documents

Publication Publication Date Title
JP2002513222A (ja) インテリジェントビデオシステムにおけるマルチメディア分析
US11158353B2 (en) Information processing system, information processing method, and recording medium
US8396332B2 (en) Electronic apparatus and face image display method
US8559683B2 (en) Electronic apparatus and scene-type display method
US7970257B2 (en) Image display method and electronic apparatus implementing the image display method
JP4662779B2 (ja) 類似のビデオコンテンツへの乗り換えのための装置
US6819863B2 (en) System and method for locating program boundaries and commercial boundaries using audio categories
US8166420B2 (en) Electronic apparatus and image display control method of the electronic apparatus
CN100548040C (zh) 用于在数字重放系统中自动安排删除文件的方法和装置
EP1801803B1 (en) Audio/video device with replay function and method for handling replay function
US8121349B2 (en) Electronic apparatus and video processing method
US20130336641A1 (en) Electronic apparatus and image data management method
US8201105B2 (en) Electronic apparatus and image display control method of the electronic apparatus
US20110032353A1 (en) Presenting video data
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
US20120063738A1 (en) Digital video recorder system and operating method thereof
US8578439B1 (en) Method and apparatus for presentation of intelligent, adaptive alarms, icons and other information
KR20110095113A (ko) 음장인식 디지털 비디오 레코더 시스템 및 그것의 운용 방법
JP4054797B2 (ja) 番組を分類する方法
JP2002152721A (ja) 録画再生装置の映像表示方法および装置
EP1527601A1 (en) Method of and system for controlling the operation of a video system
JPH09198577A (ja) マルチメディア防犯システム
JP2000253390A (ja) 監視記録装置
JP2003125350A (ja) 画像再生装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060704