JP2002238027A - ビデオ及びオーディオ情報処理 - Google Patents

ビデオ及びオーディオ情報処理

Info

Publication number
JP2002238027A
JP2002238027A JP2001375044A JP2001375044A JP2002238027A JP 2002238027 A JP2002238027 A JP 2002238027A JP 2001375044 A JP2001375044 A JP 2001375044A JP 2001375044 A JP2001375044 A JP 2001375044A JP 2002238027 A JP2002238027 A JP 2002238027A
Authority
JP
Japan
Prior art keywords
image
data
video
camera
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001375044A
Other languages
English (en)
Inventor
Mark John Mcgrath
マーク ジョン マクグラス
Morgan William Amos David
モルガン ウィリアム アモス デビット
Jonathan Thorpe
ジョナサン ソープ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2002238027A publication Critical patent/JP2002238027A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Abstract

(57)【要約】 （修正有） 【課題】新たに取得されたビデオテープ等のマテリアル
をレビューして編集する時に、コンテンツ編集者の作業
を減らし短時間で実施できるようにする。 【解決手段】カメラ記録装置は、複数のビデオ画像を撮
像する撮像素子と、後の読出のためにビデオ画像を記録
するストレージ媒体と、ビデオ画像の撮像時において、
実質的にリアルタイムに、少なくとも１つのビデオ画像
の画像コンテンツから各画像又は画像のグループに関連
付けられた画像特性を抽出する特徴抽出手段と、抽出し
た画像特性をカメラ記録装置から外部データ処理装置に
転送するデータパスとを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、オーディオ及びビ
デオ情報の処理に関する。
【０００２】
【従来の技術】ビデオカメラは、オーディオ及びビデオ
情報を生成し、このような情報は、通常、拡張的に編集
された後、放送品質の番組が作成される。編集処理は非
常に時間がかかる作業であり、したがって、あらゆる番
組の作成コストの大きな部分を占めている。
【０００３】ビデオ画像及びオーディオデータは、通
常、コンピュータを用いた非線形編集装置により「オフ
ライン」で編集される。非線形編集装置は、記録された
シーケンスのいかなる点からも情報を編集できるという
柔軟性を有している。デジタル編集用の画像としては、
通常、元のソースマテリアルの解像度を落としたコピー
が使用される。このようなコピーは、放送品質は満足さ
せないが、記録されたマテリアルをブラウズし、オフラ
イン編集判断を行うには十分な画質を有する。ビデオデ
ータとオーディオデータは、個別に編集することができ
る。
【０００４】オフライン編集処理により最終的には、編
集判断リスト（edit decision list：以下、ＥＤＬとい
う。）が作成される。ＥＤＬは、編集点をタイムコード
アドレスで指定するファイルであり、すなわち、番組を
編集するための要求されたインストラクションを含む。
ＥＤＬは、後にオフライン編集からオンライン編集に編
集判断を伝えるために使用され、オンライン編集では、
マスタテープを用いて、編集された番組の放送品質の高
解像度コピーが作成される。
【０００５】
【発明が解決しようとする課題】オフラインの非線形編
集処理は、柔軟性を有しているが、非常に時間がかかる
作業である。この処理では、人間のオペレータが情報を
リアルタイムで再生し、ショットをサブショットにセグ
メント化し、時間軸に沿った所望のシーケンスとして、
これらのショットを配列する。ショットを最終的なシー
ケンスとして配列するまでには、ショットを複数回再生
し、その全体のコンテンツを確認し、そのショットを最
終的なシーケンスのどこに挿入するかを判断する必要が
あることが多い。
【０００６】オーディオデータは、編集段階では、音声
検出アルゴリズムを適用して、音声を含む可能性が高い
オーディオフレームを識別することにより、自動的に処
理することもできる。あるいは、編集者がオーディオデ
ータをリアルタイムで聞き取り、そのコンテンツ全体を
把握する必要がある場合もある。
【０００７】本質的には、編集者は、最初から生のオー
ディオフレーム及びビデオ画像を再生し、その情報のコ
ンテンツを丹念に確認する必要がある。このような作業
を行ってはじめて、ショットをどのようにセグメント化
し、どのような順序でシーケンスを作成するかを判断す
ることができる。
【０００８】
【課題を解決するための手段】本発明に係るカメラ記録
装置は、複数のビデオ画像を撮像する撮像素子と、後の
読出のためにビデオ画像を記録するストレージ媒体と、
ビデオ画像の撮像時において、実質的にリアルタイム
に、少なくとも１つのビデオ画像の画像コンテンツから
各画像又は画像のグループに関連付けられた画像特性を
抽出する特徴抽出手段と、抽出した画像特性をカメラ記
録装置から外部データ処理装置に転送するデータパスと
を備える。
【０００９】本発明は、人間である編集者が新たに取得
されたビデオテープ等におけるマテリアルをレビューす
る作業は、編集処理における大きな負担となり、全体の
編集に要する時間を長引かせてしまう、といった問題を
解決する。ここで、編集装置において単に自動的レビュ
ーを行う手法では、大きな効果を期待できない。このよ
うな単なる自動化によっても、（高コストな）人間が介
在する操作を省略できるが、処置の時間は、大幅には短
縮されない。このような処理時間の要素は、例えばニュ
ース番組の編集等、時間的に厳しい状況で行われる編集
処理において特に重要である。
【００１０】一方、本発明では、カメラ記録装置におい
て、画像コンテンツのデータ特性を実質的にリアルタイ
ムで抽出するので、データをより素早く分析することが
でき、したがって、編集装置において、ビデオマテリア
ル全体をレビューする必要はない。これにより、編集処
理の自動的準備段階に要する時間を著しく短縮すること
ができる。
【００１１】
【発明の実施の形態】図１は、本発明に基づくダウンス
トリームオーディオビジュアル処理装置の構成を示す図
である。カメラ１０は、オーディオ及びビデオデータを
カメラ内のビデオテープに記録する。カメラ１１０は、
「メタデータ」として知られる、記録されたビデオ情報
に関する追加的な情報を作成及び記録する。メタデータ
は、通常、録画日、記録開始／終了フラグ又はタイムコ
ード、カメラ状態データ、及びＳＭＰＴＥ ＵＭＩＤと
して知られる記録マテリアルに対する固有の識別インデ
クスを含む。
【００１２】ＵＭＩＤについては、「ＳＭＰＴＥジャー
ナル（SMPTE Journal）」の２０００年３月号に記載さ
れている。「拡張ＵＭＩＤ（extended UMID）」は、
「基礎ＵＭＩＤ（basic UMID）」に相当する第１の３２
バイトの組と、「シグネチャメタデータ（signature me
tadata）」である第２の３２バイトの組から構成されて
いる。
【００１３】基礎ＵＭＩＤは、キーレングスバリュー
（key-length-value：ＫＬＶ）構造を有し、以下のよう
な情報から構成されている。 ・ＳＭＰＴＥ ＵＭＩＤ自身及びＵＭＩＤが指示するマ
テリアルの種類を識別する１２バイトの汎用ラベル又は
キー。この汎用ラベル又はキーは、後述する包括的固有
マテリアル（globally unique Material）番号及び局所
的固有インスタンス（locally unique Instance）番号
を生成する手法を定義する。 ・ＵＭＩＤの残りの部分の長さを特定する１バイトのレ
ングス値。 ・同じマテリアル番号を有する異なる「インスタンス」
又はマテリアルのコピー間を区別するために使用される
３バイトのインスタンス番号。 ・各クリップを識別するために使用される１６バイトの
マテリアル番号。 ・マテリアル番号は、少なくとも各ショット及び可能性
として各画像フレームに付される。
【００１４】シグネチャメタデータは、以下のような情
報から構成される。 ・ＵＭＩＤが適用される「コンテンツユニット」の作成
日時を識別する８バイトの日時コード。最初の４バイト
は世界時コード（ＵＴＣ）ベースのコンポーネントであ
る。 ・コンテンツユニット作成時の（ＧＰＳ）に基づく空間
的座標を定義する１２バイトの値。・国コード、組織コ
ード及びユーザコードを表すそれぞれ４バイトの３つの
グループ。
【００１５】記録自体の特性を識別する役割を有する上
述の基礎的メタデータとは別に、記録されたオーディオ
データ及びビデオ画像のコンテンツを詳細に記述する追
加的メタデータも提供される。追加的メタデータは、好
ましくはフレーム毎の「特徴ベクトル（feature-vector
s）」を含み、カメラ１０内のハードウェアにより、撮
像された生のビデオ及びオーディオデータをリアルタイ
ムで（又は直後に）処理することにより生成される。
【００１６】特徴ベクトルは、例えば、与えられたフレ
ームが音声（speach）に関連しているか否か、あるいは
人物の顔の画像を表しているか否かを示す。さらに、特
徴ベクトルは、各フレームの色相成分の大きさ等、ある
種の画像特性に関する情報を含むこともできる。
【００１７】ＵＭＩＤ及び開始／終了タイムコードを含
むメインメタデータは、オーディオ／ビデオデータとと
もにビデオテープに記録することができるが、例えばソ
ニー株式会社の「テレファイル：Ｔｅｌｅ−Ｆｉｌｅ
（商標）」システム等の専用システムを用いて保存する
ことが好ましい。このテレファイルシステムでは、ビデ
オカセットラベルに設けられ、ラベルへの直接的な電気
的接触を行うことなくデータを読み書きできる非接触型
メモリ集積回路に記憶される。
【００１８】全てのメタデータ情報は、メタデータデー
タパス１５を介して、メタストア２０に格納される。メ
タデータデータパス１５は、ビデオテープ、リムーバブ
ルハードディスク、無線ローカルエリアネットワーク
（無線ＬＡＮ）のいずれであってもよい。メタストア２
０は、ストレージ３０と、メタデータの抽出及び分析の
ための演算処理を行う中央演算処理ユニット（central
processing unit：以下、ＣＰＵという。）４０とを備
える。メタストア２０は、特徴ベクトルメタデータを用
いて、サブショットセグメント化等の機能を自動化し、
一連の連続するフレームにおける人物の顔とスピーチの
同時検出により示されるインタビューに対応する可能性
が高い情報を識別し、オフライン編集装置で使用するた
めの、各ショットの主要なコンテンツを反映する代表画
像を作成し、オーディオ及びビデオ情報のエンコードに
関連する特性を算出する。
【００１９】このように、メタデータによる特徴ベクト
ル情報は、編集処理に先行する前処理の自動化に貢献す
る。オーディオ及びビデオデータを記述するメタデータ
は、メタストア２０に集中的に保存され、例えばＳＭＰ
ＴＥ ＵＭＩＤ等の固有の識別しによりオーディオ及び
ビデオデータに関連付けられる。オーディオ及びビデオ
データは、通常、メタデータとは別に保存される。メタ
ストア２０を用いることにより、特徴ベクトルに用にア
クセスでき、大量の情報を保存することができる。
【００２０】メタストアは、特徴ベクトルに対する追加
的な処理を行い、従来、編集者がしなくてはならなかっ
た多くの処理を自動化する。処理された特徴ベクトル
は、オフライン編集の最初から使用することができ、こ
れにより作業が効率的になり、編集に要する時間を短縮
できる。
【００２１】図２は、本発明に基づき、ビデオカメラ１
０のメインコンポーネントと、メタストア２０とがどの
ようにインタラクトするかを説明する図である。撮像素
子５０は、オーディオ及びビデオデータ信号２５５を生
成し、このオーディオ及びビデオデータ信号５５を画像
処理モジュール６０に供給する。画像処理モジュール６
０は、標準的な画像処理を行い、処理されたオーディオ
及びビデオデータをメインデータパス８５を介して出力
する。オーディオ及びビデオデータ信号５５は、特徴ベ
クトル抽出モジュール８０にも供給され、特徴ベクトル
抽出モジュール８０は、音声検出及び色相ヒストグラム
算出等の処理を行い、その結果として得られる特徴ベク
トルデータ９５を出力する。撮像素子５０は、信号６５
をメタデータ生成ユニット７０に供給し、メタデータ生
成ユニット７０は、基礎ＵＭＩＤ及び開始／終了タイム
コードを含む基礎的メタデータ情報７５を生成する。こ
の基礎的メタデータ情報７５及び特徴ベクトルデータ９
５は混合され、メタデータデータパス１５を介して出力
される。
【００２２】メタデータデータパス１５を介して伝送さ
れるデータは、メタストア２０内に設けられたメタデー
タ抽出モジュール９０に供給される。メタデータ抽出モ
ジュール９０は、メタデータ抽出処理を実行し、ビデオ
カメラ１０により生成された特徴ベクトルデータ９５を
用いて、記録された音声及び画像のコンテンツに関する
追加的な情報を生成する。メタデータ抽出モジュール９
０は、例えば、色相特徴ベクトル（すなわち、追加的メ
タデータ）を用いて、サブショットセグメント化処理を
実行する。この処理については後に説明する。メタデー
タ抽出モジュール９０からの出力データ１１５は、オフ
ライン編集装置により読出可能な、メタストア２０内の
メインストレージ領域であるストレージ３０に記録され
る。
【００２３】図３は、本発明に基づく特徴抽出モジュー
ル２８０と、メタデータ抽出モジュール２９０の構成を
示す図である。
【００２４】図３の左側に示す特徴抽出モジュール８０
は、上述のように、ビデオカメラ１０内に設けられ、色
相ヒストグラム算出ユニット１００と、音声検出ユニッ
ト１１０と、顔検出ユニット１２０とを備える。これら
特徴抽出ユニットから出力されるデータは、メタデータ
抽出モジュール９０に供給され、さらに処理される。
【００２５】色相ヒストグラム算出ユニット１００は、
各画像の色相値を分析する。ビデオカメラ２１０内の撮
像素子２５０は、赤、緑、青（ＲＧＢ）の３原色信号を
検出する。これらの信号は、フォーマット変換され、異
なる色空間表現で記録される。アナログビデオテープ
（ＰＡＬやＮＴＳＣ等）においては、信号はＹＵＶ空間
に記録され、一方、デジタルビデオシステムは、標準Ｙ
ＣｒＣｂ色空間に信号を記録する。第３の色空間は、色
相−彩度−値（hue-saturation-value：以下、ＨＳＶと
いう。）色空間である。色相は、スペクトル分布の主要
な波長を反映し、彩度は、単一の波長におけるスペクト
ル分布の集中度を表し、値は、色の強さを表す。ＨＳＶ
色空間において、色相は、色を３６０°の範囲で特定す
る。
【００２６】色相ヒストグラム算出ユニット１００は、
必要に応じて、任意の色空間のオーディオ及びビデオデ
ータ信号をＨＳＶ色空間に変換する。色相ヒストグラム
算出ユニット１００は、各フレームの画素の色相値を結
合し、色相値の関数として、各フレームに対する発生頻
度の色相ヒストグラムを生成する。色相値は、０°以上
３６０°以下の値をとり、ヒストグラムのビンサイズ
（bin-size）は、潜在的に調整可能であるが、通常１°
とする。この具体例においては、３６０のエレメントを
有する特徴ベクトルが各フレーム毎に生成される。色相
特徴ベクトルの各エレメントは、そのエレメントに関連
する色相値の発生頻度を表す。色相値は、通常、フレー
ム内の全ての画素について算出するが、（例えば平均化
処理により）複数の画素からなるグループに単一の色相
値を対応させてもよい。色相ベクトルは、後にメタデー
タ抽出モジュール２９０がサブショットセグメント化及
び代表画像抽出処理に使用することができる。
【００２７】特徴抽出モジュール８０内の音声検出ユニ
ット１１０は、記録されたオーディオデータを分析す
る。音声検出ユニット１１０は、通常、フレーム毎にオ
ーディオマテリアルのスペクトル分析を行う。なお、音
声検出ユニット１１０の説明において、「フレーム」と
いう用語は、ビデオフレームではなく、例えば４０ミリ
秒の期間を有するオーディオフレームを指すものとす
る。各オーディオフレームのスペクトルコンテンツは、
ソフトウェア又はハードウェアを用いた高速フーリエ変
換（fast Fourier transform：以下、ＦＦＴという。）
をオーディオデータに適用することにより算出される。
このスペクトルコンテンツは、周波数の関数であるパワ
ーに関するオーディオデータのプロファイルを提供す
る。
【００２８】この具体例における音声検出処理は、人間
の音声が生来的に高調波成分を多く含むという事実に基
づいている。このような現象は、特に母音の発声音に顕
著に現れる。声の高さは、話者により異なり、フレーム
毎にも変化するが、人間の声の周波数は、通常、５０〜
２５０Ｈｚの範囲内である。オーディオデータのコンテ
ンツは、一連の「櫛フィルタ」を適用することにより分
析される。櫛フィルタは、無限インパルス応答（Infini
te Impulse Response：ＩＩＲ）フィルタであり、出力
サンプルを所定時間遅延させた後、入力に戻す。櫛フィ
ルタは、比較的狭い複数の通過帯域を有し、各通過帯域
の中心周波数は、特定のフィルタに関連する基礎周波数
の整数倍に設定されている。特定の基礎周波数に基づく
櫛フィルタの出力信号は、そのフレームのオーディオ信
号が基礎周波数に対してどれほど高調波成分を含んでい
るかを示す。オーディオ信号には、５０〜２５０Ｈｚの
範囲の基礎周波数を有する一連の櫛フィルタが適用され
る。
【００２９】この具体例では、まず、オーディオマテリ
アルにＦＦＴ処理を適用するため、櫛フィルタは、単に
任意のＦＦＴ係数を選択することにより実現することが
できる。スライド式櫛フィルタ（sliding comb filte
r）は、疑似連続的な一連の出力信号（quasi-continuou
s series of outputs）を生成し、これらの出力信号
は、オーディオ信号における、それぞれ特定の基礎オー
ディオ周波数に対する高調波成分の割合を示す。各オー
ディオフレームについて、この一連の出力信号のうち、
最大の出力信号が選択される。この最大の出力信号は、
「高調波インデクス（Harmonic Index：ＨＩ）と呼ば
れ、その値を所定の閾値と比較することにより、関連す
るオーディオフレームが音声を含む可能性が高いか否か
が判定される。
【００３０】特徴抽出モジュール８０内に設けられた音
声検出ユニット１１０は、各オーディオフレームについ
て、特徴ベクトルを生成する。この特徴ベクトルは、最
も単純な形式としては、音声が存在するか否かを示すフ
ラグとして実現してもよい。なお、各フレームの高調波
インデクスに対応するデータを特徴ベクトルデータとし
て用いてもよい。音声検出ユニット１１０の変形例とし
て、各オーディオフレームに対してＦＦＴ係数を含む特
徴ベクトルを出力してもよく、この場合、高調波インデ
クスの算出及び音声が含まれているか否かの判定は、メ
タデータ抽出モジュール９０により行うことができる。
特徴ベクトル抽出モジュール８０には、音声フレームに
おける音楽シーケンス又は音声の休止（pauses）を検出
する追加的ユニット１３０を設けてもよい。
【００３１】また、特徴ベクトル抽出モジュール８０に
設けられた顔検出ユニット１２０は、ビデオ画像を分析
し、画像内に人間の顔が含まれているか否かを判定す
る。この顔検出ユニット３２０は、本出願の優先日以前
にビジョニクス社（VisionicsCorporation）から市販さ
れているＦａｃｅＩｔ（商標）アルゴリズム等のアルゴ
リズムにより人間の顔を検出する。この顔検出アルゴリ
ズムは、全ての顔画像がそれ以上単純化できない基礎的
構成要素の組から合成できるという事実に基づいてい
る。基礎的構成要素は、統計的手法を用いて、人間の顔
の代表的な集合から導出される。顔の要素（elements）
の数は、顔の部分（parts）より多い。個別の顔は、そ
の顔が有する要素と、その要素幾何学的組み合わせによ
り識別される。このアルゴリズムにより、個別の顔の識
別情報を「フェースプリント（faceprint）」と呼ばれ
る数式にマッピングすることができる。顔の画像は、約
８４バイトのサイズのフェースプリントに圧縮すること
ができる。個別の顔は、光の変化、肌の色、表情、髪
型、眼鏡の有無等にかかわらず、フェースプリントから
認識することができる。カメラに撮像される顔の角度の
変化は、全ての方向について最大約３５°であり、顔の
移動は許容される。
【００３２】したがって、このアルゴリズムを用いて、
画像毎に、画像内に人間の顔が含まれるか否かを判定で
きるとともに、同じフェースプリン後が現れる連続的画
像のシーケンスを特定することができる。このソフトウ
ェアの製造業者によれば、このアルゴリズムを用いて、
画像領域内の１％以上を人間の顔が占めれば、その顔を
認識できる。
【００３３】顔検出ユニット１２０は、各画像毎に、各
画像において顔が検出されたか否かを示す単純なフラグ
を含む基礎的特徴ベクトル１５５を出力する。さらに、
少なくとも１つの顔が検出された各画像を対応する検出
されたフェースプリントに関連付けるキー又はルックア
ップテーブルとともに、検出された顔のそれぞれのフェ
ースプリントデータが特徴ベクトルデータ１５５として
出力される。このデータにより、編集者は、特定のフェ
ースプリントが出現する全てのビデオ画像を検索及び選
択することができる。
【００３４】ビデオカメラ１０内に設けられたメタデー
タ抽出モジュール９０は、図３の右側に示すように、代
表画像抽出ユニット１５０と、「アクティビティ」算出
ユニット１６０と、サブショットセグメント化ユニット
１７０と、インタービュー検出ユニット１８０とを備え
る。
【００３５】代表画像抽出ユニット１５０は、色相画像
特性を表す特徴ベクトルデータ１５５を用いて、ショッ
ト内の主要なコンテンツを反映する代表画像を抽出す
る。特徴ベクトルデータ１５５に含まれる色相データ
は、各画像の色相ヒストグラムを含んでいる。この特徴
ベクトルデータ１５５は、サブショットセグメント化ユ
ニット１７０から出力されるセグメント化情報に結合さ
れ、これにより各ショットの平均色相ヒストグラムデー
タが算出される。
【００３６】ショット内の各フレームの色相ヒストグラ
ムデータを用いて、以下の式により、ショットの平均ヒ
ストグラムが算出される。
【００３７】
【数１】
【００３８】ここで、ｉはヒストグラムのビン（histog
ram bins）のインデクスであり、ｈ’ｉはｉ番目のビン
に関連付けられた色相値の平均発生頻度を表し、ｈはフ
レームＦのｉ番目のビンに関連付けられた色相値を表
し、ｎＦはショット内のフレーム数を表す。ショット内
の大多数のフレームが同じシーンに対応していれば、こ
れらのショットにおける色相ヒストグラムは類似するは
ずであり、したがって、平均色相ヒストグラムを強く重
み付けして、その主要なシーンの色相プロファイルを反
映する。
【００３９】代表画像は、ショット内の各フレームの色
相ヒストグラムとそのショットの平均色相ヒストグラム
とを比較することにより抽出される。差を示す単一の値
ｄｉｆｆＦは、以下の式により算出することができる。
【００４０】
【数２】
【００４１】ショット内の各フレームＦ（１≦Ｆ≦
ｎＦ）について、ｄｉｆｆＦが算出され、ｎＦ個のフレ
ームのうちから、ｄｉｆｆＦが最も小さいフレームが選
択される。上述の式は、差異を表す値を算出する好適な
手法を示しているが、他の式を用いて同様の効果を得る
こともできる。例えば、差異（ｈ’ｉ−ｈｉ）の絶対値
の総和を求め、差異の重み付け加算値を算出してもよ
く、各フレームの各画像プロパティの差を表す値を組み
合わせてもよい。差異が最小のフレームは、平均色相ヒ
ストグラムの最も近い色相ヒストグラムを有するはずで
あり、このため、このフレームを関連するショットの代
表的キースタンプ（representative keystamp：ＲＫ
Ｓ）画像として選択することが望ましい。すなわち、差
異が最小のフレームは、平均色相ヒストグラムに最も近
い色相ヒストグラムを有するフレームであるとみなすこ
とができる。ここで、２以上のフレームが最小の差異を
示す場合、複数のフレームが平均色相フレームに最も近
い色相ヒストグラムを有することとなるが、この場合、
これらフレームのうち例えば時間的に最も早いフレーム
を代表的キースタンプとして選択することができる。ま
た、平均色相ヒストグラムに最も近い色相ヒストグラム
を有するフレームをＲＫＳとして選択することが望まし
いが、これに代えて、差異を表す値の上限を示す閾値を
設け、ショットの時間的シーケンス内で、この閾値以下
の最小差異を有する最初のフレームをＲＫＳとして選択
してもよい。なお、最小差異が閾値以下であるショット
内のいかなるフレームをＲＫＳとして用いてもよいこと
は明らかである。代表画像抽出ユニット１５０は、ＲＫ
Ｓ画像を出力する。
【００４２】ＲＫＳ画像は、オフライン編集現場におい
て、ショットのコンテンツを表すサムネイルとして使用
することができる。編集者は、一目でＲＫＳ画像を確認
することができ、これにより、ショットをリアルタイム
で再生する必要がある状況を減らすことができる。
【００４３】「アクティビティ（activity）」算出ユニ
ット１６０は、色相ヒストグラム算出ユニット１００が
生成した特徴ベクトルデータを用いて、捕捉されたビデ
オ画像のアクティビティ値を算出する。アクティビティ
値は、画像がフレーム間でどれほど変化しているかを示
す値である。アクティビティ値は、例えばショットの時
間的シーケンス全体に亘る包括的レベルで算出してもよ
く、画像及びその周辺のフレームについて局所的レベル
で算出してもよい。この具体例においては、色相値の局
所的変化に基づいてアクティビティ値を算出している。
もちろん、輝度等のこの他の画像特性の局所的な変化を
用いて、アクティビティ値を算出してもよい。ここで、
特に色相を用いる利点は、光の環境変化がアクティビテ
ィ値に与える影響を小さくできるという点である。さら
に、動きベクトルを用いてアクティビティ値を算出して
もよい。
【００４４】アクティビティ算出ユニット１５０から出
力されるアクティビティ値は、オフライン編集装置及び
ビデオテープレコーダやデジタルビデオディスクプレー
ヤ等のメタデータに対応した装置において使用され、こ
れにより、ユーザは、「ビデオ要約（video skim）」及
び「情報シャトル」機能を用いて記録されたビデオ画像
を再生することができる。
【００４５】ビデオ要約機能とは、高速に表示されるビ
デオシーケンスを自動的に生成する機能である。高速再
生においては、時間的シーケンスにおいて、アクティビ
ティ値が所定の閾値以下の部分は、高速シャトルモード
で再生されるか、あるいは完全にスキップされる。
【００４６】情報シャトル機能は、ユーザ操作子（例え
ば、ビデオテープレコーダに設けられたダイアル）の設
定と、ビデオ画像のアクティビティ値から判定された情
報表示レートとの間のマッピングを行う機能である。こ
の機能は、再生されている画像のコンテンツを考慮する
ことなく、ユーザ操作子の設定を単なるビデオ再生速度
にマッピングする従来の早送り再生機能とは異なるもの
である。
【００４７】「アクティビティ値」算出ユニット１６０
は、ビデオ画像に関連するオーディオ信号のアクティビ
ティレベルを算出する。「アクティビティ値」算出ユニ
ット１６０は、音声検出ユニット１１０により生成され
た特徴ベクトルを用いて、通常の音声のアクティビティ
の時間的シーケンスを識別し、音声の停止（pauses）を
識別し、音声を無音状態及び背景雑音から区別する処理
を実行する。音声アクティビティの高さを識別するため
に、音量を使用することもできる。音量に基づく音声ア
クティビティ情報は、特に、スポーツイベントのビデオ
情報における重要なセクションの識別に有用である。ス
ポーツイベントでは、観衆の反応により、興味のレベル
を測定することができる。
【００４８】サブショットセグメント化モジュール１７
０は、特徴ベクトルデータ１５５における色相画像特性
を用いて、サブショットセグメント化処理を実行する。
サブショットセグメント化処理は、連続する画像の色相
ヒストグラム間の要素毎の差を算出し、これらの差を組
み合わせて単一の差を表す値を生成することにより実行
される。シーンの変更位置は、この差を表す単一の値が
所定の閾値以上である画像の位置を特定することにより
示される。
【００４９】同様に、例えばシーンに新たな役者が登場
する等の映像の主題の変更は、与えられた画像の色相ヒ
ストグラムと、先行する１秒間のビデオ映像における平
均色相値を表す色相ヒストグラムとの間の差を示す単一
の値を算出することにより検出することができる。
【００５０】インタビュー検出ユニット１８０は、特徴
抽出モジュール８０から出力された特徴ベクトルデータ
１５５を用いて、インタービューシーケンスに対応する
画像及び関連するオーディオフレームを識別する。詳し
くは、インタビュー検出ユニット１８０は、音声検出ユ
ニット１１０及び顔検出ユニット１２０から出力される
特徴ベクトルデータを組み合わせて、インタビューを検
出する。基礎的なレベルにおいては、音声の有無及び少
なくとも１人の人間の顔の有無を示すフラグを用いて、
音声及び少なくとも１人の人間の顔が存在することを示
すフラグが立てられた連続的画像のシーケンスを識別す
る。これらのショットは、インタビューシーケンスに対
応する可能性が高い。
【００５１】インタビューに関連するショットにフラグ
が立てられると、特徴ベクトルのフェイスプリントデー
タに基づいて、各インタビューの参加者が識別される。
さらに、特徴ベクトルから導き出される高調波オーディ
オデータを用いて、インタビュアとインタビューされる
人とを区別することもできる。このように、インタビュ
ー検出ユニットは、インタビューに関連するショットを
識別し、編集者に対し、各インタビューの参加者に関す
るフェイスプリントを提供する。
【００５２】図４は、本発明の第２の具体例であるカメ
ラ及び個人情報携帯端末（personaldigital assistan
t：以下、ＰＤＡという。）を示す図である。カメラ１
０は、ダウンストリームオーディオ／ビデオデータ処理
に関する機能を有する取得アダプタ（acquisition adap
ter）２７０を備える。この具体例に示す取得アダプタ
２７０は、ビルトイン連結コネクタ（built-in docking
connector）を介してカメラ１０に対するインタフェー
スを司る独立したユニットである。なお、この取得アダ
プタ２７０に対応するハードウェアをカメラ１０本体に
組み込んでもよいことは明らかである。
【００５３】カメラ１０の本体内では、メタデータ生成
ユニット７０は、基礎ＵＭＩＤ及びショット毎のイン／
アウトタイムコードを含む出力信号２０５を出力する。
メタデータ生成ユニット７０からの出力信号は、ビデオ
ストレージ及び読出モジュール２００に入力される。ビ
デオストレージ及び読出モジュール２００は、メインメ
タデータ及びカメラ１００が記録したオーディオ／ビデ
オデータを保存する。メインメタデータ２０５は、オー
ディオデータとビデオデータを記録するビデオテープと
同じビデオテープ上に記録してもよく、あるいは、例え
ばカセットラベルの一部を構成するメモリ集積回路等に
オーディオ／ビデオデータとは別に保存してもよい。
【００５４】オーディオ／ビデオデータ及び基礎メタデ
ータ２０５は、未処理データ信号２１５として、カメラ
１０に接続された取得アダプタ２７０に供給される。未
処理データ信号２１５は、特徴ベクトル生成モジュール
２２０に供給され、特徴ベクトル生成モジュール２２０
は、フレーム音にオーディオ／ビデオデータを処理し、
各フレームのコンテンツを特徴付ける特徴ベクトルデー
タを生成する。特徴ベクトル生成モジュール２２０の出
力信号２２５は、オーディオデータ、ビデオ画像、メイ
ンメタデータ及び特徴ベクトルデータを含んでいる。こ
れら全てのデータは、メタデータ処理モジュール２３０
に供給される。
【００５５】メタデータ処理モジュール２３０は、拡張
ＵＭＩＤ用の３２バイトのシグネチャメタデータを生成
する。メタデータ処理モジュール２３０は、例えば色相
特徴ベクトルを分析し、ショットの主要なコンテンツを
代表する画像をショットから選択する等、特徴ベクトル
を利用した処理を行う。色相特徴ベクトルは、サブショ
ットセグメント化にも使用できる。この具体例において
は、特徴ベクトルの処理は、取得アダプタ２７０内にお
いて実行されるが、この処理はメタストア２０内で行っ
てもよいことは明らかである。メタデータ処理モジュー
ル２３０の出力信号２３５は、処理されたメタデータと
未処理のメタデータを含み、これらはリムーバブルスト
レージユニット２４０に保存される。リムーバブルスト
レージユニット２４０は、フラッシュメモリＰＣカード
又はリムーバブルハードディスクドライブであってもよ
い。
【００５６】メタデータは、好ましくは、拡張マークア
ップ言語（ＸＭＬ）等のフォーマットで記録するとよ
く、これにより選択的な、コンテンツに基づくデータの
読出を行うことができる。この選択的なデータの読出
は、ＸＭＬ文書内において、メタデータオブジェクト及
びメタデータトラック等、特別なカテゴリに基づくセク
ションをマークするカスタム「タグ」を定義することに
より実現できる。
【００５７】この具体例においては、リムーバブルスト
レージユニット２４０は、ビデオカメラ１０から物理的
に取り外され、取得ＰＤＡ３００に直接差し込むことが
でき、これにより取得ＰＤＡ３００においてメタデータ
を確認し、編集することができる。
【００５８】記録された基礎的なオーディオ／ビデオデ
ータを含むメインカメラユニットにより生成された未処
理のデータ信号２１５は、特徴ベクトル生成モジュール
２２０とは別に、取得アダプタ２７０内に設けられてい
るＡＶプロキシ生成モジュール２１０にも供給される。
ＡＶプロキシ生成モジュール２１０は、カメラ１０によ
り生成された高ビットレートの放送品質のオーディオ／
ビデオデータ信号２１５の低ビットレートコピーである
ＡＶプロキシを生成する。
【００５９】業務用のデジタルベータカムカメラ等、ハ
イエンド機器のビデオビットレートは、約１００メガビ
ット毎秒であり、このようなデータレートは、例えばパ
ーソナルコンピュータやＰＤＡ等のローエンド機器で使
用するには高すぎるため、このようなＡＶプロキシが必
要となる。ＡＶプロキシ生成モジュール２１０は、強力
なデータ圧縮処理を行い、マスタマテリアルに対して、
高度に圧縮されたビットレート（例えば、４メガビット
毎秒）のコピーを生成する。すなわち、ＡＶプロキシ生
成モジュール２１０からの出力信号２４５は、低ビット
レートのビデオ画像及びオーディオデータを表してい
る。低ビットレートのＡＶプロキシは、放送品質を有し
ていないが、記録された映像をブラウジングし、及びオ
フライン編集において編集判断を行うための十分な解像
度を有している。ＡＶプロキシ生成モジュール２１０か
らの出力信号２４５は、メタデータ２３５とともに、リ
ムーバブルストレージユニット２４０に格納される。こ
のリムーバブルストレージユニット２４０を取得アダプ
タ２７０から取得ＰＤＡ３００に移動させることによ
り、ＡＶプロキシを取得ＰＤＡ３００に表示させること
ができる。
【００６０】図５は、本発明の第２の具体例におけるカ
メラ及びＰＤＡの構成を示す図である。この具体例に示
す多くのモジュールは、図４に示す具体例内のモジュー
ルと同一である。これらの共通のモジュールの機能につ
いては、図４を用いて既に説明しているので、ここでは
繰り返さない。
【００６１】図５に示す具体例では、追加的コンポーネ
ントとして、取得アダプタ２７０内にグローバルポジシ
ョニングシステム（Global Positioning System：以
下、ＧＰＳという。）受信機２５０が設けられている。
ＧＰＳ受信機２５０は、拡張ＵＭＩＤのシグネチャメタ
データの生成に必要とされる空間座標データ信号２５５
を出力する。このシグネチャメタデータは、メタデータ
処理モジュール２３０において生成される。カメラのＧ
ＰＳ座標は、本質的には、記録マテリアルの識別情報と
して使用される。なお、ＧＰＳ受信機２５０は、図４に
示す具体例に追加的に設けてもよい。
【００６２】図５に示す第２の具体例と、図４に示す具
体例との主な相違点は、図５に示す第２の具体例には、
カメラ側に無線ネットワークインタフェースＰＣカード
２６０及びアンテナ２８０Ａが設けられ、ＰＤＡ側にア
ンテナ２８０Ｂが設けられている点である。すなわち、
この具体例では、取得アダプタ２７０は、無線ローカル
エリアネットワーク（local area network：ＬＡＮ）を
介して取得ＰＤＡ３００に接続されている。
【００６３】無線ＬＡＮ（１０／１００ｂａｓｅ−ｔに
よる無線８０２．１１ｂ）は、通常、半径５０メートル
の範囲内で約１１Ｍビット毎秒のデータ通信を実現す
る。放送品質の画像は、１画像あたり約１Ｍビットの大
きさを有するので、無線ＬＡＮを介して放送品質のビデ
オ情報を伝送することは難しい。一方、帯域幅が削減さ
れたＡＶプロキシは、無線ＬＡＮを介して、取得ＰＤＡ
３００に効果的に伝送することができる。
【００６４】なお、リムーバブルストレージユニット２
４０を用いて、取得アダプタ２７０から取得ＰＤＡ３０
０に物理的にデータを転送することもできるが、リムー
バブルストレージユニット２４０は、カメラの記録処理
中は、カメラ内にあるため、無線ＬＡＮリンクがなけれ
ば、カメラが記録処理を行っている間は、注釈メタデー
タ（metadata annotations）を生成することができな
い。すなわち、カメラ１０及び取得ＰＤＡ３００間の無
線ＬＡＮリンクを設ける利点は、カメラが記録処理を実
行している間に、インタビューを受けている人物の氏名
やショットのタイトル等、注釈メタデータを取得ＰＤＡ
３００から送信できる点である。これらの注釈メタデー
タは、カメラ１０に装着された取得アダプタ２７０内に
挿入されているリムーバブルストレージユニット２４０
に保存することができる。また、無線ＬＡＮ接続によ
り、カメラの動作中に、記録されたサウンドの低ビット
レートバージョンを取得ＰＤＡ３００にダウンロードす
ることもできる。
【００６５】リムーバブルストレージユニット２４０に
おいて、メタデータ及びＡＶプロキシがＸＭＬ等の形式
で格納されている場合、取得ＰＤＡ３００は、カメラ内
のＸＭＬデータファイルから選択的にデータを読み出す
ことにより、貴重な帯域幅の浪費を回避する。
【００６６】図６は、本発明に基づく取得ＰＤＡ３００
の内部コンポーネントを示す図である。取得ＰＤＡ３０
０は、無線ネットワークインタフェースＰＣカード３４
０及びアンテナ２８０Ｂを備え、これらにより無線ＬＡ
Ｎに接続することができる。さらに、取得ＰＤＡ３００
には、ウェブブラウザ３５０を設けてもよく、これによ
りインターネット上のデータにアクセスすることができ
る。
【００６７】ユーザは、メタデータ注釈モジュール３１
０を用いて、記録されたオーディオ及びビデオデータに
対する注釈メタデータを作成することができる。この注
釈メタデータには、役者の名前及び免許（credential
s）、カメラクールの詳細、カメラの設定、ショットの
タイトル等が含まれる。
【００６８】ＡＶプロキシ視聴モジュール３２０は、取
得アダプタ２７０により生成されたマスタレコーディン
グの低ビットレートのコピーを表示する。ＡＶプロキシ
視聴モジュール３２０は、オフライン編集機能を有し、
これにより、取得ＰＤＡ３００を用いて、基礎的な編集
処理を行い、この編集処理における編集判断を編集判断
リストとして記録し、この編集判断リストをオンライン
編集に用いることができる。取得ＰＤＡ３００は、カメ
ラ設定及び制御モジュール３３０を備え、これにより、
ユーザは、取得ＰＤＡ３００を介して、カメラ１０の角
度や設定を遠隔制御することができる。リムーバブルス
トレージユニット２４０は、カメラ１０と取得ＰＤＡ３
００との間で記録オーディオ／ビデオデータ及びメタデ
ータを送受するために使用される。
【００６９】図７は、本発明に基づくオーディオ／ビデ
オ情報処理及び配信システムの構成を示す図である。こ
のシステムの基盤（backbone）は、ネットワーク４００
であり、このネットワーク４００は、イントラネット等
のローカルネットワークであってもよく、あるいはイン
ターネットであってもよい。
【００７０】カメラ１０は、無線ＬＡＮ及び／又はリム
ーバブルストレージユニット２４０を介して、ＰＤＡ３
００に接続されている。カメラ１０及びＰＤＡ３００
は、ネットワーク４００を介して、メタストア２０と通
信を行う。ビデオテープレコーダ又はオフライン編集装
置であるメタデータ活用装置（metadata enhanced devi
ce）４１０は、ネットワーク４００を介してメタストア
２０にアクセスすることができる。ネットワーク４００
には、複数のメタデータ活用装置を接続してもよい。こ
のオーディオ／ビデオ情報処理及び配信システムによ
り、メタストア２０に格納されている全てのメタデータ
への遠隔アクセスが実現される。すなわち、ビデオテー
プに記録された任意のオーディオデータ及びビデオ画像
に関連付けられたメタデータは、ＵＭＩＤにより識別さ
れ、ネットワーク４００を介してダウンロードすること
ができる。
【図面の簡単な説明】
【図１】本発明に基づくダウンストリームオーディオ／
ビデオ処理システムの構成を示す図である。
【図２】本発明に基づくビデオカメラ及びメタストアを
示す図である。
【図３】本発明に基づく特徴抽出モジュール及びメタデ
ータ抽出モジュールの内部構成を示す図である。
【図４】本発明の第１の具体例として示すビデオカメラ
とＰＤＡを示す図である。
【図５】本発明の第２の具体例として示すビデオカメラ
とＰＤＡを示す図である。
【図６】本発明に基づくＰＤＡの内部コンポーネントを
示す図である。
【図７】本発明に基づくオーディオ／ビデオ情報処理及
び分配システムの構成を示す図である。
フロントページの続き (72)発明者 マクグラス マーク ジョン イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 (72)発明者 デビット モルガン ウィリアム アモス イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 (72)発明者 ソープ ジョナサン イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 Ｆターム(参考） 5C052 AA01 DD04 DD06 5C053 FA14 HA29 JA21 LA02 LA06 LA11 LA14 5D044 AB05 AB07 BC01 BC04 CC03 CC04 DE17 DE49 DE58 EF05 HL14

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 カメラ記録装置において、 複数のビデオ画像を撮像する撮像素子と、 後の読出のためにビデオ画像を記録するストレージ媒体
    と、 ビデオ画像の撮像時において、実質的にリアルタイム
    に、少なくとも１つのビデオ画像の画像コンテンツから
    各画像又は画像のグループに関連付けられた画像特性を
    抽出する特徴抽出手段と、 上記抽出した画像特性を当該カメラ記録装置から外部デ
    ータ処理装置に転送するデータパスとを備えるカメラ記
    録装置。
  2. 【請求項２】 上記ビデオ画像に関連するオーディオ信
    号を記録するオーディオ信号記録手段を備え、上記特徴
    抽出手段は、少なくとも１つのビデオ画像に関連するオ
    ーディオ信号の部分に関するオーディオ特性データを抽
    出することを特徴とする請求項１記載のカメラ記録装
    置。
  3. 【請求項３】 上記画像特性データは、各ビデオ画像毎
    に生成されることを特徴とする請求項１又は２記載のカ
    メラ記録装置。
  4. 【請求項４】 ビデオ画像を圧縮し、各ビデオ画像の低
    ビットレートのコピーを生成するプロキシ生成手段を備
    える請求項１乃至３いずれか１項記載のカメラ記録装
    置。
  5. 【請求項５】 上記データパスは、上記画像特性データ
    を格納するリムーバブルストレージ媒体を備えることを
    特徴とする請求項１乃至４いずれか１項記載のカメラ記
    録装置。
  6. 【請求項６】 上記データパスは、上記外部データ処理
    装置への無線リンクを実現する無線ネットワーク接続回
    路及びアンテナを備えることを特徴とする請求項１乃至
    ５いずれか１項記載のカメラ記録装置。
  7. 【請求項７】 上記画像特性データは、色分布データ、
    顔認識データ画像アクティビティデータのうちの少なく
    とも１つを含むことを特徴とする請求項１乃至６いずれ
    か１項記載のカメラ記録装置。
  8. 【請求項８】 カメラ記録装置により、画像を取得する
    画像取得方法において、 複数のビデオ画像を撮像するステップと、 後の読出のために上記ビデオ画像を保存するステップ
    と、 ビデオ画像の撮像時において、実質的にリアルタイム
    に、少なくとも１つのビデオ画像の画像コンテンツから
    各画像又は画像のグループに関連付けられた画像特性を
    抽出するステップと、 データパスを介して、上記抽出した画像特性を外部デー
    タ処理装置に転送するステップとを有する画像取得方
    法。
  9. 【請求項９】 添付の図面を用いて実質的に以下に説明
    する画像取得方法。
  10. 【請求項１０】 請求項８又は９記載の画像取得方法を
    実行するプログラムコードを有するコンピュータソフト
    ウェア。
  11. 【請求項１１】 請求項１０記載のコンピュータソフト
    ウェアを提供するデータ提供媒体。
  12. 【請求項１２】 上記データ提供媒体は、伝送媒体であ
    ることを特徴とする請求項１１記載のデータ提供媒体。
  13. 【請求項１３】 上記データ提供媒体は、記録媒体であ
    ることを特徴とする請求項１１記載のデータ提供媒体。
  14. 【請求項１４】 添付の図面を用いて実質的に以下に説
    明するカメラ記録装置。
JP2001375044A 2000-12-07 2001-12-07 ビデオ及びオーディオ情報処理 Pending JP2002238027A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0029880.2A GB0029880D0 (en) 2000-12-07 2000-12-07 Video and audio information processing
GB0029880.2 2000-12-07

Publications (1)

Publication Number Publication Date
JP2002238027A true JP2002238027A (ja) 2002-08-23

Family

ID=9904648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001375044A Pending JP2002238027A (ja) 2000-12-07 2001-12-07 ビデオ及びオーディオ情報処理

Country Status (4)

Country Link
US (1) US7409144B2 (ja)
EP (1) EP1213915A3 (ja)
JP (1) JP2002238027A (ja)
GB (1) GB0029880D0 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303633A (ja) * 2005-04-15 2006-11-02 Sony Corp ビデオカメラ及びマウント制御方法
US7565016B2 (en) 2003-02-18 2009-07-21 Microsoft Corporation Learning-based automatic commercial content detection
JP2010161512A (ja) * 2009-01-06 2010-07-22 Panasonic Corp 映像記録装置および映像記録方法
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
JP2010267292A (ja) * 2004-06-22 2010-11-25 Digimarc Corp デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US8098730B2 (en) 2002-11-01 2012-01-17 Microsoft Corporation Generating a motion attention model
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs

Families Citing this family (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US9038108B2 (en) 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US8972862B2 (en) 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US20070089151A1 (en) * 2001-06-27 2007-04-19 Mci, Llc. Method and system for delivery of digital media experience via common instant communication clients
US20060236221A1 (en) * 2001-06-27 2006-10-19 Mci, Llc. Method and system for providing digital media management using templates and profiles
US7970260B2 (en) * 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US8990214B2 (en) * 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
AU2002351310A1 (en) 2001-12-06 2003-06-23 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP3744464B2 (ja) * 2002-05-20 2006-02-08 ソニー株式会社 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
EP2568467A1 (en) * 2002-12-20 2013-03-13 Trident Microsystems (Far East) Ltd. Apparatus for re-ordering video data for displays using two transpose steps and storage of intermediate partially re-ordered video data
US7117453B2 (en) * 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US7509321B2 (en) * 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US7904797B2 (en) 2003-01-21 2011-03-08 Microsoft Corporation Rapid media group annotation
US7383497B2 (en) * 2003-01-21 2008-06-03 Microsoft Corporation Random access editing of media
US7260261B2 (en) 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
JP4225124B2 (ja) * 2003-06-06 2009-02-18 ソニー株式会社 データ処理方法およびそのシステム
EP1494237A1 (en) * 2003-07-01 2005-01-05 Deutsche Thomson-Brandt Gmbh Method and apparatus for editing a data stream
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US8165449B2 (en) * 2003-10-01 2012-04-24 Microsoft Corporation DV metadata extraction
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US7616860B2 (en) * 2004-03-31 2009-11-10 Sony Corporation Methods and apparatuses for displaying content through a storage device
US20050276573A1 (en) * 2004-05-28 2005-12-15 Abbate Jeffrey A Method and apparatus to edit a media file
US20080138029A1 (en) * 2004-07-23 2008-06-12 Changsheng Xu System and Method For Replay Generation For Broadcast Video
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US7982795B2 (en) * 2005-04-11 2011-07-19 Panayotis B. SPATHARIS Image acquisition and exploitation camera system and methods therefore
JP2006331591A (ja) * 2005-05-30 2006-12-07 Sony Corp 情報処理装置および方法、並びにプログラム
US20070107012A1 (en) * 2005-09-07 2007-05-10 Verizon Business Network Services Inc. Method and apparatus for providing on-demand resource allocation
US8631226B2 (en) * 2005-09-07 2014-01-14 Verizon Patent And Licensing Inc. Method and system for video monitoring
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
US9076311B2 (en) * 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
KR100679049B1 (ko) * 2005-09-21 2007-02-05 삼성전자주식회사 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치
JP4720544B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
KR101362381B1 (ko) * 2007-07-13 2014-02-13 삼성전자주식회사 얼굴 인식 기반의 실시간 선별 녹화 장치 및 방법
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US8170342B2 (en) 2007-11-07 2012-05-01 Microsoft Corporation Image recognition of content
US20090207998A1 (en) * 2008-01-07 2009-08-20 Angus Wall Determining unique material identifier numbers using checksum values
US8872940B2 (en) * 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
US9325951B2 (en) 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009129542A1 (en) 2008-04-18 2009-10-22 Visible World Corporation System and method for condensed representation of long video sequences
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8819014B2 (en) * 2008-08-15 2014-08-26 Apple Inc. Digital slate
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
US8599316B2 (en) 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
US8432965B2 (en) 2010-05-25 2013-04-30 Intellectual Ventures Fund 83 Llc Efficient method for assembling key video snippets to form a video summary
US8520088B2 (en) 2010-05-25 2013-08-27 Intellectual Ventures Fund 83 Llc Storing a video summary as metadata
US8619150B2 (en) 2010-05-25 2013-12-31 Intellectual Ventures Fund 83 Llc Ranking key video frames using camera fixation
US8605221B2 (en) 2010-05-25 2013-12-10 Intellectual Ventures Fund 83 Llc Determining key video snippets using selection criteria to form a video summary
US8446490B2 (en) 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
BR112014000615B1 (pt) 2011-07-12 2021-07-13 Snap Inc Método para selecionar funções de edição de conteúdo visual, método para ajustar o conteúdo visual, e sistema para fornecer uma pluralidade de funções de edição de conteúdo visual
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US11734712B2 (en) 2012-02-24 2023-08-22 Foursquare Labs, Inc. Attributing in-store visits to media consumption based on data collected from user devices
US9661047B2 (en) 2012-04-30 2017-05-23 Mobilatv Ltd. Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
FR3010606A1 (fr) * 2013-12-27 2015-03-13 Thomson Licensing Procede de synchronisation de metadonnees avec un document audiovisuel en utilisant des parties de trames et dispositif de production de telles metadonnees
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
IL239237B (en) 2014-06-05 2018-12-31 Rotem Efrat Network document extension
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9652745B2 (en) 2014-06-20 2017-05-16 Hirevue, Inc. Model-driven evaluator bias detection
WO2016004240A1 (en) * 2014-07-03 2016-01-07 Mobiledirect, Inc. Interactive distributed multimedia system
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
US10423983B2 (en) 2014-09-16 2019-09-24 Snap Inc. Determining targeting information based on a predictive targeting model
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US11388226B1 (en) 2015-01-13 2022-07-12 Snap Inc. Guided personal identity based actions
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
US9521515B2 (en) 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
US10223397B1 (en) 2015-03-13 2019-03-05 Snap Inc. Social graph based co-location of network users
WO2016149594A1 (en) 2015-03-18 2016-09-22 Allen Nicholas Richard Geo-fence authorization provisioning
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
US10817898B2 (en) 2015-08-13 2020-10-27 Placed, Llc Determining exposures to content presented by physical objects
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10430838B1 (en) 2016-06-28 2019-10-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections with automated advertising
US10733255B1 (en) 2016-06-30 2020-08-04 Snap Inc. Systems and methods for content navigation with automated curation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
KR102606785B1 (ko) 2016-08-30 2023-11-29 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
CN106331741B (zh) * 2016-08-31 2019-03-08 徐州视达坦诚文化发展有限公司 一种电视广播媒体音视频数据的压缩方法
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
CN112738408B (zh) 2016-11-07 2022-09-16 斯纳普公司 图像修改器的选择性识别和排序
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10915911B2 (en) 2017-02-03 2021-02-09 Snap Inc. System to determine a price-schedule to distribute media content
US11250075B1 (en) 2017-02-17 2022-02-15 Snap Inc. Searching social media content
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US11170393B1 (en) 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
CN117520684A (zh) 2017-04-27 2024-02-06 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US10467147B1 (en) 2017-04-28 2019-11-05 Snap Inc. Precaching unlockable data elements
US10803120B1 (en) 2017-05-31 2020-10-13 Snap Inc. Geolocation based playlists
US11475254B1 (en) 2017-09-08 2022-10-18 Snap Inc. Multimodal entity identification
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10499191B1 (en) 2017-10-09 2019-12-03 Snap Inc. Context sensitive presentation of content
US10573043B2 (en) 2017-10-30 2020-02-25 Snap Inc. Mobile-based cartographic control of display content
US11265273B1 (en) 2017-12-01 2022-03-01 Snap, Inc. Dynamic media overlay with smart widget
US11017173B1 (en) 2017-12-22 2021-05-25 Snap Inc. Named entity recognition visual context and caption data
US10678818B2 (en) 2018-01-03 2020-06-09 Snap Inc. Tag distribution visualization system
US11507614B1 (en) 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10885136B1 (en) 2018-02-28 2021-01-05 Snap Inc. Audience filtering system
US10327096B1 (en) 2018-03-06 2019-06-18 Snap Inc. Geo-fence selection system
KR102494540B1 (ko) 2018-03-14 2023-02-06 스냅 인코포레이티드 위치 정보에 기초한 수집가능한 항목들의 생성
US11163941B1 (en) 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items
US10219111B1 (en) 2018-04-18 2019-02-26 Snap Inc. Visitation tracking system
US10896197B1 (en) 2018-05-22 2021-01-19 Snap Inc. Event detection system
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10778623B1 (en) 2018-10-31 2020-09-15 Snap Inc. Messaging and gaming applications communication platform
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11249614B2 (en) 2019-03-28 2022-02-15 Snap Inc. Generating personalized map interface with enhanced icons
US10810782B1 (en) 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system
US10560898B1 (en) 2019-05-30 2020-02-11 Snap Inc. Wearable device location systems
US10582453B1 (en) 2019-05-30 2020-03-03 Snap Inc. Wearable device location systems architecture
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11821742B2 (en) 2019-09-26 2023-11-21 Snap Inc. Travel based notifications
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11228551B1 (en) 2020-02-12 2022-01-18 Snap Inc. Multiple gateway message exchange
US11516167B2 (en) 2020-03-05 2022-11-29 Snap Inc. Storing data based on device location
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11350103B2 (en) * 2020-03-11 2022-05-31 Videomentum Inc. Methods and systems for automated synchronization and optimization of audio-visual files
US10956743B1 (en) 2020-03-27 2021-03-23 Snap Inc. Shared augmented reality system
US11430091B2 (en) 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11483267B2 (en) 2020-06-15 2022-10-25 Snap Inc. Location sharing using different rate-limited links
US11290851B2 (en) 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11314776B2 (en) 2020-06-15 2022-04-26 Snap Inc. Location sharing using friend list versions
US11503432B2 (en) 2020-06-15 2022-11-15 Snap Inc. Scalable real-time location sharing framework
US11308327B2 (en) 2020-06-29 2022-04-19 Snap Inc. Providing travel-based augmented reality content with a captured image
US11349797B2 (en) 2020-08-31 2022-05-31 Snap Inc. Co-location connection service
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11606756B2 (en) 2021-03-29 2023-03-14 Snap Inc. Scheduling requests for location data
US11645324B2 (en) 2021-03-31 2023-05-09 Snap Inc. Location-based timeline media content system
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11829834B2 (en) 2021-10-29 2023-11-28 Snap Inc. Extended QR code
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4057830A (en) * 1972-06-27 1977-11-08 Texas Instruments Incorporated Electronic photography system
GB8910380D0 (en) 1989-05-05 1989-06-21 Quantel Ltd Video processing
JP3362362B2 (ja) 1992-01-08 2003-01-07 日本電信電話株式会社 マルチ情報カメラ
JP2892901B2 (ja) 1992-04-27 1999-05-17 インターナショナル・ビジネス・マシーンズ・コーポレイション プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JP3230858B2 (ja) 1992-11-26 2001-11-19 松下電器産業株式会社 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置
JP3134568B2 (ja) 1993-01-13 2001-02-13 ソニー株式会社 画像記録装置
US5552824A (en) 1993-02-18 1996-09-03 Lynx System Developers, Inc. Line object scene generation apparatus
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
EP0838767A3 (en) 1996-10-22 2003-05-14 Fuji Photo Film Co., Ltd. Picture image filing method and device
US5956458A (en) 1996-11-07 1999-09-21 Sharp Laboratories Of America, Inc. System and method for determining representative frames of video captured by a video camera
JP4454704B2 (ja) 1997-02-04 2010-04-21 株式会社ニコン 画像処理装置
JP2000069442A (ja) * 1998-08-24 2000-03-03 Sharp Corp 動画システム
KR100302406B1 (ko) 1998-08-25 2001-09-29 전주범 리모콘제어신호송수신장치
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
JP2000253111A (ja) 1999-03-01 2000-09-14 Toshiba Corp 無線携帯端末

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098730B2 (en) 2002-11-01 2012-01-17 Microsoft Corporation Generating a motion attention model
US7565016B2 (en) 2003-02-18 2009-07-21 Microsoft Corporation Learning-based automatic commercial content detection
JP2010267292A (ja) * 2004-06-22 2010-11-25 Digimarc Corp デジタル資産管理、ターゲットを定めたサーチ、及びデジタル透かしを使用するデスクトップサーチ
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US9355684B2 (en) 2004-07-28 2016-05-31 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US8306385B2 (en) 2005-04-15 2012-11-06 Sony Corporation Recording apparatus and mount control method
JP2006303633A (ja) * 2005-04-15 2006-11-02 Sony Corp ビデオカメラ及びマウント制御方法
JP4636320B2 (ja) * 2005-04-15 2011-02-23 ソニー株式会社 ビデオカメラ及びマウント制御方法
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
JP2010161512A (ja) * 2009-01-06 2010-07-22 Panasonic Corp 映像記録装置および映像記録方法

Also Published As

Publication number Publication date
US20020122659A1 (en) 2002-09-05
EP1213915A3 (en) 2004-06-16
EP1213915A2 (en) 2002-06-12
GB0029880D0 (en) 2001-01-24
US7409144B2 (en) 2008-08-05

Similar Documents

Publication Publication Date Title
JP2002238027A (ja) ビデオ及びオーディオ情報処理
US8238718B2 (en) System and method for automatically generating video cliplets from digital video
JP4261644B2 (ja) マルチメディア編集方法及び装置
US6014183A (en) Method and apparatus for detecting scene changes in a digital video stream
US6970639B1 (en) System and method for editing source content to produce an edited content sequence
US20150287436A1 (en) Display control apparatus, display control method, and program
EP1168840A2 (en) Method and apparatus for special video reproduction modes
JP4200741B2 (ja) ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム
JP4803544B2 (ja) オーディオ／ビデオ再生装置及び方法
US20110085025A1 (en) Stereographic Cinematography Metadata Recording
JPH09107517A (ja) 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
JPH11507184A (ja) 同時圧縮方式デジタルビデオ制作システム
JP3636830B2 (ja) インテリジェントビデオカメラ及びインテリジェントスチルカメラ
EP2160892B1 (en) Method and system for facilitating creation of content
US5790236A (en) Movie processing system
US20080320046A1 (en) Video data management apparatus
US8134738B2 (en) Data edition system, data edition method, data processing device, and server device
US20020141733A1 (en) Replaying video information
EP1420407B1 (en) Method and apparatus for controlling editing image display
JP2008131617A (ja) 映像処理装置
JP3629764B2 (ja) 映像信号記録装置、記録方法、編集方法及びそのシステム
JP2002238026A (ja) ビデオ編集
US20060077265A1 (en) Picture management method, picture management apparatus, picture management system
US20050232586A1 (en) Editing apparatus, editing method, program, and recording medium
US7403655B2 (en) Moving picture system and moving picture extraction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070313