JP2018042253A - シーン不変化されたメタデータを生成するためのシステムおよび方法 - Google Patents
シーン不変化されたメタデータを生成するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2018042253A JP2018042253A JP2017197969A JP2017197969A JP2018042253A JP 2018042253 A JP2018042253 A JP 2018042253A JP 2017197969 A JP2017197969 A JP 2017197969A JP 2017197969 A JP2017197969 A JP 2017197969A JP 2018042253 A JP2018042253 A JP 2018042253A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- metadata
- video
- invariant
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims 1
- 238000009877 rendering Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 102000020897 Formins Human genes 0.000 description 1
- 108091022623 Formins Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004557 technical material Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
る。すなわち、シーンの集合を含む映像データストリームを受け取ることと、前記シーンの集合について、前記シーンの集合に関連する第1のメタデータを生成することと、シーン不変的なメタデータのセットを生成することと、少なくとも1つのシーンについて、シーン不変的なメタデータを前記少なくとも1つのシーンに関連付けることである。
時間的安定性を得るため(例えば、ちらつき、脈動、フェーディングなどがないように)、また、ターゲットディスプレイ上での再生映像における邪魔になる可能性のある視覚的アーチファクトを緩和するために、映像データに関連付けられるメタデータは、概して時間的に安定であることが望ましいといえる。これはいくつかの実施形態においては、一シーンの持続期間にわたってメタデータの安定性を図ることにより、実現される。そのようなメタデータは、各シーンカットにおいて変化することが許されてもよい。そのような場合、コンテンツに適応したメタデータの変化は、視聴者にとって目立たないものであり得る。
上記すべてについて、その開示全体を本願において参考のため援用する。
の環境システム(それぞれ100、200、206)を全体的に示す。これらのシステムは、エンドツーエンドの映像生成/送信/視聴映像パイプラインの可能性を表しており、例えば、映像が撮影され、シーン単位のメタデータが抽出されて映像ストリームに入れられて配信され、ターゲットディスプレイに送られて視聴される。
(1)メタデータ225を生成する、またはメタデータ225のパラメータを受け取ること、
(2)映像データ123中のメタデータ225を、そのような映像データが下流機器に伝えられる前に、符号化すること、
(3)上流機器から受け取った映像データ123から、メタデータ225を復号化すること、
(4)映像データの処理および/または表示をガイドするために、メタデータ225を処理および適用すること、
(5)画像および/または映像データ123に基づいて、メタデータ225を符号化する方法を選択すること、
(6)および/またはその他。
リ(これらは例えば、メタデータのエンコーダおよびデコーダに、どのようにしてメタデータを生成および/または読み出しするかを知らせる)および、予約語114のリスト(例えば保護されている画素値、あるいは予約されたメタデータワード)を含み得る。メタデータ定義112のライブラリは、メタデータの生成、符号化および/または処理の際に、サブシステム102、103および104によってアクセスされ得る。メタデータ225を符号化または復号化するに際して、符号化/復号化されたメタデータビットに対して予約語114を比較することにより、メタデータストリームに挿入しようとしている(または挿入された)ガードビットのシーケンスを識別することができ、これにより、予約語の伝達を防ぎ得る。図1に例示した実施形態では共有されたリポジトリ110を示しているが、他の実施形態において、サブシステム102、103および104のそれぞれが、そのサブシステムによりアクセスされることが可能な記憶媒体に格納された、ローカルリポジトリ110を備えてもよい。
ータ225B2とを含み得る。ポストプロダクションメタデータ225Bは、ブロック2
10の表示構成などの、映像供給パイプライン200における後のステップをガイドするために用いられ得る。
トプロダクション編集で用いられる、リファレンスディスプレイ構成およびスタジオまたは視聴環境を記述していてもよい。例えば、ブロック204のポストプロダクション編集において映像データ123を表示するために用いられるリファレンスディスプレイに関して、リファレンスディスプレイおよび環境メタデータ225B1は、以下のパラメータを
含み得る。
(1)微細な解像度における、リファレンスディスプレイのトーンおよび色域範囲を記
述する、3D色域マッピング、
(2)リファレンスディスプレイのトーンおよび色域範囲を定義する、(3D色域マッピングを推測するために用い得る)縮小したパラメータセット、
(3)各クロミナンスチャンネルについて、リファレンスディスプレイのトーンレスポンスを記述する、システムのトーンレスポンスパラメータ、
(4)画面サイズ、
(5)および/またはその他
ポストプロダクション編集において、リファレンスディスプレイ上で映像コンテンツがカラータイミングを取られたまたは編集されたスタジオ環境を記述する、パラメータを含んでいてもよい。そのようなパラメータは、周囲輝度および周囲色温度を含み得る。
情報を含む、ポストプロダクション編集された映像コンテンツを記述していてもよい。
(1)トーンマッピング(例えば、ディスプレイにおけるトーン拡張をガイドするために用いられ得る、カスタマイズされたトーンマッピングパラメータまたは曲線)および色域マッピング(例えば、ディスプレイにおける色域拡張をガイドするために用いられ得る、カスタマイズされた色域マッピングパラメータなど)、
(2)シーンにおいて重要と考えられる最低黒レベルのレベル(例えば車の下の影など)、
(3)あるシーンの最も重要な部分に対応するレベル(例えば俳優の顔など)、
(4)シーンにおいて重要と考えられる最高白レベルのレベル(例えば電球の中心など)、
(5)シーンにおける最大色度の色(例えばネオンライトなど)、
(6)画像内の光源、または画像内の反射体または発光体の位置マップ、
(7)映像ソースコンテンツの色域、
(8)画像中の、わざとリファレンスディスプレイの色域の外にカラータイミングされている領域、
(9)ビデオプロセッサによる表示前の処理中や表示構成中に変更されるべきでない、保護されているカラー、
(10)画像を輝度または色域的に特徴付ける画像ヒストグラム(例えばこのような情報は、下流機器がトーンおよび色域マッピングを整えるために平均輝度を決定するために用いられ得る)、
(11)以前の映像フレームからの統計またはヒステリシスが既に有効ではないことを下流機器に警告する、シーンチェンジまたはリセットフラグ、
(12)動いている物体を識別し映像コンテンツを特徴付ける、モーションマップ(下流機器は、これを光源位置マップとともに用いてトーンおよび色域マッピングをガイドし得る)、
(13)カラータイミングされているコンテンツのソースの標示(例えばカメラから直接、あるいはポストプロダクション編集)、
(14)デコーダ/テレビその他のディスプレイなどの下流機器を制御するために用い得る、ディレクターの制作意図設定であって、例えばそのような設定は、ディスプレイが特定のモードで動作する能力を提供する、表示モード制御(例えば、鮮やか、シネマ、スタンダード、プロフェッショナルなど)・適切な色域またはトーンマッピングなどを決定するために用いられ得る、コンテンツタイプ(例えばアニメーション、ドラマ、スポーツ、ゲームなど)を含む、
(15)および/またはその他。
2Bに示されるように供給パイプライン206は、衛星、ケーブルまたはハイデフィニションネットワーク、IPまたは無線ネットワーク、あるいはDVDその他の記憶媒体などの映像配信媒体125を介して、映像データ123の配信、放送または送信を行わせるための、エンコーダ段127Aを有し得る。媒体125を介して配信された映像データ123を復号化するためのデコーダ段127Bが、ブロック206のディスプレイ側に設けられ得る。デコーダ段127Bは、例えばセットトップボックスや、表示サブシステム内のデコーダによって実現されてもよい。ブロック206および/または208において、視聴環境メタデータ225Cおよび/またはその他のメタデータ225を、映像データ123に埋め込み得る。視聴環境メタデータ225Cは例えば、以下のものを含み得る。
(2)検索またはインデックス化のための映像コンテンツの記述を提供する、フィンガープリント化データ、
(3)誰が映像コンテンツを所有するかおよび/または誰がそれに対するアクセスを有するかを示す、保護データ、
(4)および/またはその他。
、デコーダ段127Bおよび/またはブロック208のビデオプロセッサにおける、映像データ103の分析によって作成または提供されてもよい。
ス映像コンテンツ特性定義メタデータ225B2を含む)および視聴環境メタデータ22
5Cなどに基づいて、決定し得る。これらのパラメータに従ってディスプレイが構成される。映像データ123を、ディスプレイに出力する。
前述したように、映像ファイル中のメタデータは、シーン単位で取得することが望ましい場合があり得る。本明細書に記載されるように、本願のいくつかの実施形態においては、シーン単位でメタデータを取得(例えば輝度、色域その他に基づき)してもよい。特に一実施形態においては、同一および/または同様なシーンにわたって適用され得るような、「不変的な」メタデータのセットを提供してもよい。
ンがその輝度を減少(おそらくはゼロまで)し、その一方で別のシーンが低い(例えばゼロの)輝度から開始して最大輝度に至るような、「ディゾルブ」(または「クロスフェード」)手法を利用し得る。そのようなディゾルブまたはクロスフェードは、画面上の俳優に対するフラッシュバックを表現したり、または他の目的で用いられることがある。
いるかもしれない。EDLは、いくつかの異なるショットから映画を制作するために用いられ得る。ある一実施形態において、EDLを抽出して、それを用いてシーンの範囲を規定してもよい。このようにすれば、追加的な労力は少なくて済むか、全く必要ない。さらに、ユーザーは自動的に決定された(または抽出された)シーンカットを上書きすることもできる。
(1)MIN、MID、およびMAX輝度を、1シーン内の各フレームについて算出する。そしてその結果をそのシーン全体についてまとめる。
a.MINについては、1シーン内の全フレームの全最小値のうち最小値を取る。
b.MIDについては、1シーン内の全フレームの全中間値のうち中間(平均)値を取る。
c.MAXについては、1シーン内の全フレームの全最大値のうち最大値を取る。
対するメタデータを、第1のシーン(例えば第2のシーンとは異なる)について算出されたメタデータで置き換えてもよい。第2のシーンは、第1のシーンの後でも前でもよい。
いくつかの実施形態においては、最大性能を達成するため、マッピング動作は画像コンテンツ依存であってもよい。そのような画像依存的マッピングは、ソースコンテンツから生成されるメタデータによって、制御され得る。時間的安定性を得るため(例えば、ちらつき、脈動、フェーディングなどがないように)、メタデータは概して時間的に安定であることが望ましいといえる。一実施形態においてこれは、一シーンの持続期間にわたってメタデータの安定性を図ることにより支配され得る。メタデータは、各シーンカットにおいて変化させてもよい。そのような場合、コンテンツに適応したメタデータの急激な変化は、視聴者にとって目立たないかもしれない。
(1)映像データ中におけるシーンカットの位置を取得する。一実施形態において、これは編集リスト(EDL)から導出され得る。または、これは人間によって手動入力されるか、あるいはプロセッサにより自動的に検出されてもよい。
(2)シーン中のフレームについて、メタデータを算出および/または生成する。すなわち、
a.随意に画像をダウンサンプリング(これは、処理を高速化する傾向にあり、もし数個の外れ画素値があったとしてもその効果を最小にする)
b.画像を所望の色空間(例えばIPT−PQ)に変換
c.画像の最小値を算出(例えばIチャンネル)
d.画像の最大値を算出(例えばIチャンネル)
e.画像の算術平均値を算出(例えばIチャンネル)。
(3)フレームごとの結果をシーンごとの結果にまとめる、すなわち
a.フレームの最小値のそれぞれの、最小値を算出
b.フレームの最大値のそれぞれの、最大値を算出
c.フレームの算術平均のそれぞれの、算術平均を算出。
(4)メタデータを、シーン、あるいはシーン内の各フレームに関連付ける。
(1)同一シーン内において、毎フレームにつきメタデータを繰り返す
(2)メタデータ本体中、実質的に次のフレームにおいて起こるシーンカットのインジケータ/フラグを追加する
(3)メタデータ本体中、現フレームにおいて起こるシーンカットのインジケータ/フラグを追加する
(4)次のフレームのメタデータが、現フレームのメタデータと実質的に同一である(または実質的に異なる)ことを示すインジケータ/フラグを追加する、および/または
(5)エラーチェック(例えばCRC32など)のためのデータ完全性フィールドを、メタデータ本体に追加する。
パイプラインは506において、新しいシーンの実際の第1番目のフレームよりも所望の数の(例えば1つ以上の)フレームだけ前に、差し迫っているシーンチェンジの標示を前もって追加してもよい。この標示および/またはフラグは、ビットストリームの一部を構成していて、DM(またはパイプライン内の他の適切なプロセッサ)がこれを通知されてもよい。508においてシステムは、シーンチェンジよりも前もってパラメータおよび/またはマッピングをインストールする時間を、DM(または他の適切なプロセッサ)に与えてもよい。この追加的な時間によりシステムは、映像コンテンツの視聴者にとって邪魔であり得る目立つアーチファクトを回避する機会を得る。
Claims (15)
- 複数のシーンを有する映像ストリームを処理するための映像エンコーダにおいて、シーン不変的なメタデータを用いる方法であって、
前記映像ストリーム中のシーンの集合内の第1のシーンに関連付けられたメタデータの第1のセットを生成する工程と、
前記映像ストリーム中の前記シーンの集合内の第2のシーンに関連付けられたメタデータの第2のセットを生成する工程と、
シーン不変的なメタデータを生成する工程と、
前記シーン不変的なメタデータを、前記シーンの集合内の第2のシーンに関連付ける工程と、
を包含する、方法。 - シーンはシーンカットを用いて決定され、シーンカットは、プロセッサによる自動、手動、または編集リスト(edit decision list)に基づく、を含む1つ以上のシーンチェンジ検出法によって検出される、請求項1に記載の方法。
- 前記シーンの集合内の第1のシーンに関連付けられたメタデータの第1のセットを生成する工程は、
前記シーン中の各フレームについてMIN、MID、およびMAX輝度を算出すること、および
前記シーンの全フレーム間でのMIN、MID、およびMAX輝度を算出すること
を包含する、請求項1に記載の方法。 - 前記シーン不変的なメタデータを生成する工程は、
1つのシーン内の特徴部を監視して、前記シーンについての前記シーン不変的なメタデータを決定すること
をさらに包含する、請求項1に記載の方法。 - 前記第2のシーンは前記第1のシーンより後である、請求項1に記載の方法。
- 前記第2のシーンは前記第1のシーンより前である、請求項1に記載の方法。
- 前記シーン不変的なメタデータを前記第2のシーンに関連付ける工程は、
前記第2のシーン内の全てのフレームについて、前記メタデータを繰り返すこと
をさらに包含する、請求項1に記載の方法。 - 前記シーン不変的なメタデータを前記第2のシーンに関連付ける工程は、
シーンカットの標示を、前記第1のシーン内の実質的に次のフレームに追加すること
をさらに包含する、請求項1に記載の方法。 - 前記シーン不変的なメタデータを前記第2のシーンに関連付ける工程は、シーンカットの標示を現フレームに追加すること
をさらに包含する、請求項1に記載の方法。 - 複数のシーンを有する映像ストリームを処理するための映像デコーダにおいて、シーン不変的なメタデータを用いる方法であって、
シーンの集合を含む、入力映像データストリームを受け取ることと、
現シーン内の、シーン不変的なメタデータの集合を受け取ることと、
前記入力映像データストリーム中の第1のシーンについて、差し迫っているシーンチェンジの予告的な標示を受け取ることと、
前記シーン不変的なメタデータの集合を、前記第1のシーン内の映像フレームに関連付けること
を包含する、方法。 - 前記入力映像データストリーム中の第2のシーンについて、差し迫っているシーンチェンジの標示を受け取ることと、
前記シーン不変的なメタデータの集合を、前記第2のシーン内の映像フレームに関連付けること
をさらに包含する、請求項10に記載の方法。 - 前記シーン不変的なメタデータの集合は、1つのシーンについてのMIN、MID、およびMAX輝度を含む、
請求項10に記載の方法。 - 前記シーン不変的なメタデータの集合は、1つのシーン内の監視される特徴部を、許容可能な値の範囲内に保つことに基づいている、請求項10に記載の方法。
- 前記監視される特徴部は、肌色トーン、光る特徴部、暗い特徴部およびカラー特徴部からなる群より選択される1つである、請求項13に記載の方法。
- 前記第1のシーンについての差し迫っているシーンチェンジに対し前もって、前記第1のシーン内のフレームを表示するための、ディスプレイ管理パラメータを用意すること
をさらに包含する、請求項10に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361859956P | 2013-07-30 | 2013-07-30 | |
US61/859,956 | 2013-07-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531791A Division JP6227778B2 (ja) | 2013-07-30 | 2014-07-28 | シーン不変化されたメタデータを生成するためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018042253A true JP2018042253A (ja) | 2018-03-15 |
JP6334799B2 JP6334799B2 (ja) | 2018-05-30 |
Family
ID=51392348
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531791A Active JP6227778B2 (ja) | 2013-07-30 | 2014-07-28 | シーン不変化されたメタデータを生成するためのシステムおよび方法 |
JP2017197969A Active JP6334799B2 (ja) | 2013-07-30 | 2017-10-11 | シーン不変化されたメタデータを生成するためのシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016531791A Active JP6227778B2 (ja) | 2013-07-30 | 2014-07-28 | シーン不変化されたメタデータを生成するためのシステムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (2) | US9607658B2 (ja) |
EP (2) | EP3425899B1 (ja) |
JP (2) | JP6227778B2 (ja) |
KR (2) | KR101775938B1 (ja) |
CN (2) | CN108831511B (ja) |
BR (1) | BR122020018850B1 (ja) |
HK (2) | HK1259138A1 (ja) |
RU (1) | RU2627048C1 (ja) |
TW (2) | TWI555392B (ja) |
WO (1) | WO2015017314A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2989793B1 (en) | 2013-11-13 | 2017-04-05 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of enhanced dynamic range video |
US10009632B2 (en) * | 2014-03-05 | 2018-06-26 | Qualcomm Incorporated | Flicker detection and mitigation in video coding |
JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
WO2016056787A1 (en) * | 2014-10-06 | 2016-04-14 | Samsung Electronics Co., Ltd. | Display device and method of controlling the same |
CN112511833A (zh) | 2014-10-10 | 2021-03-16 | 索尼公司 | 再现装置 |
WO2016129891A1 (ko) * | 2015-02-11 | 2016-08-18 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
US10430664B2 (en) * | 2015-03-16 | 2019-10-01 | Rohan Sanil | System for automatically editing video |
KR101974137B1 (ko) * | 2015-05-11 | 2019-08-23 | 삼성전자주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
EP3295451B1 (en) | 2015-05-12 | 2020-07-01 | Dolby Laboratories Licensing Corporation | Metadata filtering for display mapping for high dynamic range images |
GB201511450D0 (en) * | 2015-06-30 | 2015-08-12 | British Broadcasting Corp | Audio-video content control |
EP3185570A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method and apparatus for transmission-based smoothing of rendering |
US10167694B2 (en) * | 2016-08-31 | 2019-01-01 | Weatherford Technology Holdings, Llc | Pressure control device, and installation and retrieval of components thereof |
US10847073B2 (en) * | 2016-10-17 | 2020-11-24 | Huawei Technologies Co., Ltd. | Image display optimization method and apparatus |
EP3316248A1 (en) * | 2016-10-28 | 2018-05-02 | Thomson Licensing | Method for adapting a luminance of a multimedia content, corresponding computer program product and apparatus |
US10438124B2 (en) | 2017-01-25 | 2019-10-08 | Centurylink Intellectual Property Llc | Machine discovery of aberrant operating states |
US10346756B2 (en) | 2017-01-25 | 2019-07-09 | Centurylink Intellectual Property Llc | Machine discovery and rapid agglomeration of similar states |
EP3697098A1 (en) * | 2017-10-12 | 2020-08-19 | Sony Corporation | Image processing device, image processing method, transmission device, transmission method and reception device |
KR102413839B1 (ko) | 2017-11-15 | 2022-06-28 | 삼성전자 주식회사 | 컨텐츠 제공장치, 그 제어방법 및 기록매체 |
US10657627B2 (en) | 2018-01-23 | 2020-05-19 | Gopro, Inc. | Temporal smoothing in image capture systems |
US10298895B1 (en) | 2018-02-15 | 2019-05-21 | Wipro Limited | Method and system for performing context-based transformation of a video |
US11030728B2 (en) * | 2018-05-29 | 2021-06-08 | Apple Inc. | Tone mapping techniques for increased dynamic range |
KR102369148B1 (ko) | 2018-06-18 | 2022-03-02 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 이미지 캡처 방법 및 시스템 |
KR102572432B1 (ko) * | 2018-07-03 | 2023-08-30 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법과 기록매체 |
GB2578625A (en) * | 2018-11-01 | 2020-05-20 | Nokia Technologies Oy | Apparatus, methods and computer programs for encoding spatial metadata |
US11184551B2 (en) * | 2018-11-07 | 2021-11-23 | Canon Kabushiki Kaisha | Imaging apparatus and control method thereof |
JP7246894B2 (ja) * | 2018-11-07 | 2023-03-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN109525901B (zh) * | 2018-11-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
KR102666909B1 (ko) | 2019-06-19 | 2024-05-20 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
KR20210083840A (ko) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 |
EP4158897A1 (en) * | 2020-05-26 | 2023-04-05 | Dolby Laboratories Licensing Corporation | Picture metadata for variable frame-rate video |
US11930189B2 (en) * | 2021-09-30 | 2024-03-12 | Samsung Electronics Co., Ltd. | Parallel metadata generation based on a window of overlapped frames |
WO2023055736A1 (en) | 2021-10-01 | 2023-04-06 | Dolby Laboratories Licensing Corporation | Encoding and decoding multiple-intent images and video using metadata |
US11734806B2 (en) | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000511743A (ja) * | 1997-03-22 | 2000-09-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 映像信号の解析と記憶 |
JP2003299010A (ja) * | 2002-04-05 | 2003-10-17 | Sony Corp | 映像コンテンツ編集支援システム,撮像装置,編集者端末装置,記録媒体,コンピュータプログラム,映像コンテンツ編集支援システム, |
JP2003304417A (ja) * | 2002-04-08 | 2003-10-24 | Olympus Optical Co Ltd | 撮像システム |
JP2008264530A (ja) * | 2007-03-28 | 2008-11-06 | Toshiba Corp | 超音波診断装置、超音波画像処理装置及び超音波画像処理方法 |
JP2010062920A (ja) * | 2008-09-04 | 2010-03-18 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2011223054A (ja) * | 2010-04-02 | 2011-11-04 | Canon Inc | 画像処理装置および画像処理方法 |
WO2012166382A2 (en) * | 2011-05-27 | 2012-12-06 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
JP2013527996A (ja) * | 2010-02-22 | 2013-07-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5724456A (en) * | 1995-03-31 | 1998-03-03 | Polaroid Corporation | Brightness adjustment of images using digital scene analysis |
JP3825615B2 (ja) * | 2000-08-11 | 2006-09-27 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体 |
KR100912984B1 (ko) | 2002-04-12 | 2009-08-20 | 미쓰비시덴키 가부시키가이샤 | 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법 |
JP4263933B2 (ja) * | 2003-04-04 | 2009-05-13 | 日本放送協会 | 映像提示装置、映像提示方法及び映像提示プログラム |
US7986372B2 (en) * | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
CN101032165B (zh) * | 2004-08-17 | 2010-06-16 | 松下电器产业株式会社 | 制作装置、制作方法 |
JP4954901B2 (ja) * | 2005-02-07 | 2012-06-20 | トムソン ライセンシング | 24Hzフレーム周波数のビデオ信号に基づくオーディオ/ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置 |
JP4536015B2 (ja) * | 2005-02-14 | 2010-09-01 | 富士フイルム株式会社 | 輝度変換曲線作成装置および方法,ならび輝度変換曲線作成プログラム |
JP2006331591A (ja) * | 2005-05-30 | 2006-12-07 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US7656462B2 (en) * | 2005-06-17 | 2010-02-02 | Martin Weston | Systems and methods for modifying master film for viewing at different viewing locations |
JP4592652B2 (ja) * | 2005-09-09 | 2010-12-01 | 株式会社東芝 | 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム |
US7639893B2 (en) * | 2006-05-17 | 2009-12-29 | Xerox Corporation | Histogram adjustment for high dynamic range image mapping |
US8458595B1 (en) * | 2006-05-31 | 2013-06-04 | Adobe Systems Incorporated | Video editing including simultaneously displaying timelines and storyboards |
JP4197014B2 (ja) * | 2006-07-18 | 2008-12-17 | 株式会社日立製作所 | 映像の検索方法および装置 |
EP2063635A4 (en) * | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
US20080195977A1 (en) * | 2007-02-12 | 2008-08-14 | Carroll Robert C | Color management system |
US8478331B1 (en) | 2007-10-23 | 2013-07-02 | Clearwire Ip Holdings Llc | Method and system for transmitting streaming media content to wireless subscriber stations |
US8237864B2 (en) | 2007-11-12 | 2012-08-07 | Cyberlink Corp. | Systems and methods for associating metadata with scenes in a video |
KR101444834B1 (ko) * | 2008-01-31 | 2014-09-26 | 톰슨 라이센싱 | 보기 데이터 정의 및 송신을 위한 방법 및 시스템 |
ES2389458T3 (es) | 2008-07-10 | 2012-10-26 | The University Of Warwick | Métodos y dispositivos para la compresión de datos de vídeo HDR |
MX2010011683A (es) * | 2009-02-19 | 2010-11-30 | Panasonic Corp | Medio de grabacion, dispositivo de reproduccion y circuito integrado. |
BRPI1009443B1 (pt) | 2009-03-13 | 2021-08-24 | Dolby Laboratories Licensing Corporation | Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada |
JP5493531B2 (ja) | 2009-07-17 | 2014-05-14 | 三菱電機株式会社 | 映像音声記録再生装置および映像音声記録再生方法 |
US9226048B2 (en) | 2010-02-22 | 2015-12-29 | Dolby Laboratories Licensing Corporation | Video delivery and control by overwriting video data |
WO2011106247A2 (en) | 2010-02-24 | 2011-09-01 | Dolby Laboratories Licensing Corporation | Display management methods and apparatus |
US8928686B2 (en) | 2010-06-08 | 2015-01-06 | Dolby Laboratories Licensing Corporation | Tone and gamut mapping methods and apparatus |
CN103098453B (zh) | 2010-09-13 | 2016-12-21 | 杜比实验室特许公司 | 使用色域外颜色坐标的数据传输 |
US9113130B2 (en) * | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
EP2498499B1 (en) | 2011-03-08 | 2018-04-18 | Dolby Laboratories Licensing Corporation | Interpolation of color gamut for display on target display |
TWI538473B (zh) * | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
US9035965B2 (en) | 2011-12-06 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Metadata for use in color grading |
TWI556629B (zh) | 2012-01-03 | 2016-11-01 | 杜比實驗室特許公司 | 規定視覺動態範圍編碼操作及參數 |
JP6236148B2 (ja) * | 2013-10-02 | 2017-11-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdmiを介したディスプレイマネジメントメタデータの送信 |
EP2989793B1 (en) * | 2013-11-13 | 2017-04-05 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of enhanced dynamic range video |
-
2014
- 2014-07-28 TW TW105113276A patent/TWI555392B/zh active
- 2014-07-28 BR BR122020018850-2A patent/BR122020018850B1/pt active IP Right Grant
- 2014-07-28 RU RU2016102884A patent/RU2627048C1/ru active
- 2014-07-28 EP EP18185788.9A patent/EP3425899B1/en active Active
- 2014-07-28 CN CN201810682570.1A patent/CN108831511B/zh active Active
- 2014-07-28 EP EP14755201.2A patent/EP3028446A1/en not_active Ceased
- 2014-07-28 CN CN201480042828.1A patent/CN105409203B/zh active Active
- 2014-07-28 TW TW103125711A patent/TWI542206B/zh active
- 2014-07-28 US US14/906,306 patent/US9607658B2/en active Active
- 2014-07-28 KR KR1020167002689A patent/KR101775938B1/ko active IP Right Grant
- 2014-07-28 WO PCT/US2014/048387 patent/WO2015017314A1/en active Application Filing
- 2014-07-28 KR KR1020177004730A patent/KR102051798B1/ko active IP Right Grant
- 2014-07-28 JP JP2016531791A patent/JP6227778B2/ja active Active
-
2016
- 2016-04-29 HK HK19101100.4A patent/HK1259138A1/zh unknown
- 2016-04-29 HK HK16104981.5A patent/HK1217068A1/zh unknown
-
2017
- 2017-01-17 US US15/408,262 patent/US10553255B2/en active Active
- 2017-10-11 JP JP2017197969A patent/JP6334799B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000511743A (ja) * | 1997-03-22 | 2000-09-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 映像信号の解析と記憶 |
JP2003299010A (ja) * | 2002-04-05 | 2003-10-17 | Sony Corp | 映像コンテンツ編集支援システム,撮像装置,編集者端末装置,記録媒体,コンピュータプログラム,映像コンテンツ編集支援システム, |
JP2003304417A (ja) * | 2002-04-08 | 2003-10-24 | Olympus Optical Co Ltd | 撮像システム |
JP2008264530A (ja) * | 2007-03-28 | 2008-11-06 | Toshiba Corp | 超音波診断装置、超音波画像処理装置及び超音波画像処理方法 |
JP2010062920A (ja) * | 2008-09-04 | 2010-03-18 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2013527996A (ja) * | 2010-02-22 | 2013-07-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 |
JP2011223054A (ja) * | 2010-04-02 | 2011-11-04 | Canon Inc | 画像処理装置および画像処理方法 |
WO2012166382A2 (en) * | 2011-05-27 | 2012-12-06 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
Non-Patent Citations (2)
Title |
---|
"「ユーリードシステムズ DVD Workshop 2 Professional」", DOS/V MAGAZINE, vol. 13, no. 8, JPN6017046326, 1 May 2004 (2004-05-01), JP, pages 136, ISSN: 0003697007 * |
LAUGA, P., ET AL.: ""REGION-BASED TONE MAPPING FOR EFFICIENT HIGH DYNAMIC RANGE VIDEO CODING"", PROCEEDINGS OF 4TH EUROPEAN WORKSHOP ON VISUAL INFORMATION PROCESSING (EUVIP), JPN6017034534, June 2013 (2013-06-01), pages 208 - 213, XP032500384, ISSN: 0003770254 * |
Also Published As
Publication number | Publication date |
---|---|
TW201521435A (zh) | 2015-06-01 |
CN105409203A (zh) | 2016-03-16 |
BR112016001639A2 (pt) | 2017-08-01 |
KR20170021384A (ko) | 2017-02-27 |
US9607658B2 (en) | 2017-03-28 |
RU2627048C1 (ru) | 2017-08-03 |
EP3028446A1 (en) | 2016-06-08 |
CN108831511B (zh) | 2020-10-23 |
KR20160027975A (ko) | 2016-03-10 |
US20160254028A1 (en) | 2016-09-01 |
KR102051798B1 (ko) | 2019-12-04 |
HK1217068A1 (zh) | 2016-12-16 |
US10553255B2 (en) | 2020-02-04 |
WO2015017314A1 (en) | 2015-02-05 |
JP2016528826A (ja) | 2016-09-15 |
KR101775938B1 (ko) | 2017-09-07 |
TW201630429A (zh) | 2016-08-16 |
TWI555392B (zh) | 2016-10-21 |
JP6334799B2 (ja) | 2018-05-30 |
TWI542206B (zh) | 2016-07-11 |
RU2016102884A (ru) | 2017-08-03 |
HK1259138A1 (zh) | 2019-11-29 |
EP3425899A1 (en) | 2019-01-09 |
CN105409203B (zh) | 2018-07-31 |
JP6227778B2 (ja) | 2017-11-08 |
CN108831511A (zh) | 2018-11-16 |
EP3425899B1 (en) | 2019-12-25 |
BR122020018850B1 (pt) | 2023-01-31 |
US20170125063A1 (en) | 2017-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6334799B2 (ja) | シーン不変化されたメタデータを生成するためのシステムおよび方法 | |
JP6621898B2 (ja) | オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置 | |
US20240155143A1 (en) | Scalable systems for controlling color management comprising varying levels of metadata | |
CN109219844B (zh) | 在视频优先级与图形优先级之间转换 | |
JP5588022B2 (ja) | 表示サブシステムにビデオデータを提供する方法、およびシステム | |
RU2609760C2 (ru) | Устройства и способы усовершенствованного кодирования изображений | |
JP5577415B2 (ja) | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 | |
US11288781B2 (en) | Efficient end-to-end single layer inverse display management coding | |
BR112016001639B1 (pt) | Sistema para gerar metadados estabilizados de cena |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |