JP2013243747A - 映像を符号化するシステムおよび方法 - Google Patents

映像を符号化するシステムおよび方法 Download PDF

Info

Publication number
JP2013243747A
JP2013243747A JP2013150075A JP2013150075A JP2013243747A JP 2013243747 A JP2013243747 A JP 2013243747A JP 2013150075 A JP2013150075 A JP 2013150075A JP 2013150075 A JP2013150075 A JP 2013150075A JP 2013243747 A JP2013243747 A JP 2013243747A
Authority
JP
Japan
Prior art keywords
version
video
encoded video
encoding
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013150075A
Other languages
English (en)
Inventor
Kapoor Anand
カプーア，アナンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013243747A publication Critical patent/JP2013243747A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】バージョニングを用いて映像を符号化して、シーン／ショットの制御および編成ならびに再符号化履歴の提示を可能にする。
【解決手段】第１の符号化パラメータに基づいて第１のバージョンの符号化映像を生成し（２０６）、第２の再符号化パラメータに基づいて少なくとも１つの第２のバージョンの符号化映像を生成し（２１２）、第１のバージョンの符号化映像および少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成し（２１４）、符号化映像の第１のバージョンの符号化映像と、少なくとも１つの第２のバージョンの符号化映像と、比較データとを表示する（２１４）ようになっている。比較データは、第１のバージョンの符号化映像および少なくとも１つの第２のバージョンの符号化映像から生成される映像アーチファクトのリスト、映像ファイル・サイズ、符号化パラメータ、およびメタデータのうちの少なくとも１つである。
【選択図】図４

Description

（関連出願の相互参照）
本願は、米国特許法１１９条に基づき、２００７年１１月１５日出願の米国仮特許出願第６１／００３２７８号、および２００７年１１月１６日出願の米国仮特許出願第６１／００３３９２号の特典を請求するものである。
本発明は、一般に、コンピュータ・グラフィックス処理および表示システムに関し、特に、バージョニング（ｖｅｒｓｉｏｎｉｎｇ）を用いて映像を符号化するシステムおよび方法に関する。
従来、テープ・ベースの標準精細度映像再符号化は、機械的プロセスであり、コンプレッショニストまたは映像品質技術者が、ソースの映像品質を検証し、その視覚的知見に基づいて、要求された映像アーチファクトを符号化または再符号化（フィックス（ｆｉｘｅｓ））していた。図１を参照すると、映像を符号化する従来のテープ・ベースのワークフローが示してある。一般に、映像１０を含むテープが取得される。次いで、このテープがテープ駆動装置１２にロードされ、符号化システムに取り込まれる。様々な符号化／再符号化パラメータが映像に適用され（１４）、この映像が符号化されて（１６）、符号化ファイル１８が得られる。コンプレッショニストは、基本的に、例えば複数回の反復など、利用可能なフィルタリング、ディジタル・ビデオ・ノイズ低減器、圧縮およびその他のハードウェア／ソフトウェアを介して、このテープ・ベースのコンテンツを再生して（２０）、所望の再符号化映像出力結果２２を得る。再符号化の複数回の反復は、エンコーダ方式の再符号化、またはＱＣ（品質管理）方式の再符号化とすることができる。エンコーダ方式の再符号化は、ビット・レート割当て、映像品質／アーチファクト、ピーク信号対雑音比、またはこれらの任意の組合せの何らかの統計解析に基づく自動再符号化（手動であってもよい）である。ＱＣ方式の符号化は、符号化される映像コンテンツの性質が非常に無作為であるために上記の統計解析プロセスでは取りこぼしている可能性のある映像品質を改善するための、コンプレッショニストまたは映像品質技術者による再符号化である。
この期間に使用される圧縮コーデックは、単純で良く理解されていた。これは、従来の光学記憶媒体の物理的限界のために符号化される映像フィーチャのボリュームがそれほど大きくならない標準精細度のディスク・フォーマットでは十分であった。また、テープ・ベースで配布すること（例えばＶＨＳテープ、ＤＬＴなど）は、標準精細度のプロダクションでは、様々な映像方式に取り込むのに好ましい手段であった。資産（ａｓｓｅｔ）が少なく、管理しやすく、この特定の製造に役立つからである。しかし、このプロセスは時間がかかり、エラーが生じやすかった。さらに、従来のテープ・ワークフローは、最後のフィックス以外のフィックスの履歴を取らないので、バージョン間でフィックスの比較を行なうことができなかった。
Ｈ．２６４（ＡＶＣ）などの最新のコーデックに対応し、且つ映像品質に対して高い圧縮比を有する大記憶容量の新光学記憶媒体の登場により、ゲーム、ボーナス映像コンテンツ、インタビュー、コンサート、ピクチャ・イン・ピクチャ、およびその他のクライアント／消費者が今日求めているイベントのような、他の価値が付加されたコンテンツのために追加されたディスク・スペースを使用することが可能になった。これにより、基本的に、高精細度映像コンテンツの容量が増大し、複雑さ（複数システム、ソフトウェアなど）および符号化を上手に行うために必要な時間が増大し、元のディジタル・コンテンツをさらにしっかりと管理／理解する必要が増し、価値が付加された素材が増大するが、その一方で、この追加のコンテンツ素材を全て終えるためのターン・アラウンド・タイムは短くなる。従来の古い標準精細度プロダクション・ワークフローを用いることは、実行可能な提案とは言えない。それにより、高精細度プロダクションをテープレス配布の方向に向かわせて、このプロセスのコスト効率を高める必要がある。その方が、常時監視して記憶する必要のある物理的資産（Ｄ５テープ、ＤＬＴなど）が少なくなり、ディジタル的な操作および作業がより容易になるからである。
従って、従来のテープレス・ディジタル・ワークフローの欠点を克服し、再符号化プロセスをより良好に管理する技術のために、学習結果の再利用を可能にし、複数の再符号化特性／ツールの適用を可能にし、使い易さおよび制御のしやすさを与えることによりコンプレッショニストの効率を高めることが必要とされている。
映像を符号化するシステムおよび方法を提供する。本発明のシステムおよび方法は、バージョニング（ｖｅｒｓｉｏｎｉｎｇ）を用いて再符号化を行ない、シーン／ショットの制御および編成ならびに再符号化履歴の提示を、再符号化プロセス中に行なうことができるようにする。これらのことは全て、品質改善再符号化作業の全体で必要となる。本発明のシステムおよび方法は、解決策のライブラリを構築しながら複数回の再符号化を実施するのに必要な時間を短縮し、複数の符号化ジョブ間での再利用を可能にし、促進する。
本発明の１つの特徴によれば、映像を符号化する方法が提供され、この方法は、第１の符号化パラメータに基づいて第１のバージョンの符号化映像を生成するステップ、第２の符号化パラメータに基づいて第２のバージョンの符号化映像を生成するステップ、上記第１のバージョンの符号化映像および上記第２のバージョンの符号化映像に基づいて比較データを生成するステップ、ならびに上記第１のバージョンの符号化映像と、上記第２のバージョンの符号化映像と、上記比較データとを表示するステップを含む。この比較データは、映像アーチファクトのリスト、映像ファイル・サイズ、および符号化パラメータのうちの少なくとも１つである。
本発明の別の特徴によれば、映像を符号化するシステムが提供され、このシステムは、第１の符号化パラメータに基づく第１のバージョンの符号化映像、および第２の再符号化パラメータに基づく少なくとも１つの第２のバージョンの符号化映像を生成するエンコーダ、上記第１のバージョンの符号化映像および上記少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成する比較器、ならびに上記第１のバージョンの符号化映像と、上記少なくとも１つの第２のバージョンの符号化映像と、上記比較データとを表示するユーザ・インタフェースを備える。
本発明の別の特徴によれば、マシンによって読取り可能なプログラム記憶装置であり、映像を符号化する方法のステップを実行するための、上記マシンによって実行可能な命令のプログラムを実装するプログラム記憶装置が提供され、この方法は、第１の符号化パラメータに基づいて第１のバージョンの符号化映像を生成するステップ、第２の再符号化パラメータに基づいて少なくとも１つの第２のバージョンの符号化映像を生成するステップ、上記第１のバージョンの符号化映像および上記少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成するステップ、ならびに上記第１のバージョンの符号化映像と、上記少なくとも１つの第２のバージョンの符号化映像と、上記比較データとを表示するステップを含む。
本発明の上記その他の特徴、特色および利点について、以下で述べる。あるいは、本発明の上記その他の特徴、特色および利点は、以下の好ましい実施例の詳細な説明を添付の図面と関連付けて読めば明らかになるであろう。
全ての図面を通じて、同じ参照番号は同様の要素を示すものとする。
これらの図面は、本発明の概念を例示するためのものであり、必ずしも本発明を説明する唯一の構成を示しているわけではないことを理解されたい。
従来技術によるテープから映像を符号化するワークフローを示す図である。 本発明の１つの特徴による、映像を符号化するテープレス・ワークフローを示す図である。 本発明の１つの特徴による、映像を符号化するシステムを示す例示的な図である。 本発明の１つの特徴による、映像を符号化する例示的な方法を示す流れ図である。 本発明の１つの特徴による、再符号化する映像のショット／シーンを選択するための例示的な画面の写真を示す図である。 本発明の別の特徴による、再符号化する映像のショット／シーンを選択するための別の例示的な画面の写真を示す図である。 本発明の１つの特徴による、映像の再符号化を制御し、映像の再符号化のバージョニングを制御し、少なくとも１つの再符号化パラメータを映像に適用するための例示的な画面の写真を示す図である。 本発明の１つの特徴による、映像の再符号化を制御し、映像の再符号化のバージョニングを制御し、少なくとも１つの再符号化パラメータを映像に適用するための例示的な画面の写真を示す図である。 本発明の１つの特徴による、映像の再符号化を制御し、映像の再符号化のバージョニングを制御し、少なくとも１つの再符号化パラメータを映像に適用するための他の例示的な画面の写真を示す図である。 本発明の１つの特徴による、映像の再符号化を制御し、映像の再符号化のバージョニングを制御し、少なくとも１つの再符号化パラメータを映像に適用するためのその他の例示的な画面の写真を示す図である。
図面に示す要素は、様々な形態のハードウェア、ソフトウェア、またはそれらの組合せで実施することができることを理解されたい。これらの要素は、プロセッサ、メモリおよび入出力インタフェースを含むことができる、１つまたは複数の適当にプログラムされた汎用装置上で、ハードウェアとソフトウェアの組合せとして実施されることが好ましい。
本明細書では、本発明の原理を例示する。従って、本明細書に明示的には記述または図示されていなくても、本発明の趣旨および範囲内に含まれる本発明を実施する様々な構成を、当業者なら考案できることを理解されたい。
本明細書に記載する全ての例および条件に関する表現は、本発明の原理と発明者が与える当技術分野をさらに進歩させるための概念とを読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に列挙した例および条件に限定されるわけではないものと解釈されたい。
さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、それらの均等物には、現在既知の均等物と将来開発されるであろう均等物の両方が含まれる、すなわち、その構造に関わらず同じ機能を実行する、任意の開発された要素が含まれるものとする。
従って、例えば、当業者なら、本明細書に示すブロック図が、本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。
図面に示す様々な要素の機能は、専用のハードウェア、および適当なソフトウェアと連動してソフトウェアを実行することができるハードウェアを使用して実現することができる。プロセッサによって実現するときには、これらの機能は単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）などを暗に含むことがある。
従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、インプリメンタ（ｉｍｐｌｅｍｅｎｔｅｒ）が前後関係から具体的に判断して特定の技術を選択することができる。
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含む、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本発明は、列挙する様々な手段が実現する機能を、特許請求の範囲が要求するかたちで組み合わせることにある。従って、これらの機能を実現することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。
映像を符号化するシステムおよび方法を提供する。本発明のシステムおよび方法は、バージョニングを用いて再符号化を行ない、シーン／ショットの制御および編成ならびに再符号化履歴の提示を、再符号化プロセス中に行なうことができるようにする。これらのことは全て、品質改善再符号化作業の全体で必要となる。図２を参照すると、本発明によって映像を符号化するテープレス・ワークフローが示してある。図２のワークフローでは、テープ駆動装置によってビデオ・テープを再生し、キャプチャし、ディジタル・フォーマットに変換する（１３）。コンテンツは、キャプチャされディジタル・フォーマットに変換されると、完全なディジタル的なワークフローによって（例えばコンピュータ上で）処理することが容易になる。全ての画像フィルタは、ソフトウェアによる処理か、または特殊なハードウェア・アクセラレーションを用いて実行される。これにより、コンプレッショニストまたは映像品質技術者は、専用のソフトウェアまたはハードウェアを用いて映像コンテンツに容易にフィックス（ｆｉｘｅｓ）を適用することができるようになる。後述のように、本発明のシステムは、例えばコンプレッショニストや映像品質技術者などのユーザが、再符号化のために、特定の１つまたは複数のショット／シーンあるいは特定のイン・フレーム／アウト・フレームを選択できるようにし、ユーザが適用される再符号化パラメータを指定できるようにし、統合型ビデオ・プレーヤを用いてコンテンツを再生できるようにする、専用のソフトウェアおよび／またはハードウェアを有する。このシステムおよび方法は、再符号化を複数回反復できるようにし、細粒度の向上を可能にする。本発明のシステムおよび方法は、全ての反復を保存し、フィックスの履歴をコンパイルすることにより、複数の再符号化（フィックス）、符号化、およびそのソースの間で比較を行なうことができるようにする。さらに、このシステムおよび方法は、プリセット・フィックスのライブラリを含み、フィックスを行なう時間を大幅に短縮する。
次に、図面を参照すると、本発明の１つの実施例による例示的なシステム１００が図３に示してある。走査装置１０３を、例えばカメラで生成されたフィルム・ネガなどのフィルム・プリント１０４を走査して、例えばＣｉｎｅｏｎフォーマットまたはＳＭＰＴＥ ＤＰＸファイルなどのディジタル・フォーマットにするために設けることができる。走査装置１０３は、例えば、例えば映像出力を有するＡｒｒｉ ＬｏｃＰｒｏ（商標）など、フィルムから映像出力を生成するテレシネまたは任意の装置を備えることができる。あるいは、ポストプロダクション・プロセスまたはディジタル・カメラ１０６で得られるファイル（例えば既にコンピュータ可読形態になっているファイルなど）を直接使用してもよい。コンピュータ可読ファイルのソースとしては、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープなども可能である。
走査されたフィルム・プリントは、例えばコンピュータなどの後処理装置（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）１０２に入力される。コンピュータは、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）および／または読取り専用メモリ（ＲＯＭ）などのメモリ１１０、ならびにキーボードやカーソル制御装置（例えばマウスまたはジョイスティック）、表示装置などの（１つまたは複数の）入出力（Ｉ／Ｏ）ユーザ・インタフェース１１２などのハードウェアを有する様々な既知のコンピュータ・プラットフォームの何れかに実装される。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも含む。本明細書に記載する様々なプロセスおよび機能は、オペレーティング・システムによって実行されるマイクロ命令コードの一部またはソフトウェア・アプリケーション・プログラムの一部（あるいはそれらの組合せ）とすることができる。１つの実施例では、ソフトウェア・アプリケーション・プログラムを、プログラム記憶装置に実装し、後処理装置１０２などの任意の適当なマシンにアップロードして実行することができる。さらに、パラレル・ポート、シリアル・ポートまたはユニバーサル・シリアル・バス（ＵＳＢ）など様々なインタフェースおよびバス構造によって、その他の様々な周辺機器を、このコンピュータ・プラットフォームに接続することもできる。その他の周辺機器としては、追加の記憶装置１２７およびプリンタ１２８がある。プリンタ１２８は、フィルム１２６の改訂済みバージョン、例えば１つまたは複数のシーンが以下に述べる技術の結果として改変または修正（ｆｉｘｅｄ）されている可能性があるフィルム１２６の再符号化バージョンを印刷するために利用することができる。
あるいは、既にコンピュータ可読形態１０６になっているファイル／フィルム・プリント（例えば外部ハード・ドライブ１２７に記憶することができるような、ディジタル映画など）を、直接コンピュータ１０２に入力してもよい。本明細書で使用する「フィルム」という用語は、フィルム・プリントまたはディジタル映画の何れを指すこともあることに留意されたい。
ソフトウェア・プログラムは、メモリ１１０に記憶された、映像を符号化／再符号化するための符号化バージョニング・モジュール１１４を含む。符号化バージョニング・モジュール１１４は、相互に作用して、本発明が提供する様々な機能および特徴を実行する様々なモジュールを含む。符号化バージョニング・モジュール１１４は、例えばフィルムや動画などの映像の少なくとも１つのショットまたはシーンを決定するように構成されたショット／シーン検出器１１６を含むことができる。符号化モジュール１１４は、符号化／再符号化パラメータを選択して、１つまたは複数の検出されたショット／シーンに適用するように構成された再符号化パラメータ１１８をさらに含む。再符号化パラメータの例としては、特定のショット／シーンのビット・レートを変化させるＤｅｌｔａＲａｔｅ、ショット／シーンからブロッキング・アーチファクトを除去するＤｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒなどが挙げられる。エンコーダ１２０は、取り込まれた映像を、少なくとも１つのディジタル・フォーマットに符号化するために設けられる。エンコーダの例としては、ＭＰＥＧ−４（Ｈ．２６４）、ＭＰＥＧ−２、ＱｕｉｃｋＴｉｍｅなどが挙げられる。符号化バージョニング・モジュール１１４は、符号化された映像の各バージョンに、バージョン番号またはバージョン表示を割り当てる。
プリセット・フィックスのライブラリ１２２は、所与の条件に基づいて映像ショットまたはシーンに少なくとも１つまたは複数のフィックスを適用するために設けられる。プリセット・フィックスのライブラリ１２２は、特定のアーチファクトを解消するための再符号化パラメータの集合である。ユーザは、最初にショット／シーンを選択し、次いでショット／シーン中に見つかったアーチファクトに基づいて、既に生成されている既存のプリセットを選択することにより、特定のプリセットを適用することができる。プリセットは、ユーザが作成したカテゴリに基づいて適用することもできる。さらに、これらのプリセットは、後に同様の符号化プロジェクトで必要なときに使用するために保存しておく。
符号化バージョニング・モジュール１１４は、映像ショット／シーンを復号し、当該映像をユーザに対して視覚化するためのビデオ・プレーヤ１２４を含む。比較器１２６は、同一ショット／シーンの少なくとも２つの映像のデータを比較し、その比較データをユーザに対して表示するために設けられる。
図４は、本発明の１つの特徴による映像を符号化する例示的な方法を示す流れ図である。最初に、後処理装置１０２が、映像コンテンツを取得またはインポートする（ステップ２０２）。後処理装置１０２は、コンピュータ可読フォーマットのディジタル・マスタ画像ファイルを得ることによって、映像コンテンツを取得することができる。ディジタル映像ファイルは、ディジタル・カメラで動画像の時間シーケンスをキャプチャすることによって取得することができる。あるいは、従来のフィルム・タイプのカメラで、映像シーケンスをキャプチャすることもできる。この場合には、走査装置１０３でフィルムを走査する。
フィルムを走査するか既にディジタル・フォーマットになっているかに関わらず、フィルムのディジタル・ファイルは、例えばフレーム番号やフィルムの先頭からの時間など、フレームの位置を示す指標またはフレームの位置についての情報を含む。ディジタル画像ファイルのフレームは、それぞれが１つの画像、例えばＩ１、Ｉ２、…Ｉｎを含む。
映像がインポートされた後、当該映像は取り込まれ、映像コンテンツ・データが生成される（ステップ２０４）。このステップは、ソースの異なる映像データを１つのエンコーダが許容するフォーマットに、例えば１０ビットＤＰＸフォーマットから８ビットＹＵＶフォーマットに、まとめるために設けられる。このステップでは、符号化プロセスで使用することができる追加のカラー・メタデータ情報などを除き、必要に応じて画像のビット深度を低下させることが必要になることもある。取り込まれた映像から、いくつかのアルゴリズムまたは機能を映像に適用して、例えばメタデータなどのコンテンツ・データを導出する。例えば、シーン／ショット検出器１１６によってシーン／ショット検出アルゴリズムを適用して、映像全体を複数のシーン／ショットにセグメント化する。あるいは、フェード／ディゾルブ検出アルゴリズムを使用することもできる。さらに、生成されたコンテンツ・データは、ヒストグラム、色に基づく分類、類似シーン検出、ビット・レート、フレーム分類、サムネイルなどを含む。
次に、ステップ２０６で、エンコーダ１２が映像を符号化する。最初の符号化で、バージョン０、またはベース／参照符号化バージョンを作成する。その他の全てのバージョンは、必要に応じて、映像品質の改善のためにこのバージョンと比較される、またはそれぞれのショット／シーンのバージョン間で比較される。
ステップ２０８で、任意のショット／シーンの符号化をさらに改善できるかどうか、または再符号化が必要であるかどうかを判定する。映像のショット／シーンの品質は、最初の符号化中に自動的に改善することができる。コンプレッショニストは、ショット／シーンを視覚検査して、更なる再符号化が必要かどうかを判定することができる。更なる再符号化が必要ないと判定された場合には、最終的な符号化映像は、ステップ２２０で出力される。そうではなく、更なる再符号化が必要な場合には、この方法は、ステップ２１０に進み、プリセットまたは個別の再符号化パラメータを適用する。
ステップ２１０で、ユーザがショット／シーンを選択し、そのシーン／ショットに自動的にバージョン番号またはバージョン表示が割り当てられ、再符号化パラメータ１１８のリストから、新たな再符号化パラメータが割り当てられ、あるいは選択される。あるいは、ユーザまたはコンプレッショニストが、１つまたは複数の再符号化パラメータを含むことができるプリセット・フィックスのライブラリ１２２から選択してもよい。ユーザは、ショット／シーンを有する１つまたは複数のフレームを再符号化プロセスのために選択することができることを理解されたい。
次いで、選択したショット／シーンに対する再符号化を実行し（ステップ２１２）、次いで、再符号化バージョンをビデオ・プレーヤ１２４で再生し、選択した１つまたは複数のシーン／ショットの以前のバージョンと比較器１２６によって比較して（ステップ２１４）、映像または再符号化の品質を検証する。１つの実施例では、再符号化バージョンおよび以前のバージョンは、これらの映像をビデオ・プレーヤ１２４で分割画面に表示することによって視覚的に比較する。図６および７に関連して以下で述べるように、平均ビット・レート・レベル、符号化フレーム・タイプ、ピーク信号対雑音比などの比較データ（またはメタデータ）も、単純に特定のバージョンを選択／検査し、当該ショット／シーンのバージョンのデータを視覚的に区別することによって比較することができる。連続性のために、全ての時点で、各ショット／シーンの１つのバージョンを選択する。符号化および再符号化バージョンの映像で検出される映像アーチファクトのリスト、映像ファイル・サイズ、および選択したバージョンに利用される特定の符号化パラメータなど、その他の比較データも表示することができる。
ステップ２１０で選択した再符号化パラメータに基づいて再符号化を実行した後で、当該ショット／シーンの再符号化が満足のいくものかどうか、またはその他の異なる再符号化パラメータを適用すべきかどうかを判定する（ステップ２１６）。この判定は、分割映像を使用する、または比較データを視覚化する、視覚／マニュアル・プロセスである。１つの実施例では、ユーザまたはコンプレッショニストが、例えばピーク信号対雑音比などの比較データの視覚化に基づいて、符号化映像の最終バージョンとして、比較的アーチファクトの少ない１つのバージョンを、いくつかの生成されたバージョンから選択する。別の実施例では、ユーザまたはコンプレッショニストが、ビデオ・プレーヤ１２４による少なくとも２つの選択されたバージョンの分割視覚化に基づいて、符号化映像の最終バージョンとして、比較的アーチファクトの少ない１つのバージョンを、いくつかの生成されたバージョンから選択する。ショット／シーンの再符号化が満足のいくものでない場合には、プロセスは、ステップ２１０に戻り、その他の再符号化パラメータを適用する。そうでない場合には、プロセスはステップ２１８に進む。
次いで、ステップ２１８で、符号化および再符号化が、完全な映像クリップまたは動画に関連する全てのショット／シーンに対して満足のいくものであるかが判定される。再符号化すべきショット／シーンがまだ存在する場合には、プロセスはステップ２１０に戻り、別のショット／シーンを選択する。そうではなく、符号化および再符号化が全てのショット／シーンに対して満足のいくものである場合には、最終的な符号化映像を、例えば記憶装置１２７に記憶し、再生のために取り出すことができる（ステップ２２０）。さらに、モーション・ピクチャまたは映像クリップのショット／シーンは、当該モーション・ピクチャまたはクリップの完全バージョンを表す単一のディジタル・ファイル１３０に記憶することができる。ディジタル・ファイル１３０は、例えば符号化映像のテープまたはフィルム・バージョンのプリントのために後に取り出すことができるように、記憶装置１２７に記憶することができる。
図５〜図１０は、本発明の１つの特徴による、映像の再符号化を制御し、当該映像に少なくとも１つの再符号化パラメータを適用するための例示的な画面の写真を示している。
図５を参照すると、再符号化する特定の１つまたは複数のショット／シーンを選択するための第１の表示が示してある。フィーチャ全体に対して予め実行したショット／シーン検出で得られたフィーチャ全体のサムネイル表現の一部を示すインタフェース５００が提供される。サムネイルは、再符号化のためのマークイン（例えば開始）領域およびマークアウト（終了）領域に対して選択することができる。これらの選択は、シーン・レベルまたはフレーム・レベルで実行することができ、再符号化のための特定の領域を決定する。図５では、検出された映像のショット／シーンが、サムネイル５０２で表現されている。特定のショット／シーンのサムネイル５０４を選択すると、選択されたショット／シーンに関連するフレームが、サムネイル５０６としてユーザに対して表示される。
インタフェース５００は、再符号化するショットを追加するためのセクション５０８を含んでおり、再符号化カテゴリへのドラッグ・アンド・ドロップによって、またはサムネイル自体をクリックすることによるコンテキスト・メニューを使用することによって、再符号化するショットを追加する。シーン５０２は、単純に、ユーザが規定した色付きカテゴリ５０８内にドロップすればよい。１つの実施例では、カテゴリの色は、映像のアーチファクト、複雑さ、ショット／シーン・フラッシュなどを示す。インタフェース５００は、上記の選択されたカテゴリ５０８に属する１つまたは複数の個々のシーンを示すセクション５１０も含む。これらのサムネイルは、選択された／ハイライトされたカテゴリに属するショット／シーンの最初のフレームを示す。
図６を参照すると、フレーム・レベルの特定の１つまたは複数のショット／シーンを再符号化のために選択するための第２の表示が示してある。（再）符号化映像ストリームの追加の特性またはメタデータを表す別のインタフェース６００が提供される。例えば、ビット・レート・グラフを使用して、符号化ストリームの特性に基づいて品質の向上を必要とする領域をマークインおよびマークアウトすることができる。ここで、マークイン／マークアウトは、フラグ６０２および６０４と、網掛け領域６０６とによって表現されている。再符号化のために追加する前に再符号化のための追加のパラメータを適用するためのセクション６０８が設けられている。
図７〜図１０は、本発明の１つの特徴による、コンプレッショニストまたは映像品質技術者が、映像の再符号化を制御し、少なくとも１つの再符号化パラメータを映像に適用し、映像アーチファクトの比較的少ない再符号化のバージョンを選択することができるようにするための例示的な画面の写真を示している。本発明の様々な特徴によれば、コンプレッショニストまたは映像品質技術者は、同一シーン内の個々のフレームというさらに高い細粒度で適用される複数の追加の再符号化パラメータを提供することができる。
図７は、カテゴリ・レベルで追加の再符号化設定特性を選択するためのインタフェース７００を示す図である。セクション７０２は、例えば図５および６に関連して説明したショット／シーンまたはフレームなど、上記の選択要素を使用してユーザが要求した符号化領域を含むツリー構造リストを示している。このツリーは、（１）再符号化シーンが含まれるグループ分け、すなわちそこに含まれる全てのシーンに対して同様の再符号化特性を適用することができるようにするグループ分けであるカテゴリと、（２）再符号化に含まれる開始シーンおよび終了シーンを含むシーン番号の範囲と、（３）実行されている再符号化のバージョン、および進行状態情報（チェック・ボックスが、コンプレッショニストが適していると思われる、または全ての映像のアーチファクトを解消するバージョンを選択する方法を提供する）と、（４）再符号化特性が適用されるフレーム範囲とを含む。このようにして、ユーザ・インタフェース７００は、ショット／シーンまたはフレームのバージョン表示の履歴を表示する。セクション７０４は、例えばプリセット・フィックスのライブラリ１２２など、共通の再符号化問題を解消するために時間と共に開発される、プリセットのリストを示している。これらのプリセットは、問題を処理するために使用することができる、または他のコンプレッショニスト／ユーザと共有することができる、再符号化ツールキットとして機能する。セクション７０６は、割り当てることができるカテゴリ名、および当該カテゴリを使用する役割をより分かりやすくするためにカテゴリと関連付けることができる追加のテキスト・データを示している。セクション７０８は、映像のアーチファクトを解消するために適用することができる再符号化パラメータの名前のリストを示している。セクション７０８に示すフィルタまたは再符号化パラメータは、セクション７０４で選択されたプリセットに属し、このリストは、異なるプリセットが選択されると変化することになる。セクション７１０は、適用される再符号化パラメータの強度をユーザが選択する場所である。セクション７１２は、選択された再符号化を開始する、またはそれまでに実行されていない全ての再符号化を開始するためのボタンを含む。
次いで、図６および図７に示すインタフェース６００および７００を使用して、セクション７０２で選択されたショット／シーンに対する再符号化を（上記ステップ２１２で説明したように）実行し、次いで、ビデオ・プレーヤ１２４によって再符号化バージョンを再生し、選択された１つまたは複数のショット／シーンの以前のバージョンと比較器１２６によって（上記ステップ２１４で説明したように）比較して、映像または再符号化の品質を検証する。１つの実施例では、再符号化バージョンおよび以前のバージョンは、これらの映像をビデオ・プレーヤ１２４で分割画面に表示することによって視覚的に比較する。別の実施例では、平均ビット・レート・レベル、符号化フレーム・タイプ、ピーク信号対雑音比（ＰＳＮＲ）などの比較データ（メタデータとも呼ぶ）も、単純に特定のバージョン７０２を選択／検査し、当該ショット／シーンのバージョンの図６の網掛け領域６０６内のデータを視覚的に区別することによって比較することができる。この場合には、インタフェース６００が比較器１２６として作用する。ここで、映像の複数のバージョン間で選択を行なうことにより、インタフェース６００は、ユーザまたはコンプレッショニストによる視覚検査のための各バージョンのメタデータ間で切り替わることになる。例えば、ユーザは、映像の異なる２つのバージョン間で切替えを行ない、各映像のＰＳＮＲデータを観察することができる。この場合、ＰＳＮＲが高いほど、映像品質は良好である。
図８は、シーン・レベルで追加の再符号化設定特性を選択するためのインタフェース８００を示す図である。セクション８０２で、シーン・レベル・ノードが選択される。これは、再符号化されているシーンのシーン番号を示す。セクション８０４は、再符号化されているシーンに関するテキスト・データを関連付けるための領域を示す。セクション８０６は、特定のシーンの異なるフェーズまたはバージョンを選択し、それらを比較するための全てのオプションのリストを提供する。このリストは、以下を含む。
ソース・バージョン：これは、シーンの実際のソースである。
取込みバージョン：これは、シーンの取り込まれたバージョンである。
符号化バージョン：これは、シーンの最初に符号化されたバージョンである。
再符号化バージョンＸ．ＹＹ：これらは、コンプレッショニストによって要求された再符号化である。Ｘ．ＹＹは、再符号化の生成および履歴を示す。Ｘが、メジャー・バージョンであり、ＹＹが、マイナー・バージョンである。Ｘ．ＹＹバージョン表示を用いて、ユーザは、再符号化の進行状態を知ることができる。例えば、バージョニング方法の１表現は、以下のようなものにすることができる。
バージョン１．００：特定の１つまたは複数の再符号化パラメータを用いた再符号化の第１の試行。
バージョン１．１０：いくつかの追加または別の改良を加えた、上記パラメータを用いた再符号化の第２の試行。バージョン１．００は親であり、再符号化を開始するための実際のパラメータ・セットを提供する。
バージョン１．１１：いくつかの追加パラメータを用いてバージョン１．１０をさらに改良する試行。
バージョン２．００：異なる１つまたは複数の再符号化パラメータのセットを用いた、再符号化の新たな試行。
上記の例は、どのようにすればユーザが後続の再符号化の進行状態を推定して符号化の品質を改善することができるかも示している。これにより、ユーザは、再符号化プロセスをより良く理解することができ、また、同一シーンに対する異なる再符号化セットを同時に試すことにより短時間で品質の良い符号化に絞ることにより、コンプレッショニストの生産性および品質を改善することができる。これらのバージョンから任意の２つを選択することで、コンプレッショニストは、分割画面内蔵ビデオ・プレーヤ１２４を用いて再符号化バージョンを比較することができる。このようにして、バージョン間での品質改善点を容易に発見し、選択することにより、最終的な符号化映像ストリームを改善することができる。
図８を再度参照すると、セクション８０８は、セクション８０６で選択された２つのバージョンを比較する分割画面モードでビデオ・プレーヤを始動するためのボタンを提供する。セクション８１０に提供されるボタンは、選択されたシーンの取込み映像ストリームまたは再符号化映像ストリームの何れかを再生するフル画面モードでビデオ・プレーヤを始動する。
図９は、バージョン・レベルで追加の再符号化設定特性を選択するためのインタフェース９００を示す図である。セクション９０２は、例えばバージョンＸ．ＹＹなど、様々なシーン／ショットのバージョンのリストを提供する。これらは、コンプレッショニストによって要求された再符号化である。Ｘ．ＹＹは、再符号化の生成および履歴を示す。Ｘが、メジャー・バージョンであり、ＹＹが、マイナー・バージョンである。Ｘ．ＹＹを用いて、ユーザは、再符号化の進行状態を知ることができる。図９のセクション９０４により、ユーザは、選択されたバージョンに追加のテキスト・データを関連付けることができる。
図１０は、フレーム範囲レベルで追加の再符号化設定特性を選択するためのインタフェース１０００を示す図である。セクション１００２は、選択された特定のシーンと共に再符号化されるフレーム番号を示している。この選択は、図５および図６に関連して説明した再符号化のための１つまたは複数のショット／シーンの選択の上記表現の１つを用いて決定することができる。セクション１００４は、例えばプリセット・フィックスのライブラリ１２２など、時間と共に開発される、フレームに適用して共通の再符号化アーチファクトを解消するために使用することができる１つまたは複数のプリセットのリストを示している。これらのプリセットは、その他のユーザと共有することができる。セクション１００６は、ユーザが、追加のフレーム範囲を追加することを可能にする。これにより、コンプレッショニストは、様々な再符号化パラメータをカスタマイズし、それらの再符号化パラメータを、最初の選択範囲内の特定のフレームに適用することが可能になる。セクション１００８は、ユーザが、現在選択されている再符号化パラメータのセットをカテゴリ・レベルに適用（コピー）することを可能にする。こうして、コンプレッショニストは、フィックスの試験バージョンを、類似の問題を有するショット／シーンのカテゴリ全体に容易に適用することができる。セクション１０１０は、フレーム範囲レベルに適用することができる再符号化パラメータのリストを提供し、セクション１０１２は、コンプレッショニストがシーン・タイプを選択することを可能にする。コンプレッショニストは、再符号化パラメータの強度を選択または改変することができる。
バージョニングを用いて映像を再符号化するシステムおよび方法について説明した。このシステムおよび方法は、簡単且つ直感的に実施および理解することができ、符号化および再符号化のプロセスに対する制御を改善し、高め、段階的な映像品質の改善／向上を可能にし、再符号化フィックスに関する履歴を提供する。さらに、このシステムおよび方法では、ユーザは、時間と共にライブラリ／知識ベースを保存および開発することができ、これを複数の符号化ジョブに渡って、または他のユーザによって再利用して、処理量を高めることができ、さらに、ディジタル・ワークフロー／ツール・プロセス（取込み、フィルタリング、符号化、または再符号化）、ならびに圧縮映像出力内の品質問題／アーチファクトの比較およびトラブルシューティングの効果の理解を提供する。さらに、本発明のシステムおよび方法は、フィックス済みフィーチャの符号化を完了するのに必要なユーザ／マン・アワーを削減し、生産性およびスループットの向上をもたらす。
本明細書では、本発明の教示を組み込んだ実施例を詳細に図示および説明したが、当業者なら、これらの教示を組み込んだその他の変形実施例を数多く容易に考案することができる。映像を符号化するシステムおよび方法に関する好ましい実施例について（限定ではなく例示を目的として）述べたが、当業者なら、上記の教示に照らして、様々な修正および変形を行なうことができることに留意されたい。従って、添付の特許請求の範囲に概説する本発明の範囲を逸脱することなく、開示した本発明の具体的な実施例に、様々な変更を加えることができることを理解されたい。

Claims (20)

  1. 映像を符号化する方法であって、
    第１の符号化パラメータに基づいて第１のバージョンの符号化映像を生成するステップ（２０６）と、
    第２の再符号化パラメータに基づいて少なくとも１つの第２のバージョンの符号化映像を生成するステップ（２１２）と、
    前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成するステップ（２１４）と、
    前記第１のバージョンの符号化映像と、前記少なくとも１つの第２のバージョンの符号化映像と、前記比較データとを表示するステップ（２１４）と、
    を含む、前記方法。
  2. 前記比較データが、前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像から生成される映像アーチファクトのリスト、映像ファイル・サイズ、符号化パラメータ、およびメタデータのうちの少なくとも１つである、請求項１に記載の方法。
  3. 前記生成されるメタデータが、平均ビット・レート、映像フレーム構造、およびピーク信号対雑音比のうちの少なくとも１つである、請求項２に記載の方法。
  4. 前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像が、シーンおよびフレームの少なくとも１つである、請求項１に記載の方法。
  5. 前記比較データの視覚化に基づいて、前記符号化映像の最終バージョンとして、前記少なくとも１つの第２のバージョンのうちの比較的アーチファクトの少ない１つのバージョンを選択するステップ（２１６、２１８）をさらに含む、請求項１に記載の方法。
  6. 前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像の分割視覚化に基づいて、前記符号化映像の最終バージョンとして、前記少なくとも１つの第２のバージョンのうちの比較的アーチファクトの少ない１つのバージョンを選択するステップ（２１６、２１８）をさらに含む、請求項１に記載の方法。
  7. 符号化映像の少なくとも１つの第２のバージョンを生成するステップが、前記少なくとも１つの第２のバージョンのそれぞれに対してバージョン表示を割り当てること（２１０）を含む、請求項１に記載の方法。
  8. 前記バージョン表示の履歴を表示するステップをさらに含む、請求項７に記載の方法。
  9. 符号化映像の少なくとも１つの第２のバージョンを生成するステップが、所定の映像アーチファクトに基づいて少なくとも２つの再符号化パラメータを適用することを含む、請求項１に記載の方法。
  10. 映像を符号化するシステム（１００）であって、
    第１の符号化パラメータに基づく第１のバージョンの符号化映像、および第２の再符号化パラメータに基づく少なくとも１つの第２のバージョンの符号化映像を生成するエンコーダ（１２０）と、
    前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成する比較器（１２６）と、
    前記第１のバージョンの符号化映像と、前記少なくとも１つの第２のバージョンの符号化映像と、前記比較データとを表示するユーザ・インタフェース（１１２）と、
    を備える、前記システム（１００）。
  11. 前記比較データが、前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像から生成される映像アーチファクトのリスト、映像ファイル・サイズ、符号化パラメータ、およびメタデータのうちの少なくとも１つである、請求項１０に記載のシステム（１００）。
  12. 前記生成されるメタデータが、平均ビット・レート、映像フレーム構造、およびピーク信号対雑音比のうちの少なくとも１つである、請求項１１に記載のシステム（１００）。
  13. 前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像が、シーンおよびフレームの少なくとも１つである、請求項１０に記載のシステム（１００）。
  14. 前記比較器（１２６）が、前記比較データの視覚化を生成するように構成され、前記ユーザ・インタフェース（１１２）が、前記比較データの視覚化に基づいて、前記符号化映像の最終バージョンとして、前記少なくとも１つの第２のバージョンのうちの比較的アーチファクトの少ない１つのバージョンを選択するように構成される、請求項１０に記載のシステム（１００）。
  15. 前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像の分割視覚化を表示するビデオ・プレーヤ（１２４）をさらに備え、前記ユーザ・インタフェース（１１２）が、符号化映像の前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像の分割視覚化に基づいて、前記符号化映像の最終バージョンとして、前記少なくとも１つの第２のバージョンのうちの比較的アーチファクトの少ない１つのバージョンを選択するように構成される、請求項１０に記載のシステム（１００）。
  16. 前記少なくとも１つの第２のバージョンのそれぞれに対してバージョン表示を割り当てる符号化バージョニング・モジュール（１１４）をさらに備える、請求項１０に記載のシステム（１００）。
  17. 前記ユーザ・インタフェース（１１２）が、前記バージョン表示の履歴を表示するように構成される、請求項１６に記載のシステム（１００）。
  18. 複数の所定の符号化フィックス（１２２）をさらに備え、前記複数の所定の符号化フィックスのそれぞれが、少なくとも１つの再符号化パラメータを含み、前記エンコーダ（１２０）が、所定のアーチファクトに基づいて前記複数の所定の符号化フィックスのうちの少なくとも１つを適用するように構成される、請求項１０に記載のシステム（１００）。
  19. マシンによって読取り可能なプログラム記憶装置であり、映像を符号化する方法のステップを実行するための、前記マシンによって実行可能な命令のプログラムを実装するプログラム記憶装置であって、前記方法が、
    第１の符号化パラメータに基づいて第１のバージョンの符号化映像を生成するステップ（２０６）と、
    第２の再符号化パラメータに基づいて少なくとも１つの第２のバージョンの符号化映像を生成するステップ（２１２）と、
    前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像に基づいて比較データを生成するステップ（２１４）と、
    前記第１のバージョンの符号化映像と、前記少なくとも１つの第２のバージョンの符号化映像と、前記比較データとを表示するステップ（２１４）と、
    を含む、前記プログラム記憶装置。
  20. 前記比較データが、前記第１のバージョンの符号化映像および前記少なくとも１つの第２のバージョンの符号化映像から生成される映像アーチファクトのリスト、映像ファイル・サイズ、符号化パラメータ、およびメタデータのうちの少なくとも１つである、請求項１９に記載のプログラム記憶装置。
JP2013150075A 2007-11-15 2013-07-19 映像を符号化するシステムおよび方法 Pending JP2013243747A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US327807P 2007-11-15 2007-11-15
US61/003,278 2007-11-15
US339207P 2007-11-16 2007-11-16
US61/003,392 2007-11-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010534027A Division JP5435742B2 (ja) 2007-11-15 2008-11-12 映像を符号化するシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2013243747A true JP2013243747A (ja) 2013-12-05

Family

ID=40639384

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010534027A Expired - Fee Related JP5435742B2 (ja) 2007-11-15 2008-11-12 映像を符号化するシステムおよび方法
JP2013150075A Pending JP2013243747A (ja) 2007-11-15 2013-07-19 映像を符号化するシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010534027A Expired - Fee Related JP5435742B2 (ja) 2007-11-15 2008-11-12 映像を符号化するシステムおよび方法

Country Status (6)

Country Link
US (1) US20100260270A1 (ja)
EP (1) EP2208349A4 (ja)
JP (2) JP5435742B2 (ja)
CN (1) CN101868977B (ja)
CA (1) CA2705676C (ja)
WO (1) WO2009064401A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417970B2 (en) * 2014-02-27 2016-08-16 Halliburton Energy Services, Inc. Data file processing for a well job data archive
EP3148200B1 (en) * 2014-06-30 2020-06-17 Sony Corporation Information processing device and method selecting content files based on encoding parallelism type
EP3179395A1 (en) * 2015-12-10 2017-06-14 Thomson Licensing Device and method for executing protected ios software modules
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
CN110049313A (zh) * 2019-04-17 2019-07-23 微梦创科网络科技（中国）有限公司 一种视频测试方法及系统
US11445168B1 (en) * 2020-09-30 2022-09-13 Amazon Technologies, Inc. Content-adaptive video sampling for cost-effective quality monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339452A (ja) * 1995-06-13 1996-12-24 Canon Inc 画像処理装置及びその方法
JPH10285594A (ja) * 1997-04-04 1998-10-23 Hewlett Packard Co <Hp> ビットストリーム品質解析システム
JP2001128115A (ja) * 1999-08-16 2001-05-11 Univ Of Washington 対話型ビデオ処理環境を実施するシステムと、その記憶媒体および処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3644056B2 (ja) * 1994-11-01 2005-04-27 ソニー株式会社 符号化装置および符号化方法
JP3837889B2 (ja) * 1997-12-29 2006-10-25 ソニー株式会社 エンコード方法およびエンコード装置
EP0935395A2 (en) * 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
JP3660514B2 (ja) * 1999-02-05 2005-06-15 株式会社東芝 可変レート動画像符号化方法および動画像編集システム
TW519840B (en) * 2000-06-02 2003-02-01 Sony Corp Image coding apparatus and method, image decoding apparatus and method, and recording medium
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
JP3832567B2 (ja) * 2001-03-07 2006-10-11 日本電気株式会社 番組記録装置及び方法
JP2003304404A (ja) * 2002-04-09 2003-10-24 Canon Inc 画像符号化装置
JP4563833B2 (ja) * 2005-02-01 2010-10-13 パナソニック株式会社 録画装置
US7864840B2 (en) * 2005-04-15 2011-01-04 Inlet Technologies, Inc. Scene-by-scene digital video processing
US20060280242A1 (en) * 2005-06-13 2006-12-14 Nokia Corporation System and method for providing one-pass rate control for encoders
EP1908303A4 (en) * 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
KR20080100434A (ko) * 2006-03-09 2008-11-18 톰슨 라이센싱 콘텐츠 액세스 트리

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339452A (ja) * 1995-06-13 1996-12-24 Canon Inc 画像処理装置及びその方法
JPH10285594A (ja) * 1997-04-04 1998-10-23 Hewlett Packard Co <Hp> ビットストリーム品質解析システム
JP2001128115A (ja) * 1999-08-16 2001-05-11 Univ Of Washington 対話型ビデオ処理環境を実施するシステムと、その記憶媒体および処理方法

Also Published As

Publication number Publication date
JP5435742B2 (ja) 2014-03-05
CA2705676A1 (en) 2009-05-22
WO2009064401A2 (en) 2009-05-22
CA2705676C (en) 2017-08-29
US20100260270A1 (en) 2010-10-14
EP2208349A4 (en) 2011-05-11
CN101868977B (zh) 2014-07-30
JP2011504337A (ja) 2011-02-03
CN101868977A (zh) 2010-10-20
WO2009064401A3 (en) 2009-07-09
EP2208349A2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
JP5269088B2 (ja) ビデオをエンコードするシステムおよび方法
JP2013243747A (ja) 映像を符号化するシステムおよび方法
JP6280144B2 (ja) デジタルビデオレコーダのための動画像編集および再フォーマット
JP5092469B2 (ja) 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
US20160012568A1 (en) Media-editing application with multiple resolution modes
US20090100339A1 (en) Content Acess Tree
JP4539754B2 (ja) 情報処理装置及び情報処理方法
US10419769B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US20150256690A1 (en) Image processing system and image capturing apparatus
US20060147183A1 (en) Recording apparatus and method, program, and recording medium
JP4582185B2 (ja) 情報処理装置及び情報処理方法
JP4066454B2 (ja) オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
JP2008124932A (ja) ノンリニア編集装置およびそのプログラム、ならびに、ノンリニア編集装置におけるデータ差し替え方法
JP2002135707A (ja) 映像編集システム
US20160189747A1 (en) Imaging apparatus and control method thereof
US20110074972A1 (en) Image processing apparatus
JP2007235372A (ja) 信号処理装置および方法、並びにプログラム
JP2004336381A (ja) 動画像処理方法及び装置
JP2012244429A (ja) 画像処理装置、および画像表示装置
JP2008182364A (ja) 動画像記録再生装置及びその制御方法、並びに、コンピュータプログラム
JP2008300997A (ja) 画像再符号化装置および画像再符号化方法
JP2010244592A (ja) 映像記録装置および映像再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150226