JP2022158941A - ビデオエンコーディングの交差検証 - Google Patents

ビデオエンコーディングの交差検証 Download PDF

Info

Publication number
JP2022158941A
JP2022158941A JP2022021107A JP2022021107A JP2022158941A JP 2022158941 A JP2022158941 A JP 2022158941A JP 2022021107 A JP2022021107 A JP 2022021107A JP 2022021107 A JP2022021107 A JP 2022021107A JP 2022158941 A JP2022158941 A JP 2022158941A
Authority
JP
Japan
Prior art keywords
encoding stream
stream
current
measurement
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022021107A
Other languages
English (en)
Other versions
JP7342166B2 (ja
Inventor
チェン・リュー
Chen Liu
ウェンハオ・ジャン
Wenhao Zhang
ダーリャン・フー
Deliang Fu
シャオボー・リュー
Xiaobo Liu
シーチャン・フアンフー
Xuchang Huangfu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hulu LLC
Original Assignee
Hulu LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hulu LLC filed Critical Hulu LLC
Publication of JP2022158941A publication Critical patent/JP2022158941A/ja
Application granted granted Critical
Publication of JP7342166B2 publication Critical patent/JP7342166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】交差検証プロセスを使用してエンコーディングストリームを自動的に検証する方法、装置及び記憶媒体を提供する。【解決手段】エンコーディングストリームを自動的に検証する方法は、ビデオの現在のエンコーディングストリームを受信し、参照エンコーディングストリームについての第１の測定値を、参照エンコーディングストリームの品質を測定するために選択する。次に、現在のエンコーディングストリームの第２の測定値を、参照エンコーディングストリームの第１の測定値と比較し、比較することに基づいて、現在のエンコーディングストリームが検証されたかどうかを出力する。【選択図】図３

Description

[0001]あるサービスは、そのビデオ配信サービスで提供されることになるソースビデオを受信し得る。このビデオをビデオ配信サービス上で公開する前に、サービスは、ソースビデオを異なるプロファイルにエンコードする。例えば、これらプロファイルは、ビットレート及び／又は品質の異なる組合せを表し得る。
[0002]ソースビデオのエンコードされたバージョンは、エンコーディングエラーを含む可能性がある。エンコーディングエラーのあるビデオが公開された場合、エラーは、視聴体験に悪影響を及ぼし得る。したがって、サービスは、ビデオを公開する前に、どのエンコーディングストリームがエンコーディングエラーを含み得るかを決定するために、エンコーディングストリームを監視し得る。エラーについてエンコーディングストリームを監視する１つの方法は、何らかのエンコーディングエラーがあるかどうかを決定するために、ユーザがエンコーディングストリームを初めから終わりまで手動で視聴することを必要とし得る。例えば、ユーザは、映画を初めから終わりまでよく見て、何らかのエラーが見られるかどうかをチェックし得る。ビデオは、３０分から数時間に及び得、各ビデオはまた、複数のプロファイルにエンコードされ得る。各エンコードされたビデオを手動でチェックすることは、数多くの時間を要し、手作業が多く、時間がかかり得る。追加として、ユーザがエンコーディングエラーを見落とし得、又はユーザがあまり目立たないエンコーディングエラーを見落とし得るという点で、検証はヒューマンエラーの影響を受けやすい。
[0003]以下の説明及び図面に関して、示される詳細は、例示的な説明を目的とした例を表し、本開示の原理及び概念的な態様の説明を提供するために提示されていることが強調される。この点に関して、本開示の基本的理解に必要である以上に実施詳細を示す試みは行われない。以下の説明は、図面と併せて、本開示による実施形態がどのように実施され得るかを当業者に明らかにする。同様の又は同じ参照番号が、様々な図面及びサポートする説明において、同様の又は同じ要素を識別するか、さもなければそれらを参照するため使用され得る。
[0004]図１は、いくつかの実施形態による、ビデオをエンコードするための簡略化されたシステムを図示する。 [0005]図２は、いくつかの実施形態による、ソースビデオをエンコードするための方法の簡略化されたフローチャートを図示する。 [0006]図３は、いくつかの実施形態による、エンコーディングストリームパイプラインにおいて交差検証を実行するための方法の簡略化されたフローチャートを図示する。 [0007]図４は、いくつかの実施形態による、交差検証プロセスを実行するための方法の簡略化されたフローチャートを図示する。 [0008]図５は、いくつかの実施形態による、交差検証プロセスを実行するための方法の簡略化されたフローチャートを図示する。 [0009]図６は、いくつかの実施形態による、ビデオのフレームに品質をマッピングするグラフを図示する。 [0010]図７は、いくつかの実施形態による、調整の例を図示する。 [0011]図８は、いくつかの実施形態による、静的品質しきい値を品質しきい値リストに適用する例を図示する。 [0012]図９は、いくつかの実施形態による、局所検証（local validation）を使用するためのプロセスの例を図示する。 [0013]図１０は、いくつかの実施形態による、現在のエンコーディングストリームの品質を分析するための方法の簡略化されたフローチャートを図示する。 [0014]図１１Ａは、いくつかの実施形態による、エンコーディングエラーを検出する例を図示する。 [0015]図１１Ｂは、いくつかの実施形態による、しきい値リストを使用してエンコーディングエラーを検出する例を図示する。 [0016]図１２は、一実施形態による、１つ又は複数の通信ネットワークを介して複数のクライアントデバイスと通信状態にあるビデオストリーミングシステムを図示する。 [0017]図１３は、ビデオコンテンツ及び広告を視聴するための装置の線図を図示する。
[0018]エンコーディングシステムのための技法が、本明細書で説明される。以下の説明では、説明を目的として、数多くの例及び特定の詳細が、いくつかの実施形態の完全な理解を提供するために示されている。特許請求の範囲によって定義されているいくつかの実施形態は、これらの例における特徴のうちのいくつか又は全てを、単独で又は以下に説明される他の特徴と組み合わせて含み得、本明細書で説明される特徴及び概念の修正例及び同等物をさらに含み得る。
[0019]システムが、エンコーディングストリームを自動的に検証する（validates）交差検証プロセスを使用する。交差検証プロセスは、エラーについて現在のエンコーディングストリームを交差検証するために、参照エンコーディングストリームを使用し得る。参照は、現在のエンコーディングストリームと類似した特性を含み得、これは、参照エンコーディングストリームにおける品質のバリエーションが、現在のエンコーディングストリームを検証するために使用され得るので、検証を改善する。例えば、交差検証プロセスは、現在のエンコーディングストリームのための品質しきい値リストを決定するために、参照エンコーディングストリームからの品質情報を使用し得る。交差検証プロセスは、参照エンコーディングストリームと現在のエンコーディングストリームとの間の差に基づいて、参照エンコーディングストリームからの品質情報を調整し得る。例えば、参照エンコーディングストリームは、より低いビットレート及び／又は品質に関連付けられたプロファイルのためのものであり得る。差分品質しきい値が、現在のエンコーディングストリームのプロファイルと、参照エンコーディングストリームのプロファイルとの間の差を考慮し得る。次いで、品質しきい値リスト中の値は、差分品質しきい値によって調整され得、これは、現在のエンコーディングストリームを検証するために使用される品質しきい値のリストをもたらす。交差検証プロセスは、品質しきい値リストに基づいて、エラーについて現在のエンコーディングストリームをチェックし得る。エラーが見つかった場合、交差検証プロセスは、現在のエンコーディングストリームのエラーがある部分を識別し得る。次いで、このプロセスは、エンコーディングエラーがある部分を再処理すること等によって、エラーを修復し得る。
[0020]交差検証プロセスは、エラーを検出するために、自動的に実行され得る。自動検出は、エンコーディングストリームを目で見てチェックするために必要であった多くの手作業の時間を節約し得る。さらに、参照エンコーディングストリームの使用は、現在のエンコーディングストリーム中にエラーがあるかどうかを予測するための、より正確であり得る品質情報を提供することによって、エラーについてチェックする自動プロセスを改善し得る。追加として、現在のエンコーディングストリームのエラーがある部分を識別することによって、現在のエンコーディングストリームの再処理は、現在のエンコーディングストリーム全体が再処理される必要がないという点で、コンピューティングリソースを節約し得る。
[0021]システムの概要
[0022]図１は、いくつかの実施形態による、ビデオをエンコードするための簡略化されたシステム１００を図示する。システム１００は、サーバシステム１０２と、クライアント１０４と、を含む。１つのサーバシステム１０２及び１つのクライアント１０４が示されているが、複数のクライアント１０４及び複数のサーバシステム１０２が使用され得ることが理解される。例えば、サーバシステム１０２は、複数のサーバを含み得、複数のクライアント１０４と通信し得る。また、コンテンツ配信ネットワーク（ＣＤＮ：content delivery networks）が、クライアント１０４にビデオを配信するために使用され得るが、それは図示されていない。
[0023]サーバシステム１０２は、ビデオのエンコードされたビットストリームをクライアント１０４に送ることを容易にするビデオ配信システム１１２を含み得る。例えば、ビデオ配信システム１１２は、クライアント１０４がビデオオンデマンド又はテレビの生放送からのライブビデオ等のビデオを要求することを可能にするビデオ配信サービスを提供し得る。上記で説明されたように、ビデオ配信システム１１２は、ビデオのエンコードされたビットストリームを配信するために、コンテンツ配信ネットワークを使用し得る。このケースでは、ビデオのエンコードされたバージョンは、クライアント１０４への配信のために、コンテンツ配信ネットワークに送られ得る。
[0024]クライアント１０４は、スマートフォン、リビングルームデバイス、タブレットデバイス、パーソナルコンピュータ等のような、ビデオを再生し得る様々なコンピューティングデバイスを含み得る。ビデオ配信システム１１２は、クライアント１０４におけるインターフェースにおいて表示されるアプリケーションを提供し得る。ユーザアカウントが、ビデオ配信サービスにアクセスするために、アプリケーションにログオンし得る。次いで、ビデオ配信システム１１２は、クライアント１０４からビデオ要求を受信し、クライアント１０４がビデオをストリーミングすることを可能にするために、ビデオ要求を処理し得る。エンコードされたビットストリームを受信すると、デコーダ１１４が、ビットストリームをデコードする。メディアプレーヤ１１６が、クライアント１０４におけるユーザインターフェース上で、デコードされたビットストリームを再生し得る。
[0025]サーバシステム１０２は、ソースビデオをエンコードするエンコーダ１０６を含む。例えば、ソースビデオは、コンテンツプロバイダ等のソースから受信され得る。エンコーダ１０６は、ソースビデオを異なるエンコードされたビットストリームにエンコードし得、これは、エンコーディングストリームと呼ばれ得る。周知のように、ビデオは、ビットレート及び／又は品質の異なるレベルであり得る異なるレベルに対応する複数のプロファイルでエンコードされ得る。いくつかの実施形態では、ソースビデオは、ビデオのために使用され得るプロファイルを含むプロファイルラダー（profile ladder）にエンコードされる。プロファイルは、ビットレート及び／又は品質特性等の特性に関連付けられた異なるレベルを含む。ビットレートは、送られ得る１秒あたりのバイト数であり得、品質特性は、ビデオの品質を測定し得る。より高い解像度がより高い品質に関連付けられている等、ビデオの解像度は、品質特性に関連し得る。プロファイルラダーにおけるプロファイルのレベルは、ビデオが４００キロバイト／秒（Ｋｂｐｓ）及び２７０ｐの解像度でトランスコードされ得る等、そのレベルに関してどのようにビデオがトランスコードされるかに基づいて決定され得る。２７０ｐの解像度は、ビデオの解像度において使用されるピクセル数を表し得る。
[0026]エンコーダ１０６は、エンコーディングストリームをエンコーディングストリームモニタ１０８に出力し得、これは、エンコーディングストリームを検証（validate）し得る。以下でより詳細に説明されるように、エンコーディングストリームモニタ１０８は、エンコーディングストリームを検証する交差検証プロセスを実行し得る。エンコーディングストリームが検証されなかった（not validated）場合、エンコーダ１０６は、異なるエンコーディングパラメータを使用して、ビデオを再エンコードし得る。エンコーディングストリームが検証されると、エンコーダ１０６は、ビデオストレージ１１０内にエンコーディングストリームを記憶し得る。例えば、ビデオは、公開され得、公開後にクライアント１０４によって要求され得る。例えば、クライアント１０４は、現在の再生条件（playback conditions）に基づいて、プロファイルのうちの１つからのビデオのセグメントを要求し得る。いくつかの例では、クライアント１０４は、現在の利用可能な帯域幅及びその他のネットワーク条件に基づいて、ビデオのためのプロファイルを選択するために、適応ビットレートアルゴリズムを使用し得る。
[0027]エンコーディングプロセス
[0028]図２は、いくつかの実施形態による、ソースビデオをエンコードするための方法の簡略化されたフローチャート２００を図示する。２０２において、エンコーディングストリームモニタ１０８は、ソースビデオの現在のエンコーディングストリームを受信する。現在のエンコーディングストリームは、エンコーダ１０６によって出力された、エンコードされたビットストリームであり得る。例えば、エンコーダ１０６は、ビットレート及び品質の異なる組合せに関連付けられ得るプロファイル等の、複数のプロファイルにソースビデオをエンコードし得る。いくつかの実施形態では、９個のプロファイル等の、いくつかのプロファイルが使用され得る。これらプロファイルは、２００、３００、４００、６５０、１０００、１５００、２０００、２５００及び３２００Ｋｂｐｓのビットレートに関連付けられ得るが、他のビットレートも使用され得る。一例では、エンコーダ１０６は、２００Ｋｂｐｓでプロファイルをエンコードした後に、３００Ｋｂｐｓでプロファイルをエンコードし得る。
[0029]２０４において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームを分析する。分析は、以下でより詳細に説明される。
[0030]２０６において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの検証が不合格であるかどうかを決定する。検証が不合格であった場合、２０８において、エンコーディングストリームモニタ１０８は、エンコーディングパラメータを調整し得る。例えば、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームにおけるエラーを分析し、エラーに基づいて、異なるトランスコーディングパラメータを決定し得る。例えば、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームと、現在のエンコーディングストリームとの間の品質の差を出力し得る。この差は、それに応じてパラメータを調整するために使用され得る。例えば、参照エンコーディングストリームの品質と、現在のエンコーディングストリームの品質との間の大きい差は、パラメータのより大きい調整をもたらし得る。また、エンコーディングストリームモニタ１０８は、エラーの位置を決定し、この位置をエンコーダ１０６に提供し得、これにより、エンコーダ１０６は、（例えば、ソースビデオ全体ではなく）エラーの位置に基づいてソースビデオの一部のみを再エンコードし得る。
[0031]２１０において、現在のエンコーディングストリームが交差検証に不合格でなかった場合、２１０において、エンコーディングストリームモニタ１０８は、公開のために現在のエンコーディングストリームを記憶する。
[0032]交差検証の実施形態
[0033]交差検証は、異なる方法で、エンコーディングストリームパイプラインにおいて実行され得る。以下では、交差検証を実行するための２つの方法を説明するが、他の方法も理解され得る。図３は、いくつかの実施形態による、エンコーディングストリームパイプラインにおいて交差検証を実行するための方法の簡略化されたフローチャート３００を図示する。３０２において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの品質測定値を計算する。品質測定値は、プロファイルの現在のエンコーディングストリーム全体についての平均品質であり得る。例えば、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの各フレームについて、ピーク信号対雑音比（ＰＳＮＲ）等の、品質測定値の平均を計算し得る。フレームの一部、全てのフレーム等からの最大ピーク信号対雑音比等の、他の測定値も使用され得る。
[0034]３０４において、エンコーディングストリームモニタ１０８は、品質測定値をしきい値と比較する。しきい値は、変化しない静的品質しきい値であり得る。例えば、静的品質しきい値は、フレームの一部又はフレームごとに等、現在のエンコーディングストリームの一部に対して変化しない場合がある。また、しきい値は、複数のビデオにわたって変化しない場合がある。例えば、３００Ｋｂｐｓの同じプロファイルの場合、同じ静的品質しきい値が、３００Ｋｂｐｓプロファイルのためにエンコードされた全てのソースビデオのために使用され得る。いくつかの例では、３０デシベル（ｄＢ）のピーク信号対雑音比が、このプロファイルのために使用される品質しきい値であり得る。
[0035]３０６において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームが検証に不合格であるかどうかを決定する。そうでない場合、３１２において、エンコーディングストリームモニタ１０８は、エンコーディングが成功したことを示す情報を出力する。現在のエンコーディングストリームは、この時点で公開され得る。例えば、それ以上の検証（例えば、交差検証）は、実行されなくなり得る。
[0036]現在のエンコーディングストリームが検証に不合格であった場合、３０８において、エンコーディングストリームモニタ１０８は、交差検証プロセスを実行する。交差検証プロセスが静的しきい値との第１の比較後に実行される場合の１つの理由が、静的しきい値を使用することが高いフォールスアラーム率（high false alarm ratio）を有し得ることである。ビデオエンコーディングの品質は、ビデオ特性に依存して、ビデオ全体を通して変化し得るので、高いフォールスアラーム率が存在し得る。例えば、ビデオのいくつかの部分は、多くの量の動きを有し得、いくつかの部分は、ほとんど静的なオブジェクトを含み得るか、又はあまり詳細がない（例えば、ブラックスクリーン）場合がある。動きの多いフレームは、静的なオブジェクトを有するフレームよりも低い品質を有し得る。静的しきい値は、例えば、エラーとしてフラグを立てられ得るが、いかなるエンコーディングエラーも有していない場合がある動きの多いコンテンツを有するフレーム等、実際のエラーではない場合があるエンコーディングエラーのフラグを立て得る値に設定され得る。例えば、動きの多いフレームは、静的なオブジェクトを有するフレームよりも低い品質を有し得る。いくつかの例では、大きいノイズを有するビデオ（例えば、映画）の場合、ピーク信号対雑音比は、一般に、およそ３２デシベル（ｄＢ）～３６ｄＢであり得る。しかしながら、アニメーションの場合、ピーク信号対雑音比は、一般に、およそ４２ｄＢ～４５ｄＢであり得る。したがって、静的しきい値がピーク信号対雑音比に対して高すぎるように設定されている場合、高ノイズを有するビデオの大半が、たとえビデオがエンコーディングエラーを有していなかったとしても、静的しきい値での検証に合格しない。また、静的しきい値がピーク信号対雑音比に対して低すぎるように設定されている場合、アニメーションがもともと高いピーク信号対雑音比を有しているので、一部のアニメーションは、たとえアニメーションがエンコーディングエラーを有していたとしても検証に合格し得る。したがって、静的しきい値を使用すると、ある特定のタイプのビデオでは、高い誤検出（false positives）が存在し得る。類似の参照エンコーディングを使用する交差検証は、品質しきい値が参照の特性に基づいて異なるので、この問題を克服し得る。
[0037]以前は、現在のエンコーディングストリームが静的しきい値での検証に不合格であった場合、典型的に、ビデオは手動で見直され、これはリソースを浪費した。しかしながら、いくつかの実施形態では、エンコーディングストリームモニタ１０８は、最初の検証が不合格であると、交差検証プロセスを自動的に実行する。
[0038]３１０において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームが交差検証に合格したかどうかを決定する。交差検証プロセスは、以下でより詳細に説明される。交差検証に合格した場合、３１２において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームがエラーなしに成功裏にエンコードされたことのインジケーションを出力する。いくつかのケースでは、交差検証は、エンコーディングストリームが最初の検証に不合格になった後に、それを検証し得る。例えば、現在のエンコーディングストリームが最初の検証に不合格であるが、交差検証には合格し得る場合は、現在のエンコーディングストリームが大きいノイズを有するときであり、ピーク信号対雑音比は、静的しきい値よりも低くなり得るが、交差検証プロセスでは、現在のエンコーディングストリームは合格し得、これは、現在のエンコーディングストリームが、参照エンコーディングストリームの特性に基づいてしきい値を変化させる参照エンコーディングストリームと比較されるからである。
[0039]現在のエンコーディングストリームが交差検証に合格しなかった場合、３１４において、エンコーディングストリームモニタ１０８は、失敗（failure）を出力し、これは、エンコーディングエラーが検出されたことを意味する。交差検証プロセスは、エラーが存在するかどうかを決定するために、現在のエンコーディングストリームをより詳細にチェックし得る。また、交差検証が不合格であった場合、交差検証は、現在のエンコーディングストリームにおけるエラーがあった位置を識別し得、これは、エラーが生じた場所を決定するために、ビデオを手動で視聴する必要性を除去し得る。また、交差検証プロセスは、使用すべきターゲット品質等の、ビデオを再エンコードするときに使用すべきパラメータを提供し得る。
[0040]交差検証方法はまた、スタンドアロンのプロセスとして使用され得る。例えば、図４は、いくつかの実施形態による、交差検証プロセスを実行するための方法の簡略化されたフローチャート４００を図示する。４０２において、エンコーディングストリームモニタ１０８は、ビデオの現在のエンコーディングストリームを受信する。例えば、エンコーディングストリームモニタ１０８は、エンコーディングエラーについてその他任意の検証チェックが実行されることなく、エンコーダ１０６からの現在のエンコーディングストリームを受信する。４０４において、エンコーディングストリームモニタ１０８は、交差検証プロセスを実行する。４０６において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームが交差検証プロセスに合格したかどうかを決定する。そうである場合、エンコーディングストリームモニタ１０８は、検証について成功のインジケーションを出力する。そうでない場合、エンコーディングストリームモニタ１０８は、検証の失敗のインジケーションを出力する。したがって、最初の検証は、プロセスから除去される。静的しきい値での最初の検証チェックを含めない１つの理由は、ビデオ（例えば、上記で説明されたようなアニメーション）が、より高いピーク信号対雑音比を有し得、静的しきい値に合格し得るが、それでもエンコーディングエラーを有し得るからである。上記のエンコーディングパイプラインフローが説明されたが、交差検証プロセスを組み込む他のフローも使用され得る。
[0041]交差検証プロセス
[0042]次に、交差検証プロセスが、より詳細に説明される。図５は、いくつかの実施形態による、交差検証プロセスを実行するための方法の簡略化されたフローチャート５００を図示する。５０２において、エンコーディングストリームモニタ１０８は、交差検証のための参照エンコーディングストリームを選択する。エンコーディングストリームモニタ１０８は、異なる方法で参照エンコーディングストリームを決定し得る。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームの選択を受信し得るか、又は参照エンコーディングストリームを選択し得る。例えば、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームと類似した特性を含む参照エンコーディングストリームを決定するように試みる。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの特性を、可能な参照エンコーディングストリームの特性と比較し得る。次いで、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームのセットから、現在のエンコーディングストリームに対する最適な参照（例えば、最も類似している）とみなされる参照エンコーディングストリームを選択し得る。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、ストリームの特性に基づいて、各参照エンコーディングストリームについてのスコアを計算し得る。現在のエンコーディングストリームに最も類似するスコアを有する参照エンコーディングストリームが選択され得る。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームのためのプロファイルを決定し得る。同じソースビデオについて以前にエンコードされた別のプロファイルが存在する場合、エンコーディングストリームモニタ１０８は、その参照エンコーディングストリームを選択し得る。例えば、３００Ｋｂｐｓプロファイルがエンコードされている場合、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームとして２００Ｋｂｐｓプロファイルを選択し得る。２００Ｋｂｐｓプロファイルのためのエンコーディングストリームは、現在のエンコーディングストリームと類似した特性を有し得ることが予期される。
[0043]いくつかのケースでは、現在のエンコーディングストリームは、ソースビデオのためにエンコードされた最初のエンコーディングストリームであり得る。エンコーディングストリームモニタ１０８は、信頼性があると見なされ得、エラーが非常に少ないか又はほとんどないであろう、別のエンコーダからの参照エンコーディングストリームを選択し得る。例えば、現在のエンコーディングストリームのためのエンコーダが、Ｈ．２６５等の第１のプロトコルを使用している場合、エンコーディングストリームモニタ１０８は、Ｈ．２６４等のより確立されたエンコーディングプロトコルからの参照エンコーディングストリームを選択し得る。Ｈ．２６５プロトコルが比較的新しい一方で、Ｈ．２６４プロトコルは、何年にもわたって信頼性をもって使用されてきた。Ｈ．２６４エンコーダからの参照エンコーディングストリームは、より信頼性が高くあり得、この参照エンコーディングストリームには、エンコーディングエラーが多くないという確信があり得る。また、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームと類似のコンテンツを含む参照エンコーディングストリームを決定するために、ストリームのコンテンツを分析し得る。
[0044]５０４において、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームのフレームについての品質測定値を決定する。フレームは、画像等の、ビデオの一部であり得る。品質測定値は、ビデオのフレームについての品質を定量化するための情報を提供し得る。品質測定値は、各フレーム、複数のフレーム、１つおきのフレーム等についてのものであり得る。図６は、いくつかの実施形態による、ビデオのフレームに品質をマッピングするグラフ６００を図示する。例えば、グラフ６００は、Ｙ軸上にピーク信号対雑音比等の品質測定値を含み、Ｘ軸上にフレーム番号の識別を含む。線６０２が、これらフレームについての品質をマッピングする。品質測定値は、静的ではなく、フレームによって異なる。また、フレーム内に多くの動きが存在する、シーンが変わる場合等のように、フレーム間の品質に大きい差が存在し得る。現在のエンコーディングストリームの品質測定値が静的しきい値を下回るポイントが存在し得るが、そのポイントにおけるフレームは、エンコーディングエラーを含まないので、参照エンコーディングストリームにおける品質のバリエーションを使用することは、交差検証を改善する。むしろ、フレームは、ビデオの特性により、より低い品質でエンコードされたコンテンツに関連付けられ得る。
[0045]図５を再び参照すると、５０６において、エンコーディングストリームモニタ１０８は、参照エンコーディングストリームに基づいて、品質しきい値リストを計算する。品質しきい値リストは、初期品質測定値に対する調整された品質測定値であり得る。調整は、参照エンコーディングストリームと現在のエンコーディングストリームとの間の任意の差に基づいて実行され得る。例えば、参照エンコーディングストリームは、２００Ｋｂｐｓプロファイルに基づき得、一方、現在のエンコーディングストリームは、３００Ｋｂｐｓプロファイルに基づき得る。２００Ｋｂｐｓプロファイルは、３００Ｋｂｐｓプロファイルとは異なるターゲット品質でエンコードされ得る。すなわち、３００Ｋｂｐｓプロファイルは、２００Ｋｂｐｓプロファイルよりも高い品質を有し得る。品質しきい値リストは、これらの差に基づいて調整を行う。図７は、いくつかの実施形態による、調整の例を図示する。例えば、図７は、いくつかの実施形態による、品質しきい値リストのグラフ７００を図示する。グラフ７００は、Ｙ軸上に品質測定値及びＸ軸上にフレームを含む。差分品質しきい値７０２は、参照エンコーディングストリームの品質測定値の調整を表す。例えば、参照エンコーディングストリームについての品質測定値は、７０４において示されている。差分品質しきい値に基づく品質測定値への調整の結果は、７０６において示されている。見て分かるように、フレームについての品質測定値は、差分品質しきい値に基づいて調整されている。この例では、調整品質測定値は、元の品質測定値から増加されているが、調整された品質測定値は、より低い方へ等、他の方向に調整され得ることも理解されよう。すなわち、参照エンコーディングストリームが現在のエンコーディングストリームよりも高い品質プロファイルからものである場合には、品質測定値は、より低くなるように調整され得る。
[0046]差分品質しきい値は、参照エンコーディングストリームと現在のエンコーディングストリームとの間の差に基づいて計算され得る。いくつかの実施形態では、差分品質しきい値Δｑｕａｌｉｔｙ＿ｔｈｒｅｓｈｏｌｄは、以下の関数によって計算され得る。
Figure 2022158941000002
変数ｂｉｔｒａｔｅｃｕｒは、現在のエンコーディングストリームをエンコードするために使用されるプロファイルのビットレートであり得、変数ｂｉｔｒａｔｅｒｅｆは、参照エンコーディングストリームのためのプロファイルのビットレートであり得る。変数ｑｕａｌｉｔｙｒｅｆは、参照エンコーディングストリームのプロファイルの品質レベルであり得る。いくつかの実施形態では、ｂｉｔｒａｔｅｃｕｒは、現在のエンコーディングストリームの平均ビットレートであり、ｂｉｔｒａｔｅｒｅｆは、参照エンコーディングストリームの平均ビットレートであり、ｑｕａｌｉｔｙｒｅｆは、参照エンコーディングストリームの平均品質である。上記は、差分品質しきい値が、現在のエンコーディングストリームのビットレートと、参照エンコーディングストリームのビットレートと、参照エンコーディングストリームの品質との関数であることを示す。関数ｆについての一例が、以下に示されるが、その他も使用され得る。
Figure 2022158941000003
[0047]関数ｆ（ｑｕａｌｉｔｙｒｅｆ）は、ビットレートと、異なる品質範囲の下での品質との変換係数を表し得る。変換係数は、ビットレートの値における変化を、品質測定値における値の変化に（ビットレートをピーク信号対雑音比に）変換し得る。例えば、ビットレートにおける１０パーセントの変化は、ピーク信号対雑音比についてのｄＢにおける０．５の変化であり得る。ビットレートの変化から品質における変化への変換を実施する異なる方法が理解され得る。変数ｓａｆｅ＿ｆａｃｔｏｒは、Δｑｕａｌｉｔｙ＿ｔｈｒｅｓｈｏｌｄの値の控えめな使用（conservative use）を表す。すなわち、安全係数は、参照品質測定値をその完全な変換（its full conversion）にまで調整しない場合がある。例えば、エンコーディングストリームモニタ１０８は、品質しきい値レベルを１００ピーク信号対雑音比に調整する代わりに、エンコーディングストリームモニタ１０８が、しきい値を９０ピーク信号対雑音比に調整する等、変換の９０％を獲得する（capture）ように安全係数を０．９に設定し得る。
[0048]追加として、エンコーディングストリームモニタ１０８は、調整された品質測定値に静的品質しきい値（例えば、リミット又はクランプ）を適用し得る。静的品質しきい値は、品質しきい値リストの範囲を制限し得る。例えば、ある特定の品質レベルが、フレーム又はフレームのグループによって満たされた場合には、その品質レベルは、たとえ調整された品質測定値の品質レベルが静的品質しきい値を超えたとしても、許容可能であり得る。エンコーディングストリームモニタ１０８は、静的品質しきい値を、ピーク信号対雑音比について３５ｄＢに設定し得るが、他の値も使用され得る。したがって、エンコーディングストリームモニタ１０８は、静的品質しきい値より高い、フレーム又はフレームのグループのための任意の品質しきい値を、静的品質しきい値の値に制限し得る。
[0049]図８は、いくつかの実施形態による、静的品質しきい値を品質しきい値リストに適用する例を図示する。グラフ８００－１は、静的品質しきい値と、７０６における調整された品質しきい値リストとの関係とを示す。８０２において、静的品質しきい値は、エンコーディングストリーム全体にわたって適用され得る。静的品質しきい値は、許容可能な品質レベルとみなされた所定の値に設定され得る。グラフ８００－２では、静的品質しきい値は、品質しきい値リストに適用される。例えば、静的品質しきい値を超える任意の測定値が、静的品質しきい値に調整され得る。静的品質しきい値を超えた品質しきい値リストのエリアは、８０４－１、８０４－２、及び８０４－３において示されている。品質しきい値リストについてのこれらの値は、静的品質しきい値に調整されている。静的品質しきい値を適用することによって、エンコーディングストリームモニタ１０８は、元の品質リストを下回るいくつかのフレームは、これらフレームの品質が十分であるので、エラーでない可能性があることを決定し得る。例えば、現在のエンコーディングストリームは、元の参照品質レベルを満たさない可能性があるが、静的品質しきい値を超え得る。
[0050]図５を再び参照すると、５０８において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームにおけるフレームセットに対して、現在のエンコーディングストリームの局所検証を実行する。局所検証は、フレームセットについての品質測定値を、品質しきい値リスト中の対応するフレームについての、対応するしきい値と比較する。局所検証は、エンコーディングエラーを含み得るフレームを局所的に決定するために、フレームレベルで実行され得る。エンコーディングストリームモニタ１０８は、品質しきい値リストを、現在のエンコーディングストリームにおけるフレームについての品質と比較し得る。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの品質をチェックするために、スライディングウィンドウを使用し得る。スライディングウィンドウは、いくつかのフレームに設定され得、これは、１つのフレームからビデオ全体の間であり得る。しかしながら、いくつかの実施形態では、エンコーディングストリームモニタ１０８は、エンコーディングエラーありのいくつかのフレームと、エンコーディングエラーなしのいくつかのフレームとを局所的に識別するために、ビデオ全体より小さいウィンドウを使用する。ウィンドウのサイズは、使用されるコンピューティングリソースの量を決定し得る。例えば、より小さいウィンドウサイズは、より大きいウィンドウサイズに比べて、エンコーディングストリーム全体を分析するためにより多くの計算を実行し得る。しかしながら、より大きいウィンドウサイズは、どこにエンコーディングエラーがあるかをフレームレベルで区別する感度がより低くなり得る。例えば、１つ又は２つのフレームのスライディングウィンドウは、１つ又は２つのフレームによって、局所エンコーディングエラーを決定することが可能であり得る。しかしながら、より大きいウィンドウサイズは、正確なフレームに対するエンコーディングエラーを決定することが可能でない場合がある。５１０において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームが検証されたかどうかの決定を出力する。異なる方法が、現在のエンコーディングストリームが検証されたかどうかを決定するために使用され得、以下でより詳細に説明される。
[0051]図９は、いくつかの実施形態による、局所検証を使用するためのプロセスの例９００を図示する。ビデオのフレームが９０２において示されており、現在のエンコーディングストリームの最初のフレームから最後のフレームまでであり得る。エンコーディングストリームモニタ１０８は、局所検証において分析すべきフレームを決定するために、ウィンドウ９０４を使用する。この例では、ウィンドウ９０４は、５つのフレームであるが、エンコーディングストリームモニタ１０８は、異なる数のフレームを使用し得る。
[0052]交差検証プロセスでは、エンコーディングストリームモニタ１０８は、ウィンドウ９０４における５つのフレームを分析し、次いで、現在のエンコーディングストリーム９０２のフレームにわたってウィンドウをスライドさせる。例えば、９０６－１において５つのフレームを分析した後、エンコーディングストリームモニタ１０８は、さらに５つのフレームを分析するために、ウィンドウ９０４を９０６－２へとスライドさせる。いくつかの実施形態では、エンコーディングストリームモニタ１０８は、ウィンドウ９０４を１フレームずつスライドさせるが、エンコーディングストリームモニタ１０８は、分析のための異なる数のフレームでウィンドウ９０４をスライドさせ得る。単一フレームスライディングウィンドウでは、ウィンドウ９０４は、９０６－３へとスライドし、以下同様に９０６－４における最後の５つのフレームに至るまでスライドする。
[0053]各スライディングウィンドウステップでは、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの局所品質と、現在のウィンドウ９０４におけるフレームについての品質しきい値リストの局所品質とを計算する。コーディングストリームモニタ１０８は、異なる品質測定値を比較し、これらのフレームが検証に不合格であったか、又は検証に合格したかを決定し得る。ウィンドウ９０４におけるフレームのために使用される品質測定値は、平均品質、最大品質、最小品質等のような、異なる測定値であり得る。また、重み付けされた品質が、以下のように、局所品質を表すために使用され得る：
Figure 2022158941000004
重み付けされた品質は、異なるようにウィンドウ９０４におけるフレームを重み付けし得る。例えば、中央のフレームは、ウィンドウ９０４において中央のフレームの品質を最も重要なものにするために、最も高く重み付けされ得る。いかなる重み付けも使用しないこと、最初のフレームをより高く重み付けすること等のような、他の方法も使用され得る。
[0054]図１０は、いくつかの実施形態による、現在のエンコーディングストリームの品質を分析するための方法の簡略化されたフローチャート１０００を図示する。１００２において、エンコーディングストリームモニタ１０８は、変数Ｐを０とし、ウィンドウサイズをサイズＸとし、「不合格ポイント」という変数を０に等しく、「合格ポイント」という変数を０に等しく、これら変数を設定する。変数不合格ポイント及び変数合格ポイントは、分析中の失敗及び成功の数をカウントする。変数Ｐは、ビデオにおけるフレームを識別するフレーム識別子である。エンコーディングストリームモニタ１０８は、スライディングウィンドウ９０４の始点として変数Ｐを使用し得る。
[0055]１００４において、エンコーディングストリームモニタ１０８は、変数ＰをＰ＋１に等しくなるように設定する。これはウィンドウを、ビデオの最初のフレームとして設定する。各後続の分析において、エンコーディングストリームモニタ１０８は、ウィンドウを増分し得るか、又はウィンドウを１フレーム分スライドさせ得る。ウィンドウは、１つより多くのフレーム分移動され得ることに留意されたい。
[0056]１００６において、エンコーディングストリームモニタ１０８は、ウィンドウサイズがビデオの終わりよりも大きくなるかどうかを決定する。すなわち、エンコーディングストリームモニタ１０８は、スライディングウィンドウがビデオの終わりを越えたかどうかを決定する。このケースでは、分析プロセスは終了し、１０１８に進み得、これは、後に説明される。スライディングウィンドウがビデオの終わりに到達していない場合、１００８において、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームにおけるフレームＰからフレームＰ＋ウィンドウサイズまでのこれらフレームの局所品質を計算する。これは、「現在の品質」と呼ばれ得る。１０１０において、エンコーディングストリームモニタ１０８は、品質しきい値リスト中のフレームＰからフレームＰ＋ウィンドウサイズまでのこれらフレームの品質を計算する。これは、「品質しきい値」と呼ばれ得る。したがって、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームと品質しきい値リストについて、ウィンドウ９０４における局所品質を測定する。
[0057]１０１２において、エンコーディングストリームモニタ１０８は、現在の品質が品質しきい値未満であるかどうかを決定する。例えば、現在の品質が品質しきい値未満である場合には、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームについてのウィンドウ９０４における部分が、その品質が参照エンコーディングストリームのものよりも低いので、その中にエラーがあり得ることを決定する。上記分析が決定されたが、品質しきい値の重み付けを使用する等、現在の品質と品質しきい値との間の他の比較も使用され得る。
[0058]現在の品質が品質しきい値を満たさない（例えば、それより低い）場合、１０１４において、エンコーディングストリームモニタ１０８は、不合格ポイントの数を、１等によって増分する。現在の品質が品質しきい値を満たす（例えば、それより大きい）場合、１０１６において、エンコーディングストリームモニタ１０８は、合格ポイントの数を増分する。プロセスは１００４へと反復し、ここで、変数Ｐは増分され、これは、ウィンドウ９０４をフレームの数Ｐ分だけスライドさせる。
[0059]最終的には、ビデオの終わりがウィンドウ９０４によって到達されることになり、１０１８において、エンコーディングストリームモニタ１０８は、交差検証が不合格であったかどうかを決定する。例えば、エンコーディングストリームモニタ１０８は、不合格ポイントの数がしきい値を満たす（例えば、しきい値より大きい）かどうかを決定し得る。例えば、エンコーディングストリームモニタ１０８は、不合格ポイントの数をカウントし、不合格ポイントの数をしきい値と比較するのみであり得る。いくつかの実施形態では、不合格ポイントと合格ポイントとの比率が使用され、しきい値と比較され得るが、他の方法も使用され得る。比率は、比較の回数に基づいて、ビデオに基づく少数のエンコーディングエラーのみが存在し得、それらの少数のエンコーディングエラーは許容可能であり得るとみなし得る。不合格ポイントのみの使用は、ビデオの長さを考慮しない場合がある。例えば、エンコーディングストリームモニタ１０８は、合格しきい値として１００％を使用し得、これは、不合格ポイントが１つでもあれば、エンコーディングストリームモニタ１０８は失敗を出力することになることを意味する。しかし、他のシナリオは、ストリームがすぐに公開される必要があり得るので、現在のエンコーディングストリームを再トランスコードする時間がほとんどない可能性がある等、品質よりも適時性（timeliness）又は計算リソースに重きを置き得る。これらのシナリオの場合、エンコーディングストリームモニタ１０８は、低い品質を有する１つ又は２つのフレーム等の、いくらかのエラーを許容し得、エンコーディングストリームモニタ１０８は、この合格しきい値を、９９％等のより低い数値に設定し得る。
[0060]１０２０において、交差検証は不合格でなく、エンコーディングストリームモニタ１０８は、成功のインジケーションを出力する。現在のエンコーディングストリームの更なる見直しは必要でなくなり得、現在のエンコーディングストリームは、公開（例えば、クライアントへのストリーミング）のために出力され得る。１０２２において、交差検証は不合格であり、エンコーディングストリームモニタ１０８は、失敗のインジケーションを出力し得る。この場合、現在のエンコーディングストリームの更なる処理が実行され得る。エンコーディングストリームモニタ１０８はまた、エラーの位置及び調整されたパラメータ等の、ソースビデオを再処理する際に役立ち得る情報を出力し得る。
[0061]図１１Ａは、いくつかの実施形態による、エンコーディングエラーを検出する例を図示する。グラフ１１００は、Ｙ軸上に品質、及びＸ軸上に現在のエンコーディングストリームについてのフレームを示す。線１１０１は、現在のエンコーディングストリームの品質を示す。
[0062]１１０２－１において、品質測定値は、いくつかのフレームについて低下する。これは、これらのフレームに局所的な品質問題が存在することを示し得る。スライディングウィンドウが使用されているので、エンコーディングエラーは、これらのフレームにおいて局所的に検出され得る。これらのエラーは、フレームのうちのいくつかがボックスによって示されるエンコーディングエラーを含む、現在のエンコーディングストリームにおける１１０２－２において示されている。
[0063]図１１Ｂは、いくつかの実施形態による、しきい値リストを使用してエンコーディングエラーを検出する例を図示する。グラフ１１０４は、Ｙ軸上に品質、及びＸ軸上に現在のエンコーディングストリームについてのフレームを示す。線１１０６は、現在のエンコーディングストリームの品質を示し、線１１０８は、しきい値リストの品質を示す。現在のエンコーディングストリームの品質は、１１１０において示されるポイントにおいて、しきい値リストを満たさない場合がある。エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームにおけるこのポイントがエンコーディングエラーを含むと決定する。
[0064]エンコーディングストリームモニタ１０８は、エンコーディングエラーを含み得るフレームの識別を出力し得る。追加として、エンコーディングストリームモニタ１０８は、エンコーディングパラメータを調整するために使用され得る情報を出力し得る。エンコーディングストリームモニタ１０８は、この範囲にある識別されたフレームを分析し、調整を決定し得る。例えば、エンコーディングストリームモニタ１０８が、これらのフレームが明らかなブロック境界を有すると決定した場合、エンコーディングストリームモニタ１０８は、このピクチャのグループ（ＧＯＰ）もしくはチャンクに対して、ヘビーデブロックフィルタ（heavy deblock filter）を提案し得、又は、エンコーディングストリームモニタ１０８が、これらのフレームがノイズを有すると決定した場合、エンコーディングストリームモニタ１０８は、それらに対してノイズ除去フィルタを提案し得る。他の提案は、サンプル適応オフセット（ＳＡＯ）、レート歪み（ｒｄ）レベル、動き探索設定等を含む。
[0065]結論
[0066]したがって、エンコーディングストリームモニタ１０８は、現在のエンコーディングストリームの検証を自動的に実行する。参照エンコーディングストリームの使用は、動的しきい値が使用されることを可能にする。これは、検証を改善し、また、検証が、誤検出を低減し、使用されるコンピューティングリソースの量を低減することを可能にする。
[0067]例となる実施形態
[0068]いくつかの実施形態では、方法が、コンピューティングデバイスによって、ビデオの現在のエンコーディングストリームを受信することと、コンピューティングデバイスによって、参照エンコーディングストリームと現在のエンコーディングストリームとの間の類似性に基づいて、参照エンコーディングストリームを選択することと、コンピューティングデバイスによって、参照エンコーディングストリームの品質を測定するために、参照エンコーディングストリームについての第１の測定値を選択することと、コンピューティングデバイスによって、現在のエンコーディングストリームの第２の測定値を、参照エンコーディングストリームの第１の測定値と比較することと、コンピューティングデバイスによって、比較することに基づいて、現在のエンコーディングストリームが検証されたかどうかを出力することと、を備える。
[0069]いくつかの実施形態では、参照エンコーディングストリームを選択することは、現在のエンコーディングストリームの第１の特性を、参照エンコーディングストリームの第２の特性と比較することと、参照エンコーディングストリームを、現在のエンコーディングストリームのための参照として使用するかどうかを決定することと、を備える。
[0070]いくつかの実施形態では、参照エンコーディングストリームを選択することは、現在のエンコーディングストリームを複数の参照エンコーディングストリームと比較することと、現在のエンコーディングストリームとの類似性に基づいて、複数の参照エンコーディングストリームから参照エンコーディングストリームを選択することと、を備える。
[0071]いくつかの実施形態では、参照エンコーディングストリームを選択することは、異なるビットレートでのビデオの別のエンコーディングからの参照エンコーディングストリームを使用することを備える。
[0072]いくつかの実施形態では、参照エンコーディングストリームを選択することは、現在のエンコーディングストリームをエンコードするために使用されたものとは異なるエンコーディングプロトコルを使用したビデオの別のエンコーディングからの参照エンコーディングストリームを使用することを備える。
[0073]いくつかの実施形態では、参照エンコーディングストリームについての第１の測定値を選択することは、参照エンコーディングストリームのフレームの少なくとも一部についての第１の測定値を決定することを備える。
[0074]いくつかの実施形態では、参照エンコーディングストリームについての第１の測定値を選択することは、参照エンコーディングストリームにおける各フレームについての第１の測定値を決定することを備える。
[0075]いくつかの実施形態では、参照エンコーディングストリームについての第１の測定値を選択することは、第１の測定値を決定するために、参照エンコーディングストリームと現在のエンコーディングストリームとの間の差に基づいて、参照エンコーディングストリームの第３の測定値を調整することを備える。
[0076]いくつかの実施形態では、差は、参照エンコーディングストリームと現在のエンコーディングストリームとの間のビットレートの差を備える。
[0077]いくつかの実施形態では、差は、参照エンコーディングストリームと現在のエンコーディングストリームとの間のビットレートの変化と、品質測定値の変化との間の変換係数を備える。
[0078]いくつかの実施形態では、方法は、第１の測定値の値を静的しきい値に制限するために、第３の測定値に静的しきい値を適用することをさらに備える。
[0079]いくつかの実施形態では、第１の測定値は、参照エンコーディングストリームのフレームのためのしきい値リストを備え、しきい値リスト中のしきい値は、現在のエンコーディングストリームのそれぞれのフレームと比較される。
[0080]いくつかの実施形態では、現在のエンコーディングストリームの第２の測定値を、参照エンコーディングストリームの第１の測定値と比較することは、参照エンコーディングストリームにおける第１のフレームセットについての第１の測定値と、現在のエンコーディングストリームにおける対応する第１のフレームセットについての第２の測定値とを比較するために、スライディングウィンドウを使用することを備える。
[0081]いくつかの実施形態では、スライディングウィンドウは、参照エンコーディングストリームにおける異なるフレームセットについての第１の測定値と、現在のエンコーディングストリームにおける対応する異なるフレームセットについての第２の測定値とを比較するために移動される。
[0082]いくつかの実施形態では、現在のエンコーディングストリームが検証されたかどうかを出力することは、参照エンコーディングストリームにおけるフレームセットについての第１の測定値と、現在のエンコーディングストリームにおける対応するフレームセットについての第２の測定値とを比較するとき、失敗の数をカウントすることと、失敗の数に基づいて、現在のエンコーディングストリームが検証されたかどうかについての結果を出力することと、を備える。
[0083]いくつかの実施形態では、現在のエンコーディングストリームが検証されたかどうかを出力することは、比較することに基づいて、参照エンコーディングストリームにおいてエンコーディングエラーが生じたと決定された１つ又は複数のフレームを局所的に識別することを備える。
[0084]いくつかの実施形態では、現在のエンコーディングストリームが検証されたかどうかを出力することは、現在のエンコーディングストリームの、１つ又は複数のフレームを再エンコードするための調整されたエンコーディングパラメータを決定することを備える。
[0085]いくつかの実施形態では、命令を含む非一時的なコンピュータ可読記憶媒体であって、命令は実行されると、ビデオの現在のエンコーディングストリームを受信することと、参照エンコーディングストリームと現在のエンコーディングストリームとの間の類似性に基づいて、参照エンコーディングストリームを選択することと、参照エンコーディングストリームの品質を測定するために、参照エンコーディングストリームについての第１の測定値を選択することと、現在のエンコーディングストリームの第２の測定値を、参照エンコーディングストリームの第１の測定値と比較することと、比較することに基づいて、現在のエンコーディングストリームが検証されたかどうかを出力することと、を行うように動作可能であるようにコンピュータシステムを制御する。
[0086]いくつかの実施形態では、参照エンコーディングストリームを選択することは、現在のエンコーディングストリームの第１の特性を、参照エンコーディングストリームの第２の特性と比較することと、参照エンコーディングストリームを、現在のエンコーディングストリームのための参照として使用するかどうかを決定することと、を備える。
[0087]いくつかの実施形態では、装置が、１つ又は複数のコンピュータプロセッサと、命令を備える非一時的なコンピュータ可読記憶媒体と、を備え、命令は実行されると、ビデオの現在のエンコーディングストリームを受信することと、参照エンコーディングストリームと現在のエンコーディングストリームとの間の類似性に基づいて、参照エンコーディングストリームを選択することと、参照エンコーディングストリームの品質を測定するために、参照エンコーディングストリームについての第１の測定値を選択することと、現在のエンコーディングストリームの第２の測定値を、参照エンコーディングストリームの第１の測定値と比較することと、比較することに基づいて、現在のエンコーディングストリームが検証されたかどうかを出力することと、を行うように動作可能であるように１つ又は複数のコンピュータプロセッサを制御する。
[0088]システム
[0089]本明細書で開示されている特徴及び態様は、図１２に示されているように、１つ又は複数の通信ネットワークを介して複数のクライアントデバイスと通信状態にあるビデオストリーミングシステム１２００とともに実施され得る。ビデオストリーミングシステム１２００の態様は、本開示に従って用意されたコンテンツの配布及び配信を可能にするためのアプリケーションの例を提供するためだけに説明されている。本技術は、ストリーミングビデオアプリケーションに限定されず、その他のアプリケーション及び配信メカニズムにも適合され得るということを理解されたい。
[0090]一実施形態では、メディア番組プロバイダが、メディア番組のライブラリを含み得る。例えば、メディア番組は、サイト（例えば、ウェブサイト）、アプリケーション、又はブラウザを通じて集約及び提供され得る。ユーザは、メディア番組プロバイダのサイト又はアプリケーションにアクセスして、メディア番組を要求し得る。ユーザは、メディア番組プロバイダによって提供されるメディア番組のみを要求することに制限され得る。
[0091]システム１２００では、ビデオデータが、ビデオコンテンツサーバ１２０２への入力としての使用のために、１つ又は複数のソースから、例えば、ビデオソース１２１０から入手され得る。入力ビデオデータは、任意の好適なデジタルフォーマット、例えば、ムービングピクチャーズエキスパートグループ（ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＶＣ－１、Ｈ．２６４／アドバンストビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、又はその他のフォーマットでの生の又は編集されたフレームベースのビデオデータを備え得る。代替として、ビデオは、非デジタルフォーマットで提供されて、スキャナ及び／又はトランスコーダを使用してデジタルフォーマットへ変換され得る。入力ビデオデータは、様々なタイプのビデオクリップ又は番組、例えば、テレビエピソード、映画、及び、消費者にとって関心のある主要なコンテンツとして製作されたその他のコンテンツを備え得る。ビデオデータはまた、音声を含み得、又は音声のみが使用され得る。
[0092]ビデオストリーミングシステム１２００は、１つ又は複数のコンピュータにわたって分散された１つ又は複数のコンピュータサーバ又はモジュール１２０２、１２０４、及び／又は１２０７を含み得る。各サーバ１２０２、１２０４、１２０７は、１つ又は複数のデータストア１２０９、例えば、データベース、インデックス、ファイル、又はその他のデータ構造を含み得るか、又はそれらに動作可能に結合され得る。ビデオコンテンツサーバ１２０２は、様々なビデオセグメントのデータストア（図示せず）にアクセスし得る。ビデオコンテンツサーバ１２０２は、クライアントデバイスと通信するユーザインターフェースコントローラによって指示されるようにビデオセグメントを供給し得る。本明細書で使用される場合、ビデオセグメントは、テレビエピソード、映画、記録されたライブパフォーマンス、又はその他のビデオコンテンツを視聴するためのストリーミングビデオセッションにおいて使用され得るような、フレームベースのビデオデータの特定の部分を指す。
[0093]いくつかの実施形態では、ビデオ広告サーバ１２０４は、特定の広告主又はメッセージのための広告として構成された比較的短いビデオ（例えば、１０秒、３０秒、又は６０秒のビデオ広告）のデータストアにアクセスし得る。広告は、何らかの種類の支払と引換えに広告主のために提供され得るか、又はシステム１２００に関する販売促進メッセージ、公共サービスメッセージ、又はその他の何らかの情報を備え得る。ビデオ広告サーバ１２０４は、ユーザインターフェースコントローラ（図示せず）によって指示されるようにビデオ広告セグメントを供給し得る。
[0094]ビデオストリーミングシステム１２００はまた、サーバシステム１０２を含み得る。
[0095]ビデオストリーミングシステム１２００は、ビデオコンテンツ及びビデオ広告をストリーミングビデオセグメントへと統合する統合及びストリーミングコンポーネント１２０７をさらに含み得る。例えば、ストリーミングコンポーネント１２０７は、コンテンツサーバ又はストリーミングメディアサーバであり得る。コントローラ（図示せず）は、任意の好適なアルゴリズム又はプロセスに基づいて、ストリーミングビデオにおける広告の選択又は構成を決定し得る。ビデオストリーミングシステム１２００は、図１２において図示されていないその他のモジュール又はユニット、例えば、管理サーバ、コマースサーバ、ネットワークインフラストラクチャー、広告選択エンジン等を含み得る。
[0096]ビデオストリーミングシステム１２００は、データ通信ネットワーク１２１２に接続し得る。データ通信ネットワーク１２１２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、例えば、インターネット、電話ネットワーク、ワイヤレスセルラ電気通信ネットワーク（ＷＣＳ）１２１４、又はこれらのもしくは類似のネットワークの何らかの組合せを備え得る。
[0097]１つ又は複数のクライアントデバイス１２２０は、データ通信ネットワーク１２１２、ワイヤレスセルラ電気通信ネットワーク１２１４、及び／又は別のネットワークを介して、ビデオストリーミングシステム１２００と通信状態にあり得る。このようなクライアントデバイスは、例えば、ＬＡＮの場合はルータ１２１８を介した、ワイヤレスセルラ電気通信ネットワーク１２１４の場合は基地局１２１７を介した、又はその他の何らかの接続を介した、１つ又は複数のラップトップコンピュータ１２２０－１、デスクトップコンピュータ１２２０－２、「スマート」モバイル電話１２２０－３、タブレットデバイス１２２０－４、ネットワーク対応テレビ１２２０－５、又はそれらの組合せを含み得る。動作中、このようなクライアントデバイス１２２０は、ユーザ入力デバイスから受け取られたユーザ入力、又はその他の入力に応答して、システム１２００に対してデータ又は命令を送受信し得る。これに応答して、システム１２００は、メディア番組の選択に応答したデータストア１２０９からのビデオセグメント及びメタデータを、クライアントデバイス１２２０に供給し得る。クライアントデバイス１２２０は、ディスプレイスクリーン、プロジェクタ、又はその他のビデオ出力デバイスを使用してメディアプレーヤにおけるストリーミングビデオセグメントからビデオコンテンツを出力し、そのビデオコンテンツと対話するためのユーザ入力を受け取り得る。
[0098]オーディオビデオデータの配布は、様々な方法、例えばストリーミングを使用して、ストリーミングコンポーネント１２０７から、コンピュータネットワーク、電気通信ネットワーク、及びそのようなネットワークの組合せを介して、リモートクライアントデバイスへ実施され得る。ストリーミングでは、コンテンツサーバは、クライアントデバイス上で少なくとも部分的に動作するメディアプレーヤコンポーネントにオーディオビデオデータを継続的にストリーミングし、メディアプレーヤコンポーネントは、サーバからストリーミングデータを受信すると同時にオーディオビデオデータを再生し得る。ストリーミングが説明されたが、配信のその他の方法も使用され得る。メディアプレーヤコンポーネントは、コンテンツプロバイダからデータの最初の部分を受信した直後にビデオデータの再生を開始し得る。従来のストリーミング技法は、データのストリームをエンドユーザのセットに配信する単一のプロバイダを使用する。単一のストリームを大勢の視聴者へ配信するためには、高い帯域幅及び処理能力が必要とされ得、エンドユーザの数が増大するにつれて、プロバイダの必要とされる帯域幅が増大し得る。
[0099]ストリーミングメディアは、オンデマンド又はライブで配信され得る。ストリーミングは、ファイル内の任意のポイントにおける即時の再生を可能にする。エンドユーザは、メディアファイルにおける任意のポイントで再生を開始するために、又はメディアファイルにおける任意のポイントへ再生を変更するために、メディアファイルの至る所にスキップし得る。したがって、エンドユーザは、ファイルがプログレッシブにダウンロードするのを待つ必要がない。典型的には、ストリーミングメディアは、高帯域幅能力を有する少数の専用のサーバから専門のデバイスを介して配信され、その専門のデバイスは、ビデオファイルを求める要求を、それらのファイルのフォーマット、帯域幅、及び構造に関する情報とともに受け入れ、ビデオを再生するのに必要な量のデータのみを、それを再生するのに必要とされる速度で配信する。ストリーミングメディアサーバはまた、宛先クライアント上のメディアプレーヤの送信帯域幅及び能力を考慮し得る。ストリーミングコンポーネント１２０７は、ビデオが再生されるにつれて、変化するネットワーク状況に適応するために、制御メッセージ及びデータメッセージを使用してクライアントデバイス１２２０と通信し得る。これらの制御メッセージは、クライアントにおける早送り、早戻し、一時停止、又はファイルの特定の部分へのシーク等の制御機能を有効にするためのコマンドを含み得る。
[00100]ストリーミングコンポーネント１２０７は、必要に応じてのみ、必要とされる速度でビデオデータを送信するので、供給されるストリームの数に対する正確な制御が維持され得る。視聴者が、より低いデータ転送速度の送信媒体上で高データ転送速度のビデオを視聴することは不可能であろう。しかしながら、ストリーミングメディアサーバは、（１）ビデオファイルへのランダムアクセスをユーザに提供し、（２）誰がどのビデオ番組を視聴しているか、そしてどれぐらい長くそれらが見られているかの監視を可能にし、（３）視聴体験をサポートするのに必要とされる量のデータのみが送信されるので、より効率的に送信帯域幅を使用し、（４）ビデオファイルは、視聴者のコンピュータにおいて記憶されず、メディアプレーヤによって破棄され、したがって、コンテンツに対する更なる制御を可能にする。
[00101]ストリーミングコンポーネント１２０７は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）及びリアルタイムメッセージングプロトコル（ＲＴＭＰ）等、ＴＣＰベースのプロトコルを使用し得る。ストリーミングコンポーネント１２０７はまた、ライブウェブキャストを配信し得、マルチキャストし得、これは、１より多くのクライアントが単一のストリームへとチューニングすることを可能にし、したがって、帯域幅を節約する。ストリーミングメディアプレーヤは、メディア番組における任意のポイントへのランダムアクセスを提供するために、ビデオ全体をバッファリングすることに依拠しないことがあり得る。代わりに、これは、メディアプレーヤからストリーミングメディアサーバへ送信される制御メッセージを使用して実現される。ストリーミングのために使用されるその他のプロトコルは、ＨＴＴＰライブストリーミング（ＨＬＳ）又はダイナミックアダプティブストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）である。ＨＬＳ及びＤＡＳＨプロトコルは、典型的に、１つ又は複数のコンテンツ配信ネットワーク（ＣＤＮ）から様々なビットレートで利用可能にされる小さなセグメントの再生リストを介してＨＴＴＰ経由でビデオを配信する。これは、メディアプレーヤがセグメントごとの単位でビットレートとコンテンツソースとの両方を切り替えることを可能にする。この切替えは、ネットワーク帯域幅の変動を、そしてまた、ビデオの再生中に生じ得るインフラストラクチャーの障害を補正するのに役立つ。
[00102]ストリーミングによるビデオコンテンツの配信は、様々なモデルのもとで実現され得る。１つのモデルでは、ユーザは、ビデオ番組の視聴に対する支払を行い、例えば、メディア番組のライブラリもしくは制限されたメディア番組の一部分へのアクセスに対する料金を支払うか、又はペイパービューサービスを使用する。放送テレビによってその開始直後に広く採用された別のモデルでは、スポンサーが、番組の提示中又は提示に隣接して広告を提示する権利と引換えに、メディア番組の提示に対する支払を行う。いくつかのモデルでは、広告は、ビデオ番組において所定の時間に挿入され、この時間は、「広告スロット」又は「広告休憩」と呼ばれ得る。ストリーミングビデオについては、メディアプレーヤは、クライアントデバイスが指定の広告スロット中に所定の広告も再生しなければ、ビデオを再生することができないように構成され得る。
[00103]図１３を参照すると、ビデオコンテンツ及び広告を視聴するための装置１３００の線図が例示されている。選択された実施形態では、装置１３００は、プロセッサメモリ１３０４に動作可能に結合されているプロセッサ（ＣＰＵ）１３０２を含み得、プロセッサメモリ１３０４は、プロセッサ１３０２による実行用のバイナリーコード化された機能モジュールを保持する。このような機能モジュールは、入力／出力及びメモリアクセス等のシステム機能を取り扱うためのオペレーティングシステム１３０６、ウェブページを表示するためのブラウザ１３０８、並びにビデオを再生するためのメディアプレーヤ１３１０を含み得る。メモリ１３０４は、図１３において示されていない追加のモジュール、例えば、本明細書におけるその他の場所で説明されているその他のオペレーションを実行するためのモジュールを保持し得る。
[00104]バス１３１４又はその他の通信コンポーネントが、装置１３００内の情報の通信をサポートし得る。プロセッサ１３０２は、特定のタスクを定義する機械可読ソフトウェアコードを実行することによって、本明細書に開示されている特徴及び態様に従って特定のタスクを実行するように構成されているか又はそのように動作可能な専門のもしくは専用のマイクロプロセッサであり得る。プロセッサメモリ１３０４（例えば、ランダムアクセスメモリ（ＲＡＭ）又はその他の動的なストレージデバイス）は、バス１３１４に、又は直接プロセッサ１３０２に接続されて、情報と、プロセッサ１３０２によって実行されることになる命令とを記憶し得る。メモリ１３０４はまた、そのような命令の実行中に一時的変数又はその他の中間情報を記憶し得る。
[00105]ストレージデバイス１３２４におけるコンピュータ可読媒体が、バス１３１４に接続され、プロセッサ１３０２のための静的な情報及び命令を記憶し得、例えば、ストレージデバイス（ＣＲＭ）１３２４は、装置１３００が電源をオフにされるときにモジュール１３０６、１３０８、１３１０、及び１３１２を記憶し得、そこから、これらのモジュールは、装置１３００が電源を入れられたときに、プロセッサメモリ１３０４へとロードされ得る。ストレージデバイス１３２４は、情報、命令、又はそれらの何らかの組合せ、例えば、プロセッサ１３０２によって実行されると、装置１３００が、本明細書で説明される方法の１つ又は複数のオペレーションを実行するように構成されるようにするか又は動作可能であるようにする命令を保持する非一時的なコンピュータ可読記憶媒体を含み得る。
[00106]通信インターフェース１３１６がまた、バス１３１４に接続され得る。通信インターフェース１３１６は、オプションで、ルータ／モデム１３２６及び有線又はワイヤレス接続を介して、装置１３００と１つ又は複数の外部デバイス、例えばストリーミングシステム１２００との間の双方向データ通信を提供又はサポートし得る。代替又は追加として、装置１３００は、アンテナ１３２９に接続されているトランシーバ１３１８を含み得、それを通じて、装置１３００は、ワイヤレス通信システムのための基地局と、又はルータ／モデム１３２６と、ワイヤレスに通信し得る。代替として、装置１３００は、ローカルエリアネットワーク、仮想プライベートネットワーク、又はその他のネットワークを介して、ビデオストリーミングシステム１２００と通信し得る。別の代替として、装置１３００は、システム１２００のモジュール又はコンポーネントとして組み込まれて、バス１３１４を介して、又はその他の何らかのモダリティによってその他のコンポーネントと通信し得る。
[00107]装置１３００は、（例えば、バス１３１４及びグラフィックス処理ユニット１３２０を介して）ディスプレイユニット１３２８に接続され得る。ディスプレイ１３２８は、装置１３００の操作者に情報を表示するための任意の好適な構成を含み得る。例えば、ディスプレイ１３２８は、視覚的な表示で装置１３００のユーザに情報を提示するために、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンＬＣＤ（例えば、容量性ディスプレイ）、発光ダイオード（ＬＥＤ）ディスプレイ、プロジェクタ、又はその他のディスプレイデバイスを含み得、又はそれらを利用し得る。
[00108]１つ又は複数の入力デバイス１３３０（例えば、英数字キーボード、マイクロフォン、キーパッド、リモートコントローラ、ゲームコントローラ、カメラ、又はカメラアレイ）が、情報及びコマンドを装置１３００へ伝達するためにユーザ入力ポート１３２２を介してバス１３１４に接続され得る。選択された実施形態では、入力デバイス１３３０は、カーソルの位置決めに対する制御を提供又はサポートし得る。このようなカーソル制御デバイス（ポインティングデバイスとも呼ばれる）は、マウス、トラックボール、トラックパッド、タッチスクリーン、カーソル方向キー、又は、物理的な動きを受信もしくは追跡して、その動きを、カーソルの動きを示す電気信号へと変換するためのその他のデバイスとして構成され得る。カーソル制御デバイスは、例えば、タッチセンシティブスクリーンを使用して、ディスプレイユニット１３２８へと組み込まれ得る。カーソル制御デバイスは、方向情報及びコマンド選択をプロセッサ１３０２に伝達し、ディスプレイ１３２８上のカーソルの動きを制御し得る。カーソル制御デバイスは、２つ以上の自由度を有して、例えば、デバイスが平面又は３次元空間におけるカーソル位置を指定することを可能にし得る。
[00109]いくつかの実施形態は、命令実行システム、装置、システム、又はマシンによる、又はそれらに関連した使用のために、非一時的なコンピュータ可読記憶媒体に実装され得る。コンピュータ可読記憶媒体は、いくつかの実施形態によって説明された方法を実行するようにコンピュータシステムを制御するための命令を含む。コンピュータシステムは、１つ又は複数のコンピューティングデバイスを含み得る。命令は、１つ又は複数のコンピュータプロセッサによって実行されると、いくつかの実施形態において説明されたものを実行するように構成され得るか、又はそのように動作可能であり得る。
[00110]本明細書の説明及び後続する特許請求の範囲全体にわたって使用される場合、「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうでないことを明確に規定していない限り、複数形の参照も含む。また、本明細書の説明及び後続する特許請求の範囲全体にわたって使用される場合、「ｉｎ」の意味は、文脈がそうでないことを明確に規定していない限り、「ｉｎ」及び「ｏｎ」を含む。
[00111]上記の説明は、様々な実施形態を、いくつかの実施形態の態様がどのように実施され得るかの例とともに例示している。上記の例及び実施形態は、唯一の実施形態であるとみなされるべきではなく、下記の特許請求の範囲によって定義されるいくつかの実施形態の柔軟性及び利点を例示するために提示されている。上記開示及び以下の特許請求の範囲に基づいて、その他の配置、実施形態、実装形態、及び均等物が、特許請求の範囲によって定義されるここでの範囲から逸脱することなく用いられ得る。

Claims (20)

  1. コンピューティングデバイスによって、ビデオの現在のエンコーディングストリームを受信することと、
    前記コンピューティングデバイスによって、参照エンコーディングストリームの品質を測定するために、前記参照エンコーディングストリームについての第１の測定値を選択することと、
    前記コンピューティングデバイスによって、前記現在のエンコーディングストリームの第２の測定値を、前記参照エンコーディングストリームの前記第１の測定値と比較することと、
    前記コンピューティングデバイスによって、前記比較することに基づいて、前記現在のエンコーディングストリームが検証されたかどうかを出力することと、
    を備える方法。
  2. 前記参照エンコーディングストリームと前記現在のエンコーディングストリームとの間の類似性に基づいて、前記参照エンコーディングストリームを選択すること
    をさらに備える、請求項１に記載の方法。
  3. 前記参照エンコーディングストリームを選択することは、
    前記現在のエンコーディングストリームの第１の特性を、前記参照エンコーディングストリームの第２の特性と比較することと、
    前記参照エンコーディングストリームを、前記現在のエンコーディングストリームのための参照として使用するかどうかを決定することと、
    を備える、請求項２に記載の方法。
  4. 前記参照エンコーディングストリームを選択することは、
    前記現在のエンコーディングストリームを複数の参照エンコーディングストリームと比較することと、
    前記現在のエンコーディングストリームとの類似性に基づいて、前記複数の参照エンコーディングストリームから前記参照エンコーディングストリームを選択することと、
    を備える、請求項２に記載の方法。
  5. 前記参照エンコーディングストリームを選択することは、
    異なるビットレートでの前記ビデオの別のエンコーディングからの参照エンコーディングストリームを使用すること
    を備える、請求項２に記載の方法。
  6. 前記参照エンコーディングストリームを選択することは、
    前記現在のエンコーディングストリームをエンコードするために使用されたものとは異なるエンコーディングプロトコルを使用した前記ビデオの別のエンコーディングからの参照エンコーディングストリームを使用すること
    を備える、請求項２に記載の方法。
  7. 前記参照エンコーディングストリームについての前記第１の測定値を選択することは、
    前記参照エンコーディングストリームのフレームの少なくとも一部についての前記第１の測定値を決定すること
    を備える、請求項１に記載の方法。
  8. 前記参照エンコーディングストリームについての前記第１の測定値を選択することは、
    前記参照エンコーディングストリームにおける各フレームについての前記第１の測定値を決定すること
    を備える、請求項１に記載の方法。
  9. 前記参照エンコーディングストリームについての前記第１の測定値を選択することは、
    前記第１の測定値を決定するために、前記参照エンコーディングストリームと前記現在のエンコーディングストリームとの間の差に基づいて、前記参照エンコーディングストリームの第３の測定値を調整すること
    を備える、請求項１に記載の方法。
  10. 前記差は、前記参照エンコーディングストリームと前記現在のエンコーディングストリームとの間のビットレートの差を備える、請求項９に記載の方法。
  11. 前記差は、前記参照エンコーディングストリームと前記現在のエンコーディングストリームとの間のビットレートの変化と、品質測定値の変化との間の変換係数を備える、請求項９に記載の方法。
  12. 前記第１の測定値の値を静的しきい値に制限するために、前記第３の測定値に前記静的しきい値を適用すること
    をさらに備える、請求項９に記載の方法。
  13. 前記第１の測定値は、前記参照エンコーディングストリームのフレームのためのしきい値リストを備え、
    前記しきい値リスト中のしきい値は、前記現在のエンコーディングストリームのそれぞれのフレームと比較される、
    請求項１に記載の方法。
  14. 前記現在のエンコーディングストリームの前記第２の測定値を、前記参照エンコーディングストリームの前記第１の測定値と比較することは、
    前記参照エンコーディングストリームにおける第１のフレームセットについての前記第１の測定値と、前記現在のエンコーディングストリームにおける対応する第１のフレームセットについての前記第２の測定値とを比較するために、スライディングウィンドウを使用すること
    を備える、請求項１に記載の方法。
  15. 前記スライディングウィンドウは、前記参照エンコーディングストリームにおける異なるフレームセットについての前記第１の測定値と、前記現在のエンコーディングストリームにおける対応する異なるフレームセットについての前記第２の測定値とを比較するために移動される、請求項１４に記載の方法。
  16. 前記現在のエンコーディングストリームが検証されたかどうかを出力することは、
    前記参照エンコーディングストリームにおけるフレームセットについての前記第１の測定値と、前記現在のエンコーディングストリームにおける対応するフレームセットについての前記第２の測定値とを比較するとき、失敗の数をカウントすることと、
    前記失敗の数に基づいて、前記現在のエンコーディングストリームが検証されたかどうかについての結果を出力することと、
    を備える、請求項１に記載の方法。
  17. 前記現在のエンコーディングストリームが検証されたかどうかを出力することは、
    前記比較することに基づいて、前記参照エンコーディングストリームにおいてエンコーディングエラーが生じたと決定された１つ又は複数のフレームを局所的に識別すること
    を備える、請求項１に記載の方法。
  18. 前記現在のエンコーディングストリームが検証されたかどうかを出力することは、
    前記現在のエンコーディングストリームの、１つ又は複数のフレームを再エンコードするための調整されたエンコーディングパラメータを決定すること
    を備える、請求項１に記載の方法。
  19. 命令を含む非一時的なコンピュータ可読記憶媒体であって、前記命令は実行されると、
    ビデオの現在のエンコーディングストリームを受信することと、
    参照エンコーディングストリームの品質を測定するために、前記参照エンコーディングストリームについての第１の測定値を選択することと、
    前記現在のエンコーディングストリームの第２の測定値を、前記参照エンコーディングストリームの前記第１の測定値と比較することと、
    前記比較することに基づいて、前記現在のエンコーディングストリームが検証されたかどうかを出力することと、
    を行うように動作可能であるようにコンピュータシステムを制御する、非一時的なコンピュータ可読記憶媒体。
  20. １つ又は複数のコンピュータプロセッサと、
    命令を備える非一時的なコンピュータ可読記憶媒体と、
    を備える装置であって、前記命令は実行されると、
    ビデオの現在のエンコーディングストリームを受信することと、
    参照エンコーディングストリームの品質を測定するために、前記参照エンコーディングストリームについての第１の測定値を選択することと、
    前記現在のエンコーディングストリームの第２の測定値を、前記参照エンコーディングストリームの前記第１の測定値と比較することと、
    前記比較することに基づいて、前記現在のエンコーディングストリームが検証されたかどうかを出力することと、
    を行うように動作可能であるように前記１つ又は複数のコンピュータプロセッサを制御する、装置。
JP2022021107A 2021-03-31 2022-02-15 ビデオエンコーディングの交差検証 Active JP7342166B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/218,888 2021-03-31
US17/218,888 US11622116B2 (en) 2021-03-31 2021-03-31 Cross-validation of video encoding

Publications (2)

Publication Number Publication Date
JP2022158941A true JP2022158941A (ja) 2022-10-17
JP7342166B2 JP7342166B2 (ja) 2023-09-11

Family

ID=80930054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022021107A Active JP7342166B2 (ja) 2021-03-31 2022-02-15 ビデオエンコーディングの交差検証

Country Status (5)

Country Link
US (1) US11622116B2 (ja)
EP (1) EP4068779A1 (ja)
JP (1) JP7342166B2 (ja)
KR (1) KR20220136102A (ja)
BR (1) BR102022002344A2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230247205A1 (en) * 2022-01-31 2023-08-03 Sling TV L.L.C. Bandwidth management using dynamic quality factor adjustments
US20240251138A1 (en) * 2023-01-23 2024-07-25 T-Mobile Usa, Inc. Reference video quality measurement feedback

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307074A1 (en) * 2011-06-02 2012-12-06 Sitaram Bhagavathy Method and apparatus for reduced reference video quality measurement
US20150334386A1 (en) * 2014-05-15 2015-11-19 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484148B1 (ko) 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
US8582647B2 (en) * 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
TWI549496B (zh) * 2014-05-08 2016-09-11 宏碁股份有限公司 行動電子裝置以及視訊補償方法
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
WO2018140158A1 (en) * 2017-01-30 2018-08-02 Euclid Discoveries, Llc Video characterization for smart enconding based on perceptual quality optimization
US10917644B2 (en) * 2017-02-23 2021-02-09 Netflix, Inc. Iterative techniques for encoding video content
US10616590B1 (en) * 2018-05-16 2020-04-07 Amazon Technologies, Inc. Optimizing streaming video encoding profiles
US11695978B2 (en) * 2018-07-05 2023-07-04 Mux, Inc. Methods for generating video-and audience-specific encoding ladders with audio and video just-in-time transcoding
WO2020043280A1 (en) 2018-08-29 2020-03-05 Telefonaktiebolaget Lm Ericsson (Publ) Image fidelity measure
US11234034B2 (en) * 2018-11-02 2022-01-25 Netflix, Inc. Techniques for encoding a media title via multiple encoders
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10841356B2 (en) * 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307074A1 (en) * 2011-06-02 2012-12-06 Sitaram Bhagavathy Method and apparatus for reduced reference video quality measurement
US20150334386A1 (en) * 2014-05-15 2015-11-19 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder

Also Published As

Publication number Publication date
US20220321892A1 (en) 2022-10-06
KR20220136102A (ko) 2022-10-07
BR102022002344A2 (pt) 2022-10-04
US11622116B2 (en) 2023-04-04
JP7342166B2 (ja) 2023-09-11
EP4068779A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US11277620B1 (en) Adaptive transcoding of profile ladder for videos
CA3043522A1 (en) Optimization of encoding profiles for media streaming
US11218663B2 (en) Video chunk combination optimization
JP7342166B2 (ja) ビデオエンコーディングの交差検証
US9674100B2 (en) Dynamic adjustment to multiple bitrate algorithm based on buffer length
US11812081B2 (en) Session based adaptive playback profile decision for video streaming
CN112425178B (zh) 两遍组块并行转码处理
US11025987B2 (en) Prediction-based representation selection in video playback
US9247315B2 (en) Disabling of multiple bitrate algorithm for media programs while playing advertisements
JP7494265B2 (ja) アダプティブビットレートアルゴリズムのための動的パラメータ調整
US9942582B2 (en) Dynamic seeking in video delivery systems
US11140060B2 (en) Dynamic variation of media segment durations for optimization of network round trip times
US20240212118A1 (en) Quality measurement between mismatched videos
CN118612443A (zh) 视频编码的率失真曲线预测

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7342166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150