JP2013510505A - 画像キャプチャ・パラメータに基づいた映像符号化の制御 - Google Patents

画像キャプチャ・パラメータに基づいた映像符号化の制御 Download PDF

Info

Publication number
JP2013510505A
JP2013510505A JP2012537915A JP2012537915A JP2013510505A JP 2013510505 A JP2013510505 A JP 2013510505A JP 2012537915 A JP2012537915 A JP 2012537915A JP 2012537915 A JP2012537915 A JP 2012537915A JP 2013510505 A JP2013510505 A JP 2013510505A
Authority
JP
Japan
Prior art keywords
level
estimated
frame
selecting
ambiguity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012537915A
Other languages
English (en)
Other versions
JP5591942B2 (ja
Inventor
リャン、リャン
ハン、スゼポ・アール．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013510505A publication Critical patent/JP2013510505A/ja
Application granted granted Critical
Publication of JP5591942B2 publication Critical patent/JP5591942B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【解決手段】 本開示は、フロントエンド装置（例えばビデオ・カメラ）によって検出および推定されたパラメータを使用して、バックエンド装置（例えば映像符号化器）の機能を向上させるための技術を記述する。技術は、再焦点合わせ工程の間、キャプチャされたフレームと関連する不明瞭性レベルを推定することを含み得る。被推定不明瞭性レベルに基づいて、不明瞭なフレームを符号化するのに使用される量子化パラメータ（ＱＰ）は、ビデオ・カメラまたは映像符号化器において調整される。映像符号化器は、不明瞭なフレームを符号化するために調整されたＱＰを使用する。映像符号化器は、また、不明瞭なフレーム中の動き推定および補償を簡略化することによって符号化アルゴリズムを調整するために不明瞭性レベル推定値を使用する。
【選択図】 図２

Description

関連出願の表示
本願は、２００９年１１月６日に出願された米国仮出願６１／２５８，９１３の利益を要求する。その内容の全体は、参照によって本明細書に取り込まれる。
本開示は映像符号化に関する。
ディジタル・マルチメディア機能は、ディジタル・テレビ、ディジタル直接放送（システム、無線通信装置、無線ブロードキャスト（放送）システム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップ・コンピュータ、ディジタル・カメラ、ディジタル記録装置、ビデオ・ゲーム装置、ビデオ・ゲーム・コンソール、セルラまたは衛星無線電話、ディジタル・メディア・プレイヤーなどを含む様々な装置に組み入れられることが可能である。ディジタル・マルチメディア装置は、ディジタル映像データを送受信し、また格納または検索するための映像符号化技術、例えばMPEG2、ITU-H.263、MPEG-4、またはITU-H.264/MPEG-4 Part10アドバンスド・ビデオ・コーディング（ＡＶＣ）を実行し得る。
映像符号化技術は、映像シーケンスに固有な冗長性を減じたり除去したりするために空間および時間上の予測を通じて画像圧縮を実行し得る。映像キャプチャ装置（例えばビデオ・カメラ）は、映像をキャプチャし（取り込み）、それを符号化のために映像符号化器に送信し得る。映像符号化器はキャプチャされた映像を処理し、処理された映像を符号化し、符号化された映像データを格納または送信に向けて送信する。いずれの場合も、符号化された映像データは表示に向けて映像を再生できるように符号化される。映像を格納または送信するのに利用可能な帯域幅は多くの場合制限されていて、映像符号化データ・レートのような要素によって影響される。
複数の要素が映像符号化データ・レートに寄与する。したがって、映像符号化器を設計する際、関心事の１つは映像符号化データ・レートの向上である。一般に、映像符号化器中において改善が行われ、改善は多くの場合映像符号化器に余分な計算複雑性（計算の複雑性）を加える。このことは、向上した映像符号化データ・レートの利点のうちのいくつかを相殺することがある。
本開示は、映像キャプチャ装置の１または複数のパラメータに少なくとも一部基づいて映像符号化を制御するための技術を記述する。この技術は、カメラのような映像キャプチャ装置中で実行され得る。映像キャプチャ装置は、１または複数のパラメータを検知、測定、または生成し得る。
一例では、本開示は、映像キャプチャ・モジュールにおいて、映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、映像符号化器において、フレームの被推定不明瞭性レベルに少なくとも一部基づいてフレームを符号化することと、を具備する方法を記述する。
別の例では、本開示は、映像キャプチャ・モジュールにおいて、映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定するための手段と、映像符号化器において、フレームの被推定不明瞭性レベルに少なくとも一部基づいてフレームを符号化するための手段と、を具備するシステムを記述する。
別の例では、本開示は、映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定する映像キャプチャ・モジュールと、フレームの被推定不明瞭性レベルに少なくとも一部基づいてフレームを符号化する映像符号化器と、を具備するシステムを記述する。
本開示において記述される技術は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せにおいて実行され得る。ソフトウェアにおいて実行される場合、ソフトウェアは１または複数のプロセッサ、例えばマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド可能ゲート・アレイ（ＦＰＧＡ）、またはディジタル信号プロセッサ（ＤＳＰ）において実行され得る。本技術を実行するソフトウェアは、非一時的な（non-transitory）コンピュータ可読記憶媒体に最初に格納され、プロセッサにロードされ、プロセッサにおいて実行され得る。
よって、本開示は、また、映像キャプチャ・モジュールにおいて、映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、映像符号化器において、フレームの被推定不明瞭性レベルに少なくとも一部基づいてフレームを符号化することと、をプログラム可能プロセッサに実行させる命令を具備するコンピュータ可読媒体を考慮する。
本開示の１または複数の側面の詳細は添付図面と以下の記述において示される。本開示に記述される技術の他の特徴、目的、利点は、この記述および図面ならびに請求項から明らかになる。
本開示の技術を実行し得る例示的な映像キャプチャ装置および映像符号化システムを図示するブロック図。 本開示の技術を実行し得る別の例示的な映像キャプチャ装置および映像符号化システムを図示するブロック図。 本開示の技術を実行し得る映像符号化システムの例を図示するブロック図。 映像キャプチャ装置による例示的オート・フォーカス再焦点合わせ工程の実行を図示する図。 符号化中の動き推定のための例示的なブロック・パーティション・サイズの図。 本開示の技術に従って、キャプチャされたフレーム中の不明瞭性レベルの推定値を使用する映像符号化を図示するフローチャート。 本開示の技術に従って、キャプチャされたフレーム中の不明瞭性レベルの推定値を使用する映像符号化を図示するフローチャート。 本開示の技術に従って、キャプチャされたフレーム中の不明瞭性レベルの推定値を使用する映像符号化を図示するフローチャート。 本開示の側面に従って、符号化アルゴリズムを簡略化するために不明瞭性レベルの推定値を使用する映像符号化を図示するフローチャート。
詳細な説明
本開示は、映像キャプチャ装置の１または複数のパラメータに少なくとも一部基づいて映像符号化を制御するための技術を記述する。いくつかの例では、映像符号化器は、連続的なオート・フォーカス（ＣＡＦ）工程をサポートする映像キャプチャ装置での再焦点合わせの間のフレーム中の不明瞭性（blurriness）レベルの推定値に基づいて映像符号化を制御し得る。映像符号化システムのような映像システムでは、帯域幅の制限は、関心事であり得、例えば映像符号化データ・レートのようなパラメータによって影響され得る。一例では、本開示に従う技術は、映像キャプチャ装置によってキャプチャされた映像フレームの特徴に基づいて、映像符号化工程の１または複数の側面（例えば映像符号化データ・レート）を調整し得る。一例では、ビットは、フレームの推定された（被推定）不明瞭性レベルに基づいて映像フレームを符号化する際により効率的に割り当てられ、それにより映像符号化データ・レートを最適化し得る。
リアルタイム映像記録の間、映像フレーム中の不明瞭性は複数の要素によって引き起こされ得る。例えば、映像キャプチャ装置が速く動くことまたは映像キャプチャ装置（例えばビデオ・カメラ）によって取り込まれている画像中の被写体が素早く動くことは不明瞭性を引き起こし得る。カメラまたは被写体が素早く動き過ぎて焦点合わせができないからである。不明瞭性は、ＣＡＦを有するシステム中で再焦点合わせ段階、または手動焦点合わせが使用される場合の再焦点合わせ中にも起こり得る。ＣＡＦを使用する映像キャプチャ装置では、レンズ位置は、最良の焦点合わせ成績を達成するために、例えばフレームごとに連続的に調整され得る。関心対象の被写体が録画中に変化したか動くと、映像キャプチャ装置は、新しい関心対象の被写体の新しい焦点面を見つけることによって再焦点合わせを行う。不明瞭性がこの再焦点合わせ工程の間に起こり、新しい焦点面が見つかるまでに装置が取り込むフレームは、再焦点合わせが達成されるまで不明瞭であり得る。映像符号化器は、フレームの中身に関する決定をなすための計算を実行することによって、映像データ・レート制御を実行する。これらの計算は、一般に映像符号化器に計算複雑性を加える。
本開示の技術は映像キャプチャ装置によって割り出されかつ／または測定されたパラメータに基づいて映像キャプチャ装置中で実行する機能を含み得る。本開示の一側面では、映像符号化器は、映像フレームを記録する映像キャプチャ装置から映像符号化器が得る情報を使用することによって余分な計算複雑性を減じ得る。
一例では、映像キャプチャ装置は、ＣＡＦ工程中（例えば装置が素早く動いている間）の再焦点合わせ段階中に映像フレーム中の不明瞭性の量を推定し得る。映像キャプチャ装置は、映像符号化器へ映像フレーム中の不明瞭性の量の推定値を送信し得る。映像フレーム中の不明瞭性の量に基づいて、映像符号化器は、映像符号化器内で不明瞭性をその値を割り出す（evaluate、評価する）必要無しに、ある閾値を超える不明瞭性量を有するフレームを符号化するのにより少ないデータ・レート（すなわちより少ない符号化ビット）を割り当て得る。むしろ、符号化器は、映像キャプチャ装置によって割り出された不明瞭性パラメータに依拠し得る。例えば、映像符号化器は、不明瞭なフレームを符号化するのにより少ないデータ・レートを割り当て得る。不明瞭なフレームは、一般により低いデータ・レートの使用によって影響されない、より低い映像品質を有するからである。本開示の一側面に従って、映像フレームの中身が不明瞭になると、映像符号化器は、不明瞭なフレームを符号化するのにより少ないデータ・レート（すなわち符号化ビット）を割り当て得、それによって、不明瞭性がある場合に、許容可能な全体的映像品質を維持しつつ帯域幅消費を減じる。
本開示の一側面では、量子化パラメータ（ＱＰ）は、不明瞭性推定値に基づいて調整され得、フレーム中の不明瞭の量によって変化し得る。本開示の別の側面では、映像符号化器は、様々な大きさのブロック・パーティションを予測符号化および動き補償のために使用してフレームを符号化し得る。本開示の別の側面では、映像符号化器は、フレームが不明瞭であることおよびそれらにおける不明瞭性の量を割り出すためのアルゴリズムを実行することを要しない。これらが映像キャプチャ装置によって割り出されるからである。
本開示の技術の使用で、簡略化された映像符号化アルゴリズムは映像符号化器の計算複雑性を減じ得、また、より低いデータ・レートは映像符号化器によって使用される帯域幅を減じ得る。不明瞭性推定値は、映像キャプチャ装置から映像符号化器に報告され得る。そして、映像符号化器は、あるフレームが、不明瞭性を検出する（これは、映像符号化器によって行われる場合、計算量の多い処理であり得る）のに符号化器資源を消費することなく、不明瞭であると決定し得る。代わりに、映像符号化器は、映像キャプチャ装置によって値を割り出された不明瞭性推定値に依拠し得る。
本開示の諸側面は様々な記録装置（これは、スタンド・アロン型記録装置またはシステムの一部であり得る）のいずれにおいても使用され得る。説明目的で、ビデオ・カメラが典型的な映像キャプチャ装置として使用される。
図１は、本開示の技術を実行する例示的な映像キャプチャ装置および映像符号化器システム１００を図示するブロック図である。図１に示されるように、システム１００は映像キャプチャ装置１０２（例えば映像ストリームをキャプチャし、リンク１２０によって映像符号化器１１０に送信するビデオ・カメラ）を含んでいる。映像キャプチャ装置１０２および映像符号化器１１０は、モバイル装置を含む様々な装置のうちの任意のものを具備し得る。いくつかの例では、映像キャプチャ装置１０２および映像符号化器１１０は、無線通信装置、例えば無線ハンドセット、携帯情報端末（ＰＤＡ）、モバイル型メディア・プレイヤー、カメラ、または映像データをキャプチャし符号化することが可能な任意の装置、を具備する。いくつかの例では、映像キャプチャ装置１０２および映像符号化器１１０は同じシステムの一部として同じ囲み（enclosure、装置）の中に含まれ得る。他の例では、映像キャプチャ装置１０２および映像符号化器１１０は、２つ以上の相違する装置内に存在し得、また、２つ以上の相違するシステムの一部であり得る。映像キャプチャ装置１０２および映像符号化器１１０が２つ以上の相違する装置中にある場合、リンク１２０は有線リンクであっても無線リンクであってもよい。
図１の例において、映像キャプチャ装置１０２は、入力センサ・ユニット１０４、ＣＡＦユニット１０６、および不明瞭性推定ユニット１０８を含み得る。映像符号化器１１０は、ＱＰ再調整ユニット１１２、フレーム不明瞭性評価ユニット１１４、および符号化ユニット１１６を含み得る。本開示に従って、映像キャプチャ装置１０２はフレームの不明瞭性レベルを推定しかつ不明瞭性推定値を映像符号化器１１０に送信するように構成され得る。映像符号化器１１０は、適切な映像符号化データ・レートを割り出しかつ／または映像符号化アルゴリズムを簡略化するために不明瞭性情報を使用し得る。
映像キャプチャ装置１０２の入力センサ１０４は、キャプチャのためのフレーム画像の中身（コンテンツ）を検知し得る。入力センサ・ユニット１０４は、センサ、例えば電荷結合素子（ＣＣＤ）アレイ、またはカメラ・レンズによって光を受け取って受け取った画像に応じて画像データを生成する別の画像検出装置、に結合されたカメラ・レンズを含み得る。映像キャプチャ装置１０２は、映像を記録している間、ＣＡＦ工程を利用し得る。ＣＡＦ工程では、カメラ・レンズ位置は映像フレーム中の被写体への許容可能な焦点合わせを達成するように連続的に調節され得る。関心対象の新しい被写体が入力センサ・ユニット１０４によって取り込まれているシーンに入ると、ユーザが違う別の被写体またはシーンをキャプチャするように映像キャプチャ装置１１０を動かすと、またはシーン中の被写体が動くと、入力センサ・ユニット１０４は、新しい被写体の存在を検出し得る。次いで、入力センサ・ユニット１０４はＣＡＦユニット１０６に信号を送信し得る。ＣＡＦユニット１０６は、受信された信号を分析し、信号のフォーカス値に基づいて新しい被写体がシーン中で検出されたと判断し、再焦点合わせ工程を始める。新しい被写体への再焦点合わせは、例えば入力センサ・ユニット１０４から受信された信号のフォーカス値を分析することによって映像キャプチャ装置が所望の焦点を達成するまでレンズ位置を調整する動作を含み得る。ここで各信号は、フレームの複数のピクセルを含んでいる。ＣＡＦユニット１０６は、ＣＡＦユニット１０６が再焦点合わせ工程を実行していることを示す標識（indication、表示）を不明瞭性推定ユニット１０８に送信し得る。不明瞭性推定ユニット１０８は、再焦点合わせが起こっている間、フレーム中の不明瞭性を推定し得る。不明瞭性推定ユニット１０８は、フレームｎに関連する不明瞭性Ｂ（ｎ）を推定し、Ｂ（ｎ）を映像符号化器１１０に送信し得る。不明瞭性レベルの推定は後により詳細に記述される。
映像符号化器１１０は、フレーム中の不明瞭の量を割り出すためのさらなる計算を実行する必要性無しに、不明瞭性を有するフレームについての不明瞭性推定値Ｂ（ｎ）を受け取り、映像フレームを符号化する際に不明瞭性レベルを使用し得る。一例では、映像符号化器１１０は、ＱＰ再調整１１２のために不明瞭性レベルを使用し得る。換言すると、映像符号化器１１０は、あるフレームを符号化するためのＱＰ値を、このフレームについての推定レベルの不明瞭性に基づいて、調整し得る。
ＱＰは、符号化された画像において維持される詳細の量を規定する。映像符号化器は、符号化の間、量子化（例えば残差値の量子化）を実行する。残差値は、符号化される元々のブロック（例えばマクロブロック）と、このブロックを符号化するために使用される参照フレーム中の予測ブロックと、の間の残差の歪みを表わす残差値のブロックを表わす離散コサイン変換（ＤＣＴ）係数値であり得る。一例では、符号化器がより高い量子化のために非常に小さなＱＰ値を使用すると、画像の大量の詳細（detail、細部）が保持される。しかしながら、非常に小さなＱＰ値を使用することはより高い符号化データ・レートにつながる。ＱＰ値が増加するにつれて映像の符号化レートは落ちるが、詳細のうちのいくらかは失われ、画像はより歪みられ得る。不明瞭な画像では画像の詳細は既に歪められており、また、映像符号化器は画質に影響せずにＱＰを上げ得る。映像符号化器は、フレームが不明瞭かを判断するためのアルゴリズムを実行し得るが、これらのアルゴリズムは映像符号化器に計算複雑性を加える。
本開示の技術によれば、映像符号化器１１０は、フレームが不明瞭かどうか判断するかを要しないかもしれない。代わりに、映像符号化器１１０は、フレームが不明瞭であるという標識を映像キャプチャ装置１０２から受け取り得る。一例では、映像符号化器１１０は、符号化されるフレームｎについての推定された（被推定）不明瞭性レベルＢ（ｎ）を受け取り、その不明瞭性レベルに基づいてＱＰを上げるべきか下げるべきかを決定し得る。換言すると、映像符号化器１１０は、映像キャプチャ装置１０２から得られた被推定不明瞭性レベルＢ（ｎ）に基づいてＱＰ値を調整し得る。一例では、映像符号化器１１０は、より多い量の不明瞭性を有するフレームを符号化するためにより大きなＱＰを使用し得、より少ない量の不明瞭性を有するフレームを符号化するためにより小さなＱＰを使用し得る。このように、映像符号化器１１０は不明瞭性がより少ないフレームにより多くの符号化ビットを割り当て、より不明瞭なフレームにより少ない符号化ビットを割り当て得る。より大きなおよびより小さなＱＰ値がより多くのおよびより少ない量子化に対応するものとして本明細書において記述されているが、いくつかの符号化技術にとっては、その反対の場合がある。
別の例では、映像符号化器１１０は、映像符号化器１１０によって実行される符号化アルゴリズムを簡略化するために不明瞭性レベルを使用し得る。簡略化された符号化アルゴリズムは、動き推定検索のために、例えば分数のピクセル精度の代わりに、整数のピクセル精度を使用するアルゴリズムであり得る。他の符号化アルゴリズム単純化は、例えば、スキップ・モードの使用、動き推定において使用される参照画像リストの修正、および予測コードおよび動き補償のためのブロック・パーティション・サイズの修正を含み得、後に詳述される。画像圧縮では、補間がピクセルの色および強度を周囲のピクセルの色および強度値に基づいて近似するために使用され、相互符号化（inter-coding）における圧縮を向上させるために使用され得る。相互符号化は、隣接フレーム内での移動を追跡するための動き推定を指し、フレーム中でのブロックの１または複数の参照フレーム中での対応するブロックに対する変位を示す。符号化の間、符号化器は、フレーム中のブロックの位置を割り出し得る。圧縮のレベルは、サブ・ピクセルまたは分数補間を使用して分数ピクセル・レベルでブロックを探すことによって向上させられ得る。分数が小さいほど符号化器はより高い圧縮を達成するが、符号化アルゴリズムの計算量は増える。例えば、補間は分数値またはサブ・ピクセル値（例えば半分ピクセル値および４半ピクセル値）を生成するように実行され得、符号化アルゴリズムは、コンテンツに基づいて相違するレベルの精度を使用し得る。より詳細なフレームまたはフレーム中のブロックについては、符号化アルゴリズムはより小さなサブ・ピクセル値（例えば４分の１）を使用し得る。このことは、４半ピクセル位置でピクセル値を補間することを必要とする。詳細のより少ないフレームまたはフレーム中のブロックについては、符号化アルゴリズムは半分ピクセル値での補間を使用し得る。この例では、４半ピクセル値を補間することはより良い動き推定を提供し得るが、半分ピクセル値の補間より計算量が多い。不明瞭なフレームでは、画像はより少ない詳細を有し、その結果、サブ・ピクセル・レベルで補間することは画像の詳細を維持するのには不可欠ではないかもしれない。そこで、整数ピクセル精度が動き推定ブロック（その場合、符号化アルゴリズムがそのピクセル値を調べる）を符号化するために使用され、それにより、ピクセル値を補間する余計な計算複雑性を回避し得る。映像符号化器１１０は、フレームの被推定不明瞭性レベルＢ（ｎ）をＢ（ｎ）評価ユニット１１４中の閾値と比較して、簡略化された符号化アルゴリズムを実行するべきかを決定する。一例では、閾値はデフォルト値にセットされ得る。別の例では、閾値は、映像キャプチャ装置１０２および／または映像符号化器１１０中の設定に基づいて変えられ得る。別の例では、閾値はシステムの使用者によって定義され得る。例えば、不明瞭性レベルは範囲［０および１］中の値であり得、デフォルトで、閾値は０．５すなわち不明瞭性レベル値範囲の中間点に設定され得る。他の例では、閾値は使用者の好みによって設定され得る。Ｂ（ｎ）評価ユニット１１４が被推定不明瞭性が閾値を超えると判断すると、Ｂ（ｎ）評価ユニット１１４は、符号化アルゴリズム・ユニット１１６に不明瞭なフレームを符号化するのに適切な簡略化されたアルゴリズムを実行するように知らせる（signal）。
図２は、本開示の技術を実行し得る別の例示的な映像キャプチャ装置および映像符号化器システム２００を図示するブロック図である。図２の例は、実質的に図１の例に相当するが、後に詳述されるように、映像符号化器が図１において実行する計算の一部は図２中の映像キャプチャ装置２０２において実行され得る。図２に示されるように、システム２００は、映像キャプチャ装置２０２（例えば映像ストリームをキャプチャし、リンク２２０によって映像符号化器２１０に送信するビデオ・カメラ）を含んでいる。映像キャプチャ装置２０２および映像符号化器２１０は、モバイル装置を含む様々な装置のうちの任意のものを具備し得る。いくつかの例では、映像キャプチャ装置２０２および映像符号化器２１０は、無線通信装置、例えば無線ハンドセット、携帯情報端末（ＰＤＡ）、モバイル型メディア・プレイヤー、カメラ、または映像データをキャプチャし符号化することが可能な任意の装置、を具備する。いくつかの例では、映像キャプチャ装置２０２および映像符号化器２１０は同じシステムの一部として同じ囲み（enclosure、装置）の中に含まれ得る。他の例では、映像キャプチャ装置２０２および映像符号化器２１０は、２つ以上の相違する装置内に存在し得、また、２つ以上の相違するシステムの一部であり得る。映像キャプチャ装置２０２および映像符号化器２１０が２つ以上の相違する装置中にある場合、リンク２２０は有線リンクであっても無線リンクであってもよい。
図２の例において、図１の例でのように、映像キャプチャ装置２０２は、入力センサ２０４、ＣＡＦユニット２０６、および不明瞭性推定ユニット２０８を含み得る。また、この例では、映像キャプチャ装置２０２はＱＰ再調整ユニット２１２を含んでいる。映像符号化器２１０は、量子化ユニット２１８、フレーム不明瞭性評価ユニット２１４、および符号化アルゴリズム・ユニット２１６を含み得る。本開示に従って、映像キャプチャ装置２０２は、フレームの不明瞭性レベルを推定するように構成され得、また、不明瞭性の被推定レベルに基づいてＱＰを再調整し得る。映像キャプチャ装置２０２は映像符号化器２１０から以前のＱＰ値を受け取り得、これに基づいて、映像キャプチャ装置２０２は再調整されたＱＰ値を算出し得る。一例では、再調整されたＱＰ値は、フレーム中の不明瞭性レベルに基づき得、また、不明瞭性がより少ないフレームを符号化することはより多くの量子化（例えばより小さなＱＰ）を使用し得、また、より不明瞭なフレームはより少ない量子化（例えばより大きなＱＰ）を使用し得る。ここで、再調整された量子化は、映像符号化器２１０によって使用された以前の量子化量を超えないかもしれない。映像キャプチャ装置２０２は、再調整されたＱＰおよび不明瞭性推定値を映像符号化器２１０に送信し得る。映像符号化器２１０は、適切な映像符号化データ・レートを割り出しおよび／または映像符号化アルゴリズムを簡略化するために不明瞭性情報を使用し得る。映像符号化器２１０は、量子化の間、再調整されたＱＰを使用し得る。この例では、不明瞭性レベル推定値に基づいてＱＰを調整することは、映像符号化器２１０中の計算複雑性をさらに減じ得る。映像符号化器２１０は、不明瞭性以外の要素に基づいてＱＰをさらに再調整し得る。
映像キャプチャ装置２０２の入力センサ２０４は、キャプチャするフレーム・コンテンツを検知し得る。キャプチャされたシーンの変化は、図１との関連で上記したように、入力センサ２０４が信号をＣＡＦユニット２０６に送信し、再焦点合わせ工程を始めることにつながる。ＣＡＦユニット２０６は、ＣＡＦユニット２０６が再焦点合わせ工程を実行していることを示す標識を不明瞭性推定ユニット２０８に送信し得る。不明瞭性推定ユニット２０８は、再焦点合わせが起こっている間、フレーム中の不明瞭性を推定し得る。不明瞭性推定ユニット２０８は、フレームｎに関連する不明瞭性Ｂ（ｎ）を推定し、Ｂ（ｎ）をＱＰ再調整ユニット２１２に送信し得る。ＱＰ再調整ユニット２１２は、上記のように、フレームのためのＱＰを再調整するために不明瞭性レベルを利用し得る。映像キャプチャ装置２０２は、フレームｎについての不明瞭性推定値Ｂ（ｎ）および調整されたＱＰを映像符号化器２１０に送信し得る。
映像符号化器２１０は、いくつかの例では、例えばフレーム中の不明瞭の量を割り出すためのさらなる計算を実行する必要無しに、不明瞭性を有するフレームについての不明瞭性推定値Ｂ（ｎ）および調整されたＱＰを受け取り、映像フレームを符号化する際に不明瞭性レベルを使用し得る。一例では、映像符号化器２１０は、量子化ユニット２１８においてフレームｎ中のブロックについての残差データに関連する係数値を量子化するために再調整されたＱＰを使用し得る。
再調整されたＱＰの使用に加えて、映像符号化器２１０は、映像符号化器２１０によって実行される符号化アルゴリズムをさらに簡略化するために不明瞭性レベルを使用し得る。簡略化された符号化アルゴリズムは、上に詳述されるように、例えば動き推定検索のために、整数ピクセル精度を分数に代えて使用するアルゴリズムであり得る。他の符号化アルゴリズム単純化は、例えば、スキップ・モードの使用、動き推定において使用される参照画像リストの修正、および予測コードおよび動き補償のためのブロック・パーティション・サイズの修正を含み得、後に詳述される。一例では、映像符号化器２１０は、被推定不明瞭性レベルに基づいて、符号化アルゴリズム単純化方法のどれを使用するかを決定し得る。一例では、さらに後に詳述されるように、映像符号化器２１０は符号化アルゴリズム単純化の１または複数の方法を実現し得る。映像符号化器２１０は、フレームの被推定不明瞭性レベルＢ（ｎ）をＢ（ｎ）評価ユニット２１４中の閾値と比較して、簡略化された符号化アルゴリズムを実行するべきかおよびどれを実行するべきかを決定する。一例では、閾値はデフォルト値にセットされ得る。別の例では、閾値は、映像キャプチャ装置２０２および／または映像符号化器２１０中の設定に基づいて変えられ得る。別の例では、閾値はシステムの使用者によって定義され得る。Ｂ（ｎ）評価ユニット２１４が被推定不明瞭性が閾値を超えると判断すると、Ｂ（ｎ）評価ユニット２１４は、符号化アルゴリズム・ユニット２１６に不明瞭なフレームを符号化するために適切な簡略化されたアルゴリズムを実行するように知らせる。
図３は、本開示の技術を実行する映像符号化システム３００の例を図示するブロック図である。図３に示されるように、システム３００は、不明瞭性推定ユニット３０８およびＱＰ再調整ユニット３１２に加えて映像符号化器３１０を含んでいる。不明瞭性推定ユニット３０８は、図１の不明瞭性推定ユニット１０８または図２の不明瞭性推定ユニット２０８の例であり得る。一例では、ＱＰ再調整ユニット３１２は映像符号化器３１０の一部であり得る。この例では、映像符号化器３１０は図１の映像符号化器１１０の例であり得る。別の例では、ＱＰ再調整ユニット３１２は映像符号化器３１０の一部ではないかもしれない。この例では、映像符号化器３１０は図２の映像符号化器２１０の例であり得る。映像符号化器３１０は、本開示の技術を実現する要素に加えて従来の映像符号化器の要素を含んでいる。映像符号化システム３００は、映像キャプチャ装置（例えば図１の映像キャプチャ装置１０２または図２の映像キャプチャ装置２０２）によってキャプチャされた映像フレームを符号化し得る。Ｆ（ｎ）３０２は、映像符号化器が符号化のために処理している現フレームを表わし得る。
通常動作の間、すなわち、フレームの焦点が合っていて再焦点合わせが映像キャプチャ装置中で起こっていない間、映像符号化器３１０がフレーム間予測モードで動作している場合は、映像符号化器３１０は現フレームに対して動き推定を実行し得る。または、映像符号化器３１０は、フレーム内予測モードで動作している場合、現フレームに対してフレーム内予測を実行し得る。セレクタ３３２を使用して、映像符号化器３１０はフレーム間予測とフレーム内予測の間で切り替わり得る。例えば、フレーム中の不明瞭性の被推定レベルがある閾値を越える場合、映像符号化器３１０は、セレクタ３３２を使用して動き補償ユニット３１６を起動することによって、フレーム間予測モードで動作し得る。フレーム間予測モードで動作する場合、映像符号化器３１０は、後に詳述されるように、フレーム間予測データと現フレームとの間の差分を表わす残差データに加えて、動き補償のための動きベクトルデータを使用し得る。
一例では、映像符号化器３１０はフレーム内予測モードで動作し得る。フレーム内予測データは、残差データを生成するために、現フレーム３０２から減じられ得る。この結果は、変換ユニット３２２において変換（例えば離散コサイン変換（ＤＣＴ））を経験して残差データを表わす変換係数を生成し得る。変換されたフレーム・データ（例えば変換係数）は、次いで量子化ユニット３２４中で量子化を受け得る。映像符号化器３１０は、ある画質を保証するデフォルトＱＰを有し得る。ここで、程度のより高い量子化は、符号化されたフレーム中でより多くの詳細を保持するが、より高いデータ・レート（すなわち所与のフレームまたはブロックのための残差データを符号化するためにより高いビット数が割り当てられる）につながる。量子化されたフレーム・データは、次いで、さらなる圧縮のためにエントロピー符号化ユニット３２６を通り得る。量子化されたフレームは逆量子化ユニット３３０および逆変換ユニット３２８にフィードバックされて、フレーム内予測ユニット３１８からの結果と結合し、濾波されていない信号を取得し得る。濾波されていない信号は、デブロッキング・フィルタ３２０を通り得る。このことは、復元（reconstructed）されたフレーム（Ｆ（ｎ））につながり、これは他のフレームを符号化するための参照フレームとして使用され得る。
一例では、映像キャプチャ装置（例えばビデオ・カメラ）の入力センサ（例えば図１の入力センサ１０４または第２図の入力センサ２０４）は、関心対象の新しい被写体がキャプチャするシーンに入ることを検知するか、ユーザは別の被写体または別のシーンをキャプチャするために入力センサの向きを変え得る。新しい被写体を検出することは、映像キャプチャ装置に新しい被写体への焦点を再確立するために再焦点合わせを開始させ得る。再焦点合わせは、所望の焦点が達成されるまでレンズ位置を調整することを要し得る。再焦点合わせの間、キャプチャされたフレームは所望の焦点を有しないかもしれず、その結果、不明瞭であり得る。映像符号化システム３００は、フレームの不明瞭性を活用して不明瞭なフレームのための符号化データ・レートを減じかつ／または不明瞭なフレームに適用される符号化アルゴリズムを簡略化し得る。
本開示の技術に従って、映像キャプチャ装置中の不明瞭性推定ユニット３０８はフレームＦ（ｎ）の不明瞭性Ｂ（ｎ）を推定し得る。映像キャプチャ装置（例えば図１の装置１０２または図２の装置２０２）は、不明瞭性推定ユニット３１４中でフレームの不明瞭性レベルを推定し得る。上記のように、映像キャプチャ装置は被推定不明瞭性レベルをＱＰ再調整ユニット３１２に送信し得、そこでＱＰ値は被推定不明瞭性レベルに基づいて再調整される。一例では、図２に示されるように、ＱＰ再調整ユニット３１２は映像キャプチャ装置中にあり得る。別の例では、図１に示されるように、ＱＰ再調整ユニット３１２は映像符号化器３１０中にあり得る。ＱＰ再調整ユニット３１２は、被推定不明瞭性レベルに基づいてＱＰ値を再調整し得る。映像符号化器３１０は、他の要素にさらに基づいてＱＰ値を再度調整し得る。
映像キャプチャ装置は、また、被推定不明瞭性レベルを映像符号化器３１０に送信し得る。映像符号化器３１０において、フレーム不明瞭性評価ユニット３１４は、被推定不明瞭性レベルＢ（ｎ）を閾値と比較して、簡略化された符号化アルゴリズムを実行するべきかを決定する。図３が示すように、Ｂ（ｎ）が閾値を超える場合、不明瞭性評価ユニット３１４は、簡略化された符号化アルゴリズムを使用するように動き推定ユニット３１０に信号を送信する。一例では、符号化の単純化は、例えば動き推定ブロック検索においてサブ・ピクセル補間を行わないかより小さなサブ・ピクセル補間（例えば１／４以下の代わりに１／２）が必要になるようにピクセル精度レベルを調整することを含み得る。このことは、符号化されるデータ量を減じることにつながる。例えば、被推定不明瞭性レベルが閾値を越える場合、映像符号化器３１０は、分数ピクセル精度動き推定検索の代わりに整数ピクセル精度動き推定検索を選択的に起動し得る。この例では、参照フレーム中で分数ピクセルを補間するためにコンピューティング資源を消費する代わりに、映像符号化器３１０は整数ピクセル精度および補間不実施に依拠し得る。整数ピクセル精度を使用することによって、映像符号化器３１０は、分数ピクセル精度を使用して選択されたブロックより不正確な予測ブロックを選択し得る。しかしながら、既に不明瞭なフレームについては、この減じられた精度は著しく画質に影響を与えないかもしれない。したがって、整数精度は許容可能であり得る。サブ・ピクセル補間を実行する必要性を排除することによって、映像符号化器３１０はより少ない計算を実行する。このことは、より少ないシステム資源（例えば電力）の使用につながり、符号化中の処理時間とレイテンシを減じる。別の例では、符号化の単純化はフレーム内のより大きなブロックを動き推定のために使用することによってブロック・パーティション・レベルを調整することを含み得る。例えば、H.264規格では、フレームは、大きさ１６×１６、８×１６、１６×８、８×８、８×４、４×８および４×４のブロックへの分割であり得る。例えば、被推定不明瞭性レベルが閾値を越える場合、映像符号化器３１０は、動き推定検索のためにより大きなブロック・パーティション（例えば１６×１６）を選択し得る。この例では、映像符号化器３１０は、より不明瞭なフレームを符号化するのに、不明瞭性が少ないフレームを符号化する場合よりも少ないブロックを使用する。各フレームがより少ないブロックから構成されることになり、したがって、より少ない動きベクトルがそのフレームのために符号化されることになるからである。より大きなブロック・パーティションを使用すること、ひいては１フレーム当たりより少ないブロックを使用することによって、映像符号化器３１０はより少ない動きベクトルを符号化する。このことは、より少ないシステム資源の使用につながる。さらに別の例では、符号化の単純化は、スキップ・モードでの動作を含み得る。スキップ・モードでは、映像符号化器３１０はフレームを、符号化せずに、スキップする（例えば、これらのフレームを廃棄する）。被推定不明瞭性レベルがフレームのシーケンスのための閾値を越える場合、映像符号化器３１０は、不明瞭性レベルが非常に高いので連続するフレームのグループが実質的に同一に見えるだろうという仮定に立って動作する。その結果、映像符号化器３１０は、被推定不明瞭性レベルがある閾値を超える不明瞭なフレームの１つを符号化し、他の実質的に同一のフレームの符号化をスキップし得る。続いて、キャプチャされた映像が復号および／または表示される際、符号化された１つフレームが一度復号され、スキップされたフレームに代えて表示のために繰り返され得る。スキップ・モードを使用することによって、映像符号化器３１０はフレーム群の代わりに１つのフレームを符号化し、したがって、映像シーケンスを符号化するのに要する計算量を減じ、符号化中に消費される電力量を減じる。さらに、複数のフレームの代わりに１つのフレームを符号化することは、符号化工程中の処理時間とレイテンシを減じる。被推定不明瞭性レベルが閾値を超える場合、映像符号化器３１０は、また、フレーム内のブロックを符号化しながらスキップ・モードを使用し得る。その場合、映像符号化器３１０は、１つのブロックを符号化し、符号化されたブロックを不明瞭性レベルゆえに区別不能であり得る他のブロックに代えて使用する。
Ｂ（ｎ）が閾値を超える場合、不明瞭性評価ユニット３１４は、また参照フレーム・ユニット３０４に信号を送信する。参照フレーム・ユニット３０４は、Ｆ（ｎ）のための参照フレームを、前フレームＦ（ｎ−１）にセットし得る。参照フレーム・ユニット３０４は、その情報を動き補償ユニット３１６に送信し、動き補償ユニット３１６は予測間モードを使用して、すなわち現フレームの代わりに他のフレームからのデータを使用して、現在の不明瞭なフレーム中の動き補償を実行し得る。したがって、不明瞭性レベルＢ（ｎ）は、予測間モードおよび予測内モードの間の選択３３２を制御し得る。フレーム間予測データは現フレーム３０２から減算され得、その結果は変換３２２（例えば離散コサイン変換（ＤＣＴ））を受け得る。
本開示の技術に従って、被推定不明瞭性レベルはＱＰ再調整ユニット３１２（これは、映像符号化器（図１）中または映像キャプチャ装置（図２）中にあり得る）に送信され得る。ＱＰ再調整ユニット３１２は、フレーム中の不明瞭性の量Ｂ（ｎ）に基づいてＱＰを調整する。一例では、被推定不明瞭性レベルが閾値を超える場合にＱＰ値が再調整される。別の例では、フレーム中の不明瞭性レベルがその値を求められ、このフレーム中の不明瞭性のレベルに基づいてＱＰ値が再調整される。ここで再調整の量はフレーム中の不明瞭性の深刻さに比例する。
一例では、あるフレーム中の不明瞭性はあまり厳しくないかもしれず、その結果、ＱＰの再調整は好ましくないかもしれない。その結果、被推定不明瞭性レベルが閾値を超えない場合、量子化はデフォルトＱＰ値を使用して実行され得る。別の例では、被推定不明瞭性レベルが閾値を超える場合、ＱＰ再調整ユニット３１２は、被推定不明瞭性レベルＢ（ｎ）に基づいて、ある量の不明瞭性がフレーム中にあるかを判断してＱＰを上げ得る。ＱＰが上がるとともに映像の符号化レートは減少するが、詳細のうちのいくらかは失われ、画像はより歪められ得る。不明瞭な画像では画像の詳細は既に歪められており、量子化レベルを上げることは、画質に対して知覚可能な影響をほとんど有しないかもしれない。ＱＰ再調整ユニット３１２は、調整されたＱＰ（ＱＰｎｅｗ）を量子化ユニット３２４に送信し得る。量子化ユニット３２４は、ＱＰｎｅｗを使用して、変換ユニット３２２から受信された、変換された残差フレーム・データ（例えば残差データ変換係数値）を量子化し得る。次に、量子化されたフレーム・データは、符号化されたデータのさらなる圧縮、格納、または送信のためにエントロピー符号化３２６を通り得る。符号化器は、量子化された残差変換係数データを逆量子化ユニット３３０および逆変換ユニット３２８へフィードバックし得、またフレーム間予測３１６からの結果と結合してフレームまたはフレーム中のブロックを表わす復元されたデータを取得し得る。復元されたデータは、デブロッキング・フィルタ３２０を通り得る。このことは、復元されたフレームＦ（ｎ）につながる。
図４は例示的オート・フォーカス再焦点合わせ工程（ＣＡＦ工程と称され得る）を図示する図である。本開示の一側面では、ＣＡＦ機能は、映像キャプチャ装置（例えば図１の映像キャプチャ装置１０２または図２の映像キャプチャ装置２０２）において実現され得る。ＣＡＦ工程は、例えば受動型オートフォーカス・アルゴリズムであり得る。受動型オートフォーカス・アルゴリズムは、数ある機能の中でも、コントラスト測定および検索アルゴリズムを含み得る。これらは、ＣＡＦユニット１０６（図１）または２０６（図２）によって実行され得る。コントラスト測定は、ｌｕｍａ値を、キャプチャされたフレーム中のフォーカス・ウィンドウにわたって高域通過濾波することによって得られたフォーカス値（ＦＶ）に基づき得る。オート・フォーカスのアルゴリズムは、最高のコントラストが得られる場合に、すなわちＦＶがピークに達する場合に、最良または最適な焦点が達せられたと判断し得る。ＣＡＦユニットは、検索アルゴリズムを実行して、最良または最適な焦点がフレーム内で達成され得るようにレンズ位置を最高または最適なコントラスト（すなわち、ＦＶがピークに達する位置）に達する方向に調整する。
図４に示されるように、フォーカス値（ＦＶ）はレンズ位置の関数としてプロットされ得る。レンズ位置の範囲は、映像キャプチャ装置（例えばビデオ・カメラ）のレンズの範囲を表わし得、近端レンズ位置（４０２）から遠端レンズ位置（４０４）にわたる。最適な焦点でのフレームは、ＦＶ０（４０６）のピーク・フォーカス値を有し得る。この例で、新しい被写体がフレームに入り得、再焦点合わせ工程を開始するためにＣＡＦユニット１０６または２０６を始動させる信号につながる。その時点で、フレームのフォーカス値はＦＶ０（４０６）からＦＶ１（４０８）まで減少し得、他方、レンズ位置はまだ変わり始めていない。次に、レンズ位置が、新たな最適値すなわちピーク・フォーカス値が達せられるまで、段階的に調整され得る。この例では、最適なフォーカス値はＦＶ１０（４１０）であり得、新しいレンズ位置にある。再焦点合わせ工程の間、映像キャプチャ装置システムは、最適値が達成されるまで、各レンズ位置でフォーカス値を割り出し得る。検索方向を割り出す際、すなわちレンズ位置が近端（４０２）にまたは遠端（４０４）に向かうべきかを割り出す際、再焦点合わせが開始されると、検索方向はＦＶが増加する方向を見つけることによって推定され得る。この例では、再焦点合わせ工程の第１値はＦＶ１（４０８）であり得る。次のステップで、レンズ位置は近端（４０２）に向かい得、対応するフォーカス値ＦＶ２（４１２）が決定され得る。フォーカス値ＦＶ２（４１２）は、この場合においては、ＦＶ１（４０８）未満であり得る。ＦＶ２（４１２）がＦＶ１（４０８）未満であるので、映像キャプチャ装置システムは、検索方向がレンズ位置の遠端（４０４）に向かうべき、したがってＦＶ２（４１２）から離れるべきであると決定する。
レンズ位置の各変化を用いて、フレームはキャプチャされ、また、ＦＶ３〜ＦＶ９によって図示されるようにフォーカス値が割り出される。一例では、ＦＶ１０（４１０）が達せられると、レンズ位置は、同じ方向（この例では遠端（４０４）に向かって）に、特定のステップ数が連続して到達済みのフォーカス値よりも低いフォーカス値を与えるまで、変わり続け得る。例えば、ＦＶ１０（４１０）が達せられ、このシステムではさらなるステップの数は３に設定され得る。その結果、レンズ位置は、もう３ステップ増加し得、ＦＶ１１、ＦＶ１２、およびＦＶ１３につながり、全てＦＶ１０（４１０）より低い。すると、映像キャプチャ装置は、ＦＶ１０（４１０）が新たな最適なフォーカス値であり得ると決定し、ＦＶ１０（４１０）に対応するレンズ位置へ戻り得る。
上述のように、不明瞭性レベルは、ＦＶ１０（４１０）が新たな最良のフォーカス値として割り当てられるまでＦＶ１（４０８）からキャプチャされた各フレームについて割り出され得る。各ステップでの不明瞭性レベルは、上記のように使用され得る。すなわち、関連するフレームを符号化するためのＱＰを再調整すべきかを決定するために、また、場合によってはＱＰの調整量を決定するために使用され得る。フレームの不明瞭性レベルは、また、フレームのための符号化アルゴリズムを簡略化するべきかどうかを決定するために閾値と比較され得る。
一例では、フレームの不明瞭性レベルは、フレームのフォーカス値および前フレームのフォーカス値に基づいて決定され得る。最初の不明瞭性レベルＢ（１）は、元々のフォーカス値（すなわちＦＶ０）と比較して、最初の低下（すなわちＦＶ０（４０６）からＦＶ１（４０８）までの低下）後のフォーカス値変化の割合に基づいて、以下のように推定され得る。
Figure 2013510505
上に詳述されるように、検索方向が割り出さると、レンズは最良の焦点位置を達成するために段階的に調整され得る。この工程の間の不明瞭性は、以下のようにその値を割り出され得る。
Figure 2013510505
ここで、Ｋは、選択された範囲（例えば［０，１］）へ不明瞭性レベルを正規化するのに使用される調整可能な定数であり得る。Ｂｉはフレームｉについての被推定不明瞭性レベルであり、ＦＶｉはフレームｉに関連するフォーカス値である。一例では、Ｋのデフォルト値はＦＶ１であり得る。ＦＶ１が、再焦点合わせ工程の開始時の初期ＦＶ値だからである。ＫをＦＶ１に設定することによって、再焦点合わせ工程の間の不明瞭性レベルは初期ＦＶ値に正規化される。このことは、不明瞭性レベルを範囲［０，１］に正規化することにつながる。Ｇｉは勾配の絶対値で、以下のように算出され得る。
Figure 2013510505
ＬｅｎｓＰｉは、ＦＶｉ（現フレームのフォーカス値）に対応するレンズ位置であり、ＬｅｎｓＰｉ−１は、ＦＶｉ（前フレームのフォーカス値）に対応するレンズ位置である。
一例では、ＦＶＮのピーク値が割り出されると再焦点合わせ工程は終了し得、不明瞭性はその初期値にリセットされ得る（これはフレームが、焦点が合っていることを示す）。この例では、不明瞭性は０、ＢＮ＝０にリセットされ得る。
本開示の一例では、ＣＡＦは各フレームのために実行されないかもしれない。再焦点合わせ工程の間にフレーム・スキップがある場合、スキップされたフレームについての不明瞭性レベルは以前に算出されたものと同じ
Bi = Bi-1
に維持され得る。
本開示の一側面では、不明瞭性は、リアル・タイムで上記のように割り出され得、リアル・タイムまたは実質的リアル・タイムでの符号化を可能にし得る。この場合、不明瞭性レベルは、映像データ・レートおよび／または符号化アルゴリズムの単純化を制御するために使用され得る。
本開示の別の側面では、不明瞭性は、ＣＡＦ再焦点合わせの間、遅延を伴ってその値を割り出され得る。フレームｉについての不明瞭性Ｂ［ｉ］は、ＣＡＦ再焦点合わせ工程の間、再焦点合わせ工程の間に新たな焦点面のレンズ位置と前のレンズ位置の間のレンズ位置差分の値を割り出すことによって、以下の等式によって示されるように推定され得る。
B[i]WithdDelay = k|LensPosition[N] - LensPosition[i]|
Ｎは、新しい焦点面が見つかり得る場合の再焦点合わせ工程の最後のレンズ位置のインデックスであり、i = 0, …, (N-1)である。ｋは調整可能な定数であり、LensPosition[i]は新しい焦点面と関連するレンズ位置であり、LensPosition[N]は前の再焦点合わせ工程と関連するレンズ位置である。
一例では、不明瞭性レベルの値をある範囲に制限することが望ましくあり得、固定値ｋはその定義された範囲に依存し得る。例えば、不明瞭性レベルは、範囲［０，１］に制限され得、そのような例では、以下の通りである。
Figure 2013510505
ここで、LensFarEndは最大のレンズ位置であり、LensNearEndは最小のレンズ位置である。
不明瞭性の値が遅延に基づいて割り出され得る例では、一旦最良の焦点位置が割り出されれば、現在のレンズ位置から所望のレンズ位置（すなわち最良の焦点に対応するレンズ位置）への距離の値は、より正確に割り出され得る。この例では、不明瞭性は、初期位置と最良焦点位置との間のフレームについてのみその値を割り出され得る。
ＣＡＦ再焦点合わせ工程の間、不明瞭性は各検索ステップにおいて、フレームごとにその値を割り出され得る。現フレームを符号化するためのＱＰは、フレームの中身の被推定不明瞭性レベルに従ってデータ・レートを節約するために再調整され得る。一例では、フレームがより不明瞭であるほど、対応するフレームを符号化するのに使用される量子化はより少ない。エッジの鋭さがより少ない情報およびよりより少ない詳細がフレーム中に存在し得るからである。いくつかの例では、量子化の程度はＱＰ値に比例し得る。いくつかの例では、量子化の程度はＱＰ値に反比例し得る。いずれの場合も、ＱＰ値は量子化の程度を指定するために使用され得る。したがって、より低い符号化データ・レートが、より不明瞭なフレームのために割り当てられ得る。結果得られる符号化レートの節約は、いくつかの例では、非不明瞭なフレーム、またはより少ない不明瞭性を有するフレームにより多くの符号化ビットを割り当てるために使用され得る。
一例では、ＱＰ再調整は、ＱＰ再調整ユニット１１２（図１）または２１２（図２）によって以下のように決定され得る。
Figure 2013510505
ＱＰｍａｘは、ある映像符号化システムで可能な最大ＱＰ値であり得る。この例では、量子化は、例えばH.264符号化での場合のようにＱＰ値に比例し得る。例えばH.264では、ＱＰｍａｘ＝５１である。ＱＰｉ ｎｅｗは再調整後のＦＶｉに対応する新たなＱＰ値であり得る。ＱＰ０ ｏｒｇは、映像符号化器によってフレームを符号化するために適用されたＦＶ０での初期ＱＰであり得る。Ｂｉは再焦点合わせ工程の間のＦＶｉに対応する不明瞭性レベルであり得る。ａは、システム・デザインに対して適切に定義された範囲中の選択された定数パラメータであり得る、ＱＰｎｅｗが設定された範囲（これは規格に依存し得る）にとどまるようにＱＰの変化を正規化するために使用される。例えば、H.264では、ＱＰ値のための範囲は［０，５１］である。一例では、ａは範囲［０，１０］中にあり得、１０がデフォルト値であり得る。ａの値は、不明瞭なフレームに対してユーザがどれだけビット圧縮の実行を望むかに基づいてユーザによって選択され得る。
一例では、ＱＰ再調整は再焦点合わせ工程の間に適用され得る。再焦点合わせが完了すると、ＱＰは元々のＱＰ値ＱＰ０ ｏｒｇにリセットされ得る。一例では、再焦点合わせの間、各新ＱＰ値が以前に算出されたＱＰ値から独立して算出され得る。
一例では、本開示の側面は、H.264映像符号化システムとともに使用され得る。H.264映像符号化は、既存の規格に対して圧縮性能およびレート歪み効率の著しい改善を達成してきた。しかしながら、計算複雑性が、例えば動き補償工程のような符号化のある側面が原因で、高められ得る。H.264は、１６×１６から４×４までの動き補償ブロックをサポートする。レート・ディストーションのコストは、可能なブロック・パーティションの組合せの各々について算出され得る。最小のレート・ディストーション成績につながるブロック・パーティションが、ブロック・パーティション決定として選択され得る。動き補償工程では、参照フレームは１６もの以前に符号化されたフレームであり得、このこともシステムの計算複雑性を上げ得る。H.264映像符号化では、１／４または１／８サブ・ピクセル予測もの小ささの予測が使用され得、補間法はサブ・ピクセル値を算出するために使用され得る。
上に詳述されるように、H.264映像符号化では、ブロック・パーティションは、図５に図示されるように、任意の組み合わせで１６×１６（５０２）から４×４（５１４）にわたり得る。例えば、８×８（５０８）ブロック・パーティションが選択されると、各８×８ブロックは、８×４（５１０）、４×８（５１２）、または４×４（５１４）のパーティション選択肢を有し得る。
一例では、映像符号化器の映像符号化アルゴリズムは、ＣＡＦ再焦点合わせの間、不明瞭性レベルに基づいて簡略化され得る。不明瞭性レベルは上記の方法の少なくとも１つを使用して推定され得る。被推定不明瞭性レベルは所定のブロック・パーティション閾値と比較され得る。
Bi ≧ ThresholdBlockPartition
ここで、Ｂｉはフレームｉの被推定不明瞭性レベルであり、Threshold_blockpartitionはブロック・パーティション・レベルの調整が基づく閾値であり得る。この閾値は、例えばユーザの好みまたはシステム要件に従って、範囲（例えば［０，１］）中の値であるように調整され得る。閾値が高いほど、符号化アルゴリズムの単純化を始めるのに要する不明瞭性レベルは高い。
一例では、被推定不明瞭性レベルが閾値を越える場合、映像符号化器３１０（図３）はより大きなブロック・パーティション（例えば１６×１６（５０２）、１６×８（５０６）、８×１６（５０４）、８×８（５０８））を選択し、よって映像符号化器が所与のフレームまたはフレーム群のための符号化に要する動き補償の量を減じ得る。より大きなブロック・パーティションを使用することは、各フレームがより大きなブロックに分割されること、ひいては映像符号化器がフレーム当たりより少ないブロックを符号化することを意味する。その結果、映像符号化器はより少ない動きベクトルを符号化し、その結果、より少ないシステム資源（例えば電力およびメモリ）を使用することになる。一例では、映像符号化器は、フレーム中の不明瞭性の厳しさに基づいて、ブロック・パーティションを選択し得る。例えば、より大きなブロック・パーティション（例えば１６×１６、１６×８、８×１６）は高い不明瞭性レベルを有するフレームのために使用され得、わずかにより小さなブロック・パーティション（例えば８×８）はより小さな不明瞭性レベルを有するフレームのために使用され得る。不明瞭性レベルが閾値を越える場合、より小さなブロック・パーティション（例えば８×４、４×８、４×４）は考慮から排除され得、不明瞭性の厳しさに基づいて、より大きなブロック・パーティションのうちの１つが上記のように選択され得る。
別の例では、符号化アルゴリズム単純化は、映像符号化器が参照フレームを選択するフレームの範囲を制限することによって達成され得る。参照フレーム選択と関連する閾値を使用して、映像符号化器は参照フレームの選択肢を以前の符号化されたフレームのみへと狭め得る。
Bi ≧ ThresholdReference
ここで、Ｂｉはフレームｉの被推定不明瞭性レベルであり、Threshold_referenceは参照画像リストの調整が基づく閾値であり得る。映像符号化では、フレームを符号化する際、参照フレームが動き推定目的で参照画像リストから選択され得る。映像符号化器は、最も適切な参照フレームを決定し、現フレームにそれを探索して動き推定データを符号化し得る。一例では、フレーム中の被推定不明瞭性レベルが閾値を越える場合、映像符号化器は、参照画像リストをフレームの部分集合（例えば現在の不明瞭なフレームに先行するフレーム）へと制限し得る。
不明瞭性推定を使用することによって、不明瞭性レベルが予め定められた閾値より高い場合、スキップ・モード（例えば、H.264でのスキップ・モード）が知らされ得る。スキップ・モードを選択的に活性化することも符号化データ・レートを減じ得る。フレーム・スキップ・モードと関連する閾値を使用して、映像符号化器は、スキップ・モードを起動することを決定し得る。
Bi ≧ ThresholdFrameSkip
ここで、Ｂｉはフレームｉの被推定不明瞭性レベルであり、Threshold_frameskipはフレーム・スキップ・モードの起動が基づき得る閾値である。一例では、被推定不明瞭性レベルがフレーム・スキップ・モードのための閾値を越える場合、映像符号化器はスキップ・モードを起動し得、フレームは符号化無しでスキップされ得る（すなわち、廃棄される）。一例では、フレーム・スキップのための閾値は、他の符号化アルゴリズム簡略化方法（例えばピクセル精度レベル、ブロック・パーティション・レベル、参照画像リストの変更）のための閾値より大きいかもしれない。一例では、フレームのための被推定不明瞭性レベルは、不明瞭性レベルが閾値を越えてフレームがスキップされる場合に映像キャプチャ装置が他の閾値との比較を実行することを要しないように、まずフレーム・スキップ閾値と比較され得る。映像符号化器がそのフレームと関連するいかなるものも符号化する必要がないからである。一例では、被推定不明瞭性レベルを様々な閾値と比較することは、単純化アルゴリズムの進行の順序に基づいて、特定の順序で実行され得る。例えば、参照画像リストの変更は、パーティション・ブロック・レベルの決定およびピクセル精度レベルの決定に先立って実行され得る。
別の例では、再焦点合わせの間の不明瞭性推定は、不明瞭な中身を有し得るフレームを、これらのフレームに対して映像符号化器が不明瞭性除去（de-blurring）アルゴリズムを実行および適用できるように、知らせるために使用され得る。映像符号化器は、不明瞭な中身の存在を示す信号を映像キャプチャ装置から受け取ると、フレームが不明瞭であると判断することを有さず、単に不明瞭性除去アルゴリズムを適用し得る。別の例では、被推定不明瞭性レベルは、不明瞭なフレームのために必要な不明瞭性除去の量を決定するために使用され得る。この場合、不明瞭性レベルに基づいて、映像符号化器は、対応する不明瞭性除去アルゴリズムを選択するか、不明瞭性除去アルゴリズムによって使用される対応するパラメータを決定する。こうして、映像符号化器はフレーム中の不明瞭性のレベルに従って相違する不明瞭性除去レベルを適用し得る。
本開示に従って、映像符号化器は再焦点合わせ統計値（例えばＦＶ値、レンズ位置）にアクセスすることを要しないかもしれず、したがって、再焦点合わせ統計値に基づいてフレーム中の不明瞭の量を決定することができないかもしれない。その結果、映像符号化器は、フレーム中の不明瞭性を決定するためにより量の多い計算を実行することを要し得る。本開示の側面を使用して、映像キャプチャ装置は再焦点合わせの間、不明瞭性レベルを推定し、不明瞭性レベルを映像符号化器に送信し得る。本明細書において記述される例では、様々な方法が再焦点合わせの間に不明瞭性レベルをその値を割り出すために使用され得る。一例では、ＱＰ再調整は、再焦点合わせの間に不明瞭性レベルに基づいて映像データ・レートをより良く制御しかつ減じるために映像符号化中で使用され得る。一例では、映像符号化アルゴリズム単純化は被推定不明瞭性を使用して向上させられ得る。別の例では、映像キャプチャ装置は、不明瞭なフレームおよびそれらのＣＡＦ再焦点合わせによって引き起こされた不明瞭性レベルを特定するために不明瞭性を推定し得る。映像キャプチャ装置は不明瞭性情報を映像符号化器に送信し得る。映像符号化器は、不明瞭性除去技術を適用してフレーム・コンテンツを不明瞭性除去（de-blur）し得る。
本開示の例では、詳述されたアルゴリズムの計算は、いくつかの要素に起因して、より少ないコンピューティング資源を使用し得る。例えば、ＦＶによって示される不明瞭性のようなＣＡＦ統計値は、ＡＦ工程の一部として、映像キャプチャ装置自身において処理済みであり得る。したがって、例えば符号化器中でレンズ位置およびフォーカス値を算出するための特別な（付加的な）計算は、ほとんどまたはまったく必要ないかもしれない。また、例えば、不明瞭性レベル推定は、計算のための定数パラメータとの単純な減算、除算、および乗算を含み得る。さらに、例えば、ＣＡＦ再焦点合わせの間のＱＰ再調整の計算は、映像符号化器に過剰な付加的な計算複雑性を要求せず容易かつ単純であり得、カメラ・システム中で行われれば、いくつかの計算を符号化器側から減じ得る。上に記述される技術および方法は、映像符号化器中の付加的な計算による遅延を引き起こさずに、不明瞭なフレーム・コンテンツを映像符号化器に通知するのに有用であり得る。さらに、いくつかの状況では、上に詳述されるように、動き補償の計算複雑性は、効率的に符号化データ・レートを減じることに加えて、遅延を引き起こさずに不明瞭なフレーム・コンテンツを特定することによって著しく減じられ得る。
図６Ａ〜図６Ｃは、本開示の例示的技術に従った、キャプチャされたフレーム中の不明瞭性レベルの推定値を使用する映像符号化の制御を図示するフローチャートである。図６の工程は、フロントエンド装置（例えば映像キャプチャ装置またはビデオ・カメラ）およびバックエンド装置（例えば映像符号化器）によって映像システム中で実行され得る。図６の工程の様々な側面は、映像キャプチャ装置と映像符号化器の間に割り当てられ得る。例えば、ＱＰ再調整は、映像符号化器（図１）または映像キャプチャ装置（図２）中で実行され得る。
図６に示されるように、ＣＡＦを有する映像キャプチャ装置１０２（図１）はフレームをキャプチャし、それらを映像符号化器１１０（図１）に送信しているところであり得る。映像キャプチャ装置は、キャプチャされたフレームのフォーカス値の低下に基づいて、このフレームにおいて変更が起こって焦点の減少につながると判断し得る（６０２）。映像キャプチャ装置は、映像フレームをキャプチャし、かつキャプチャされたフレームのフォーカス値がいつ低下した（このことはフレーム中での不明瞭性の可能性を示す）かを判断する入力センサ・ユニット１０４（図１）を有し得る。焦点の低下は、ユーザが映像キャプチャ装置を意図的または非意図的に新しい被写体またはシーンに向け直したことに起因して、新しい被写体があるシーンまたは新たなシーンに入って来ることまたはそこから出て行くことによって引き起こされ得る。入力センサ・ユニットは、キャプチャされたフレームに基づいて、フレームのＦＶを決定し得、また、それを前フレームＦＶと比較する。ＦＶが減少する場合、入力センサ・ユニットは、検出された低下を映像キャプチャ装置内のＣＡＦユニット１０６（図１）に知らせ得る（６０４）。示されたＦＶ低下に応答して、ＣＡＦユニットは再焦点合わせ工程を開始する（６０６）。再焦点合わせ工程は、例えば映像キャプチャ装置が所望の焦点を達成する（これは例えばＦＶのピーキングによって示される）までレンズ位置を調整することのような動作を含み得る。映像キャプチャ装置が再焦点合わせ工程を実行している間、キャプチャされたフレームは焦点がずれているかもしれず、その結果不明瞭であり得る。映像キャプチャ装置は、再焦点合わせ工程の間、キャプチャされた各フレーム中の不明瞭性レベルを推定し得る（６０８）。映像キャプチャ装置は、上記のようにフレーム不明瞭性レベルを推定するためのアルゴリズムを実行する不明瞭性推定ユニット１０８（図１）を含み得る。次に、被推定不明瞭性レベルは、映像符号化器がその量子化機能において使用するＱＰを再調整するために使用され得る。ＱＰは、符号化器によって生成される残差変換係数値に適用される量子化の程度を制御する。符号化器がより多くの量子化を使用すると、より多くの量の画像詳細が保持される。しかしながら、より多くの量子化を使用することは、より高い符号化データ・レートにつながる。量子化が減少すると映像の符号化レートは減少するが、詳細のうちのいくらかは失われ、画像はより歪められ得る。不明瞭な画像では、画像の詳細は既に歪められており、映像符号化器は画質に影響せずに量子化を減じ得る。本開示に従って、映像キャプチャ装置または映像符号化器は、フレーム中の不明瞭性の量に基づいて、再焦点合わせ工程の間、キャプチャされたフレームのためのＱＰをより大きな値へ再調整し得る。
本開示の一例では、図６Ｂに示されるように、映像キャプチャ装置は、ＱＰ再調整を実行し、映像符号化器が実行する計算の量をさらに減じるために映像符号化器へ調整されたＱＰを送信し得る。この例では、映像キャプチャ装置は、被推定不明瞭性レベルに基づいて、映像符号化器がフレームを符号化するために使用するＱＰ値を再調整し得る（６１０）。次に、映像キャプチャ装置は、再調整されたＱＰ値および被推定不明瞭性レベルを映像符号化器に通信し得る（６１２）。次に、映像符号化器は、上記のように、いくつかの符号化アルゴリズムを簡略化するために量子化のための再調整されたＱＰ値および被推定不明瞭性レベルを使用する。
本開示の別の例では、図６Ｃに示されるように、映像キャプチャ装置は被推定不明瞭性レベルを映像符号化器へ通信し得る（６１４）。この例では、映像符号化器は、被推定不明瞭性レベルに基づいてＱＰを再調整し、この再調整されたＱＰを量子化のために使用し得る。映像符号化器は、また、上記のように、いくつかの符号化アルゴリズムを簡略化するために被推定不明瞭性レベルを使用し得る。
図７は、本開示の側面に従った、符号化アルゴリズムを簡略化するために不明瞭性レベルの推定値を使用する映像符号化を図示するフローチャートである。映像キャプチャ装置（例えば図１の映像キャプチャ装置１０２または図２の２０２）は、上記のように、キャプチャされたフレームの不明瞭性レベルを推定し得る。映像キャプチャ装置は、被推定不明瞭性レベルを映像符号化器（例えば図１の映像符号化器１１０または図２の２１０）に送信し得る。映像符号化器は、符号化アルゴリズムを簡略化するために被推定不明瞭性レベルを使用し得る。映像符号化器は、フレーム中の不明瞭性レベルに基づいて符号化アルゴリズムを簡略化し得る。このことは、映像符号化器が、様々な符号化アルゴリズムと関連する閾値との比較に基づいて判断し得る。一例では、映像符号化器は被推定不明瞭性レベルをフレーム・スキップ・モードと関連する閾値と比較し得る（７０２）。被推定不明瞭性レベルがフレーム・スキップ・モードのための閾値を越える場合、映像符号化器はスキップ・モードを起動し得（７０４）、フレームは符号化無しにスキップされ得る。映像符号化器が、不明瞭性レベルが非常に高いゆえに連続するフレームのグループが実質的に同一に見えるだろうという仮定に立って動作するからである。その結果、映像符号化器は、不明瞭なフレームのうちの１つを符号化し、他の実質的に同一不明瞭なフレームを符号化することをスキップし得る。スキップ・モードが起動され、したがって、フレームがスキップされると、フレームは符号化されないかもしれず、したがって、映像符号化器は別の符号化アルゴリズム単純化についての決定における続行を要しないかもしれない。
被推定不明瞭性レベルがフレーム・スキップ・モードのための閾値を越えない場合、映像符号化器は、スキップ・モードを起動せず、参照画像リストを調整するべきかの判断に進み得る。一例では、映像符号化器は、被推定不明瞭性レベルを参照フレームと関連する閾値と比較し得る（７０６）。被推定不明瞭性レベルが閾値を越える場合、映像符号化器は、参照画像リストをフレームの部分集合（例えば現在の不明瞭なフレームに先行するフレーム）に制限し得（７０８）、動き推定のためのブロック・パーティション・サイズの決定に進み得る。被推定不明瞭性レベルが閾値を越えない場合、映像符号化器は既存の参照画像リストを使用し得、動き推定のためのブロック・パーティション・サイズの決定に進み得る。
一例では、映像符号化器は、被推定不明瞭性レベルをパーティション・ブロックと関連する閾値と比較し得る（７１０）。被推定不明瞭性レベルが閾値を越える場合、映像符号化器は、符号化動き推定のためにより大きなブロック・パーティションを使用し得る（７１２）。例えば、H.264では、符号化は、１６×１６、８×１６、１６×８、８×８、４×８、８×４、および４×４の大きさのブロック・パーティションを使用する。不明瞭なフレームについては、映像符号化器は、より大きなパーティション（例えば１６×１６、８×１６、１６×８）を使用して動き推定を実行し得る。このため、より少ない動画の符号化を必要とする。映像符号化器は、動き推定のためのピクセル精度の決定に進み得る。被推定不明瞭性レベルが閾値を越えない場合、映像符号化器はブロック・パーティションをその通常の実行に従って使用し得、動き推定のためのピクセル精度の決定に進み得る。一例では、フレームが不明瞭な中身を含んでいる場合、不明瞭性レベルが決定され得、不明瞭性の厳しさに基づいてブロック・パーティションが適宜決定され得る。ここで大量の不明瞭性に対して、より大きなパーティション・ブロックが使用され得る。
一例では、映像符号化器は、被推定不明瞭性レベルを動き推定において使用されるピクセル精度と関連する閾値と比較し得る（７１４）。被推定不明瞭性レベルが閾値を越える場合、映像符号化器は動き推定の実行のためのピクセル精度を調整し得る（７１６）。ここで、不明瞭な画像のためにより大きなピクセル精度が使用され得、それにより必要な計算量はより少ない。一例では、映像符号化器は整数ピクセル精度を使用し、それにより動き推定において使用される参照ブロックを検索する際のサブ・ピクセル補間の必要性を削除し得る。別の例では、映像符号化器は、フレーム中の不明瞭性の厳しさを評価し、ピクセル精度を適宜調整し得る。例えば、映像符号化器は、大量の不明瞭性を有するフレームのために整数ピクセル精度を使用し、より小さなレベルの不明瞭性を有するフレームのために比較的より大きなサブ・ピクセル精度（例えば１／２）を使用し得る。被推定不明瞭性レベルが閾値を越えない場合、映像符号化器は、映像符号化器が不明瞭性の無いフレームを符号化するのと同じ方法でフレームを符号化し得る。
映像符号化器は、再焦点合わせ工程の間は、キャプチャされたフレームを符号化するための変更された符号化技術を使用し得、映像キャプチャ装置の焦点が合っている間にキャプチャされたフレームに対してはその通常の符号化機能に戻り得る。一例では、映像符号化器は、キャプチャされたフレーム中の不明瞭の厳しさに依存して、符号化アルゴリズムおよび機能のために様々なレベルの変更を使用し得る。例えば、より高いレベルの不明瞭性は、ＱＰを、より劣ったレベルの不明瞭性と関連するものより大きな値へと再調整することにつながり得る。一例では、映像符号化器は、また、映像キャプチャ装置から受信された不明瞭性情報を使用して不明瞭性除去機能を実行し得る。
システムのフロントエンド（例えば映像キャプチャ装置）部分およびバックエンド（例えば映像符号化器）部分は、直接接続されても間接的に接続されてもよい。一例では、映像キャプチャ装置は、例えば何らかのタイプの有線接続を使用して、映像符号化器に直接接続され得る。別の例では、カムコーダは、例えば無線接続を使用して、映像符号化器に間接的に接続され得る。
本開示に記述されている諸技術は映像符号化器の機能を援助するために１つの装置中で使用され得、あるいはこの装置またはこの装置が使用され得る先の適用形態による要求に従って別々に使用され得る。
本開示に記述されている技術は、少なくとも一部、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せにおいて実行され得る。例えば、記述されている技術の様々な側面は、１または複数のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲート・アレイ（ＦＰＧＡ）、または他の等価な集積またはディスクリート型論理回路、およびこのような構成要素の任意の組合せを含む１または複数のプロセッサ内で実行され得る。文言、「プロセッサ」または「処理回路」は、前述の論理回路（単独でも他の論理回路との共同でも）または他の等価な回路のうちの任意のものを一般に指し得る。ハードウェアを具備する１つの制御ユニットが本開示の技術の１つ以上を実行してもよい。
このようなハードウェア、ソフトウェア、およびファームウェアは、本開示に記述されている様々な動作および機能をサポートするために、同じ装置内または個別の装置内で実施され得る。また、記述されているユニット、モジュール、または構成要素のうちのいずれも、一括して実施されてもよいし、独立であるが相互運用可能な論理デバイスとして別々に実施されてもよい。様々な特徴をモジュールまたはユニットとして描写することは、様々な機能的側面を明確にすることを意図されており、そのようなモジュールまたはユニットを個別のハードウェアまたはソフトウェア構成要素によって実現しなければならないことを必ずしも示唆しない。それどころか、１または複数のモジュールあるいはユニットと関連する機能は、個別のハードウェア、ファームウェア、および／またはソフトウェア構成要素によって実行されてもよいし、共通のまたは個別のハードウェアあるいはソフトウェア構成要素に統合されてもよい。
本開示に記述されている技術は、コンピュータ可読記憶媒体のような命令を含んだコンピュータ可読媒体で具現されてもよいし符号化されてもよい。コンピュータ可読媒体に埋め込まれているか符号化されている命令は、例えば命令が実行されると、１または複数のプログラム可能プロセッサまたは他のプロセッサに方法を実行させ得る。コンピュータ可読記憶媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）・ディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体を含み得る。
例示的な実施では、本開示に記述されている技術は、一部ハードウェア、ファームウェア、および／またはソフトウェアによって部分で実行されるに関わらず、ディジタル映像符号化ハードウェア装置によって実行され得る。
様々な側面および例が記述された。しかしながら、以下の請求項の範囲から外れずに、本開示の構造または技術への変更が可能である。
様々な側面および例が記述された。しかしながら、以下の請求項の範囲から外れずに、本開示の構造または技術への変更が可能である。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、
映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化することと、
を具備する方法。
［２］前記不明瞭性レベルを推定することが、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成することを具備する、
［１］の方法。
［３］符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択することを具備する、
［１］の方法。
［４］量子化のレベルを選択することが、
第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
を具備し、
前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［３］の方法。
［５］符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択することを具備する、
［１］の方法。
［６］パーティション・サイズを選択することが、
第１被推定不明瞭性レベルのための第１パーティションを選択することと、
第２被推定不明瞭性レベルのための第２パーティションを選択することと、
を具備し、
前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［５］の方法。
［７］符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択することを具備する、
［１］の方法。
［８］ピクセル精度レベルを選択することが、
第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
を具備し、
前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［７］の方法。
［９］符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択することを具備する、
［１］の方法。
［１０］１組の参照フレームを選択することが、
第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
を具備し、
前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［９］の方法。
［１１］符号化することが、
前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
の一方を具備する、［１］の方法。
［１２］映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定する映像キャプチャ・モジュールと、
前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化する映像符号化器と、
を具備するシステム。
［１３］前記映像キャプチャ・モジュールが、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成することによって前記不明瞭性レベルを推定する、
［１２］のシステム。
［１４］前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択することによって前記フレームを符号化する、
［１２］のシステム。
［１５］前記符号化器が、
第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
によって量子化のレベルを選択し、
前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［１４］のシステム。
［１６］前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択することによって前記フレームを符号化する、
［１２］のシステム。
［１７］前記符号化器が、
第１被推定不明瞭性レベルのための第１パーティションを選択することと、
第２被推定不明瞭性レベルのための第２パーティションを選択することと、
によってパーティション・サイズを選択し、
前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［１６］のシステム。
［１８］前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択することによって前記フレームを符号化する、
［１２］のシステム。
［１９］前記符号化器が、
第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
によってピクセル精度レベルを選択し、
前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［１８］のシステム。
［２０］前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択することによって前記フレームを符号化する、
［１２］のシステム。
［２１］前記符号化器が、
第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
によって１組の参照フレームを選択し、
前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［２０］のシステム。
［２２］前記符号化器が、
前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
の一方によって前記フレームを符号化する、［１２］のシステム。
［２３］映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、
映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化することと、
をプログラム可能プロセッサに実行させる命令を具備するコンピュータ可読媒体。
［２４］前記不明瞭性レベルを推定するための命令が、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成するための命令を具備する、
［２３］のコンピュータ可読媒体。
［２５］符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択するための命令を具備する、
［２３］のコンピュータ可読媒体。
［２６］量子化のレベルを選択するための命令が、
第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
のための命令を具備し、
前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［２５］のコンピュータ可読媒体。
［２７］符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択するための命令を具備する、
［２３］のコンピュータ可読媒体。
［２８］パーティション・サイズを選択するための命令が、
第１被推定不明瞭性レベルのための第１パーティションを選択することと、
より小さな第２被推定不明瞭性レベルのための第２パーティションを選択することと、
のための命令を具備し、
前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［２７］のコンピュータ可読媒体。
［２９］符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択するための命令を具備する、
［２３］のコンピュータ可読媒体。
［３０］ピクセル精度レベルを選択するための命令が、
第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
のための命令を具備し、
前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［２９］のコンピュータ可読媒体。
［３１］符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択するための命令を具備する、
［２３］のコンピュータ可読媒体。
［３２］１組の参照フレームを選択するための命令が、
第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
のための命令を具備し、
前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［３１］のコンピュータ可読媒体。
［３３］符号化するための命令が、
前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
の一方のための命令を具備する、［２３］のコンピュータ可読媒体。
［３４］映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定するための手段と、
映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化するための手段と、
を具備するシステム。
［３５］前記不明瞭性レベルを推定するための手段が、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成するための手段を具備する、
［３４］のシステム。
［３６］符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択するための手段を具備する、
［３４］のシステム。
［３７］量子化のレベルを選択するための手段が、
第１被推定不明瞭性レベルのための第１量子化レベルを選択するための手段と、
第２被推定不明瞭性レベルのための第２量子化レベルを選択するための手段と、
を具備し、
前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［３６］のシステム。
［３８］符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択するための手段を具備する、
［３４］のシステム。
［３９］パーティション・サイズを選択するための手段が、
第１被推定不明瞭性レベルのための第１パーティションを選択するための手段と、
第２被推定不明瞭性レベルのための第２パーティションを選択するための手段と、
を具備し、
前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［３８］のシステム。
［４０］符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択するための手段を具備する、
［３４］のシステム。
［４１］ピクセル精度レベルを選択するための手段が、
第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択するための手段と、
第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択するための手段と、
を具備し、
前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［４０］のシステム。
［４２］符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択するための手段を具備する、
［３４］のシステム。
［４３］１組の参照フレームを選択するための手段が、
第１被推定不明瞭性レベルのための参照フレームの第１組を選択するための手段と、
第２被推定不明瞭性レベルのための参照フレームの第２組を選択するための手段と、
を具備し、
前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
［４２］のシステム。
［４４］符号化するための手段が、
前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄するための手段と、
前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化するための手段と、
の一方を具備する、［３４］のシステム。

Claims (44)

  1. 映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、
    映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化することと、
    を具備する方法。
  2. 前記不明瞭性レベルを推定することが、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成することを具備する、
    請求項１の方法。
  3. 符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択することを具備する、
    請求項１の方法。
  4. 量子化のレベルを選択することが、
    第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
    第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
    を具備し、
    前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項３の方法。
  5. 符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択することを具備する、
    請求項１の方法。
  6. パーティション・サイズを選択することが、
    第１被推定不明瞭性レベルのための第１パーティションを選択することと、
    第２被推定不明瞭性レベルのための第２パーティションを選択することと、
    を具備し、
    前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項５の方法。
  7. 符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択することを具備する、
    請求項１の方法。
  8. ピクセル精度レベルを選択することが、
    第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
    第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
    を具備し、
    前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項７の方法。
  9. 符号化することが、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択することを具備する、
    請求項１の方法。
  10. １組の参照フレームを選択することが、
    第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
    第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
    を具備し、
    前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項９の方法。
  11. 符号化することが、
    前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
    前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
    の一方を具備する、請求項１の方法。
  12. 映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定する映像キャプチャ・モジュールと、
    前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化する映像符号化器と、
    を具備するシステム。
  13. 前記映像キャプチャ・モジュールが、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成することによって前記不明瞭性レベルを推定する、
    請求項１２のシステム。
  14. 前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択することによって前記フレームを符号化する、
    請求項１２のシステム。
  15. 前記符号化器が、
    第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
    第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
    によって量子化のレベルを選択し、
    前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項１４のシステム。
  16. 前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択することによって前記フレームを符号化する、
    請求項１２のシステム。
  17. 前記符号化器が、
    第１被推定不明瞭性レベルのための第１パーティションを選択することと、
    第２被推定不明瞭性レベルのための第２パーティションを選択することと、
    によってパーティション・サイズを選択し、
    前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項１６のシステム。
  18. 前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択することによって前記フレームを符号化する、
    請求項１２のシステム。
  19. 前記符号化器が、
    第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
    第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
    によってピクセル精度レベルを選択し、
    前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項１８のシステム。
  20. 前記符号化器が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択することによって前記フレームを符号化する、
    請求項１２のシステム。
  21. 前記符号化器が、
    第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
    第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
    によって１組の参照フレームを選択し、
    前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項２０のシステム。
  22. 前記符号化器が、
    前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
    前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
    の一方によって前記フレームを符号化する、請求項１２のシステム。
  23. 映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定することと、
    映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化することと、
    をプログラム可能プロセッサに実行させる命令を具備するコンピュータ可読媒体。
  24. 前記不明瞭性レベルを推定するための命令が、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成するための命令を具備する、
    請求項２３のコンピュータ可読媒体。
  25. 符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択するための命令を具備する、
    請求項２３のコンピュータ可読媒体。
  26. 量子化のレベルを選択するための命令が、
    第１被推定不明瞭性レベルのための第１量子化レベルを選択することと、
    第２被推定不明瞭性レベルのための第２量子化レベルを選択することと、
    のための命令を具備し、
    前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項２５のコンピュータ可読媒体。
  27. 符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択するための命令を具備する、
    請求項２３のコンピュータ可読媒体。
  28. パーティション・サイズを選択するための命令が、
    第１被推定不明瞭性レベルのための第１パーティションを選択することと、
    より小さな第２被推定不明瞭性レベルのための第２パーティションを選択することと、
    のための命令を具備し、
    前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項２７のコンピュータ可読媒体。
  29. 符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択するための命令を具備する、
    請求項２３のコンピュータ可読媒体。
  30. ピクセル精度レベルを選択するための命令が、
    第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択することと、
    第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択することと、
    のための命令を具備し、
    前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項２９のコンピュータ可読媒体。
  31. 符号化するための命令が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択するための命令を具備する、
    請求項２３のコンピュータ可読媒体。
  32. １組の参照フレームを選択するための命令が、
    第１被推定不明瞭性レベルのための参照フレームの第１組を選択することと、
    第２被推定不明瞭性レベルのための参照フレームの第２組を選択することと、
    のための命令を具備し、
    前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項３１のコンピュータ可読媒体。
  33. 符号化するための命令が、
    前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄することと、
    前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化することと、
    の一方のための命令を具備する、請求項２３のコンピュータ可読媒体。
  34. 映像キャプチャ・モジュールにおいて、前記映像キャプチャ・モジュールの再焦点合わせ工程の間、キャプチャされた映像データのフレームの不明瞭性レベルを推定するための手段と、
    映像符号化器において、前記フレームの前記被推定不明瞭性レベルに少なくとも一部基づいて前記フレームを符号化するための手段と、
    を具備するシステム。
  35. 前記不明瞭性レベルを推定するための手段が、前記フレームと関連するフォーカス値に基づいて前記不明瞭性レベルの前記推定値を生成するための手段を具備する、
    請求項３４のシステム。
  36. 符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される量子化のレベルを選択するための手段を具備する、
    請求項３４のシステム。
  37. 量子化のレベルを選択するための手段が、
    第１被推定不明瞭性レベルのための第１量子化レベルを選択するための手段と、
    第２被推定不明瞭性レベルのための第２量子化レベルを選択するための手段と、
    を具備し、
    前記第１量子化レベルは前記第２量子化レベルより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項３６のシステム。
  38. 符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるパーティション・サイズを選択するための手段を具備する、
    請求項３４のシステム。
  39. パーティション・サイズを選択するための手段が、
    第１被推定不明瞭性レベルのための第１パーティションを選択するための手段と、
    第２被推定不明瞭性レベルのための第２パーティションを選択するための手段と、
    を具備し、
    前記第１パーティションは前記第２パーティションより大きく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項３８のシステム。
  40. 符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用されるピクセル精度レベルを選択するための手段を具備する、
    請求項３４のシステム。
  41. ピクセル精度レベルを選択するための手段が、
    第１被推定不明瞭性レベルのための第１ピクセル精度レベルを選択するための手段と、
    第２被推定不明瞭性レベルのための第２ピクセル精度レベルを選択するための手段と、
    を具備し、
    前記第１ピクセル精度レベルは前記第２ピクセル精度レベルより低く、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項４０のシステム。
  42. 符号化するための手段が、前記被推定不明瞭性レベルに基づいて前記フレームを符号化するために使用される１組の参照フレームを選択するための手段を具備する、
    請求項３４のシステム。
  43. １組の参照フレームを選択するための手段が、
    第１被推定不明瞭性レベルのための参照フレームの第１組を選択するための手段と、
    第２被推定不明瞭性レベルのための参照フレームの第２組を選択するための手段と、
    を具備し、
    前記参照フレームの第１組は前記参照フレームの第２組より小さく、前記第１被推定不明瞭性レベルは前記第２被推定不明瞭性レベルより大きい、
    請求項４２のシステム。
  44. 符号化するための手段が、
    前記被推定不明瞭性レベルが閾値を越える場合に前記フレームを廃棄するための手段と、
    前記被推定不明瞭性レベルが前記閾値を越える場合にスキップ・モードを使用して前記フレームを符号化するための手段と、
    の一方を具備する、請求項３４のシステム。
JP2012537915A 2009-11-06 2010-10-26 画像キャプチャ・パラメータに基づいた映像符号化の制御 Expired - Fee Related JP5591942B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25891309P 2009-11-06 2009-11-06
US61/258,913 2009-11-06
US12/774,491 2010-05-05
US12/774,491 US10178406B2 (en) 2009-11-06 2010-05-05 Control of video encoding based on one or more video capture parameters
PCT/US2010/054149 WO2011056601A2 (en) 2009-11-06 2010-10-26 Control of video encoding based on image capture parameters

Publications (2)

Publication Number Publication Date
JP2013510505A true JP2013510505A (ja) 2013-03-21
JP5591942B2 JP5591942B2 (ja) 2014-09-17

Family

ID=43413677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012537915A Expired - Fee Related JP5591942B2 (ja) 2009-11-06 2010-10-26 画像キャプチャ・パラメータに基づいた映像符号化の制御

Country Status (6)

Country Link
US (1) US10178406B2 (ja)
EP (1) EP2497270A2 (ja)
JP (1) JP5591942B2 (ja)
KR (1) KR101375892B1 (ja)
CN (1) CN102598665A (ja)
WO (1) WO2011056601A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754904B2 (en) * 2011-04-03 2014-06-17 Lucidlogix Software Solutions, Ltd. Virtualization method of vertical-synchronization in graphics systems
US8761094B2 (en) 2009-07-22 2014-06-24 Qualcomm Incorporated Method and apparatus that facilitates interference cancellation for control channels in heterogenous networks
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
WO2011086836A1 (ja) * 2010-01-12 2011-07-21 シャープ株式会社 符号化装置、復号装置、および、データ構造
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US10148974B2 (en) * 2011-03-10 2018-12-04 Sharp Kabushiki Kaisha Image decoding device, image encoding device, and data structure of encoded data
US8964056B2 (en) * 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
JP6021306B2 (ja) * 2011-07-25 2016-11-09 キヤノン株式会社 撮像装置およびその制御方法
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
KR102365946B1 (ko) 2012-08-15 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
TWI578780B (zh) * 2014-10-02 2017-04-11 晶睿通訊股份有限公司 模糊影像偵測方法及其相關攝影機和影像處理系統
US10462480B2 (en) * 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
WO2018076370A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 一种视频帧的处理方法及设备
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技（深圳）有限公司 视频编码处理方法、装置及电子设备
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置
CN111567044A (zh) * 2019-03-13 2020-08-21 北京大学 一种视频处理方法、装置、编码设备及解码设备
US20230141888A1 (en) * 2020-04-08 2023-05-11 Google Llc Bicriteria Block Splitting Heuristic For Lossy Compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121224A (ja) * 2004-10-19 2006-05-11 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2006197005A (ja) * 2005-01-11 2006-07-27 Sharp Corp 画像符号化装置および符号化方法
JP2008511211A (ja) * 2004-08-18 2008-04-10 クゥアルコム・インコーポレイテッド 符号器補助式適応ビデオフレーム内挿法
JP2008160189A (ja) * 2006-12-20 2008-07-10 Fujifilm Corp 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US304681A (en) * 1884-09-02 And enoch j
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
JP3752510B2 (ja) * 1996-04-15 2006-03-08 イーストマン コダック カンパニー 画像の自動被写体検出方法
GB9619117D0 (en) * 1996-09-12 1996-10-23 Pandora Int Ltd Digital image processing
US6295379B1 (en) * 1997-09-29 2001-09-25 Intel Corporation DPCM image compression with plural quantization table levels
US6822758B1 (en) * 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
AU2001279269A1 (en) 2000-06-26 2002-01-08 Alan S. Rojer Use of image detail to select and classify variably-sized pixel blocks for motion estimation
GB0029880D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US7084909B2 (en) * 2001-01-24 2006-08-01 Olympus Corporation Electronic camera, imaging system and imaging method
KR100393066B1 (ko) 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
JP4497761B2 (ja) 2001-07-18 2010-07-07 キヤノン株式会社 画像処理装置及びインデックス作成方法
US7313183B2 (en) * 2003-06-24 2007-12-25 Lsi Corporation Real time scene change detection in video sequences
US7304681B2 (en) 2004-01-21 2007-12-04 Hewlett-Packard Development Company, L.P. Method and apparatus for continuous focus and exposure in a digital imaging device
US7720148B2 (en) * 2004-03-26 2010-05-18 The Hong Kong University Of Science And Technology Efficient multi-frame motion estimation for video compression
KR100668303B1 (ko) 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US7463755B2 (en) 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
JP4418342B2 (ja) 2004-10-13 2010-02-17 オリンパス株式会社 画像処理装置及び電子カメラ
JP4541825B2 (ja) * 2004-10-15 2010-09-08 キヤノン株式会社 動画像符号化装置及びその制御方法
US8115728B2 (en) 2005-03-09 2012-02-14 Sharp Laboratories Of America, Inc. Image display device with reduced flickering and blur
US20060171569A1 (en) 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
JP4419084B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 制御装置および方法、プログラム、並びにカメラ
JP4886210B2 (ja) 2005-04-21 2012-02-29 キヤノン株式会社 撮像装置
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
WO2007007225A2 (en) 2005-07-12 2007-01-18 Nxp B.V. Method and device for removing motion blur effects
JP4817990B2 (ja) * 2005-08-17 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP4887750B2 (ja) 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
JP4655957B2 (ja) 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
JP2007272684A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 画像整理装置および方法ならびにプログラム
JP4655991B2 (ja) 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
TWI311679B (en) * 2006-04-28 2009-07-01 Primax Electronics Ltd A method of evaluating minimum sampling steps of auto focus
WO2007142646A1 (en) 2006-06-08 2007-12-13 Thomson Licensing Scene change detection for video
JP2008009340A (ja) 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
KR100803611B1 (ko) 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US7667739B2 (en) * 2006-12-15 2010-02-23 Mediatek Inc. Brightness adjusting methods for video frames of video sequence by applying scene change detection and/or blinking detection and brightness adjusting devices thereof
US8564687B2 (en) 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
JP2009054130A (ja) 2007-07-27 2009-03-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
KR101341095B1 (ko) * 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
US20090060373A1 (en) 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
EP2241111A1 (en) 2008-01-07 2010-10-20 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP5153674B2 (ja) 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US7573305B1 (en) * 2008-03-03 2009-08-11 Hrl Laboratories, Llc High speed divider circuit
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
JP5217600B2 (ja) 2008-04-22 2013-06-19 ソニー株式会社 撮像装置
US8094714B2 (en) 2008-07-16 2012-01-10 Sony Corporation Speculative start point selection for motion estimation iterative search
JP4840426B2 (ja) 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
US8879637B2 (en) * 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
CN102349297B (zh) 2009-03-13 2014-01-22 汤姆森特许公司 在基于块压缩的图像中的模糊量测
JP5177284B2 (ja) 2009-03-30 2013-04-03 富士通株式会社 被写体動き検出装置および方法
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008511211A (ja) * 2004-08-18 2008-04-10 クゥアルコム・インコーポレイテッド 符号器補助式適応ビデオフレーム内挿法
JP2006121224A (ja) * 2004-10-19 2006-05-11 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2006197005A (ja) * 2005-01-11 2006-07-27 Sharp Corp 画像符号化装置および符号化方法
JP2008160189A (ja) * 2006-12-20 2008-07-10 Fujifilm Corp 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置

Also Published As

Publication number Publication date
EP2497270A2 (en) 2012-09-12
KR101375892B1 (ko) 2014-03-19
KR20120074330A (ko) 2012-07-05
CN102598665A (zh) 2012-07-18
US10178406B2 (en) 2019-01-08
WO2011056601A3 (en) 2011-06-30
US20110110420A1 (en) 2011-05-12
WO2011056601A2 (en) 2011-05-12
JP5591942B2 (ja) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5591942B2 (ja) 画像キャプチャ・パラメータに基づいた映像符号化の制御
JP5908581B2 (ja) 画像キャプチャパラメータに基づくビデオ符号化の制御
US8837576B2 (en) Camera parameter-assisted video encoding
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
US10091507B2 (en) Perceptual optimization for model-based video encoding
US20170070745A1 (en) Perceptual Optimization for Model-Based Video Encoding
US20130027581A1 (en) Adaptive auto exposure adjustment
US9294764B2 (en) Video encoder with intra-prediction candidate screening and methods for use therewith
CA2960617A1 (en) Perceptual optimization for model-based video encoding
WO2007084475A2 (en) Methods and apparatus for low complexity error resilient motion estimation and coding mode selection
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
JP5649296B2 (ja) 画像符号化装置
WO2006025904A1 (en) Fast motion estimation for multiple reference pictures
EP2899975A1 (en) Video encoder with intra-prediction pre-processing and methods for use therewith
WO2015015404A2 (en) A method and system for determining intra mode decision in h.264 video coding
JP4281667B2 (ja) 画像符号化装置
JP2009232324A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
KR101036137B1 (ko) 비디오 부호화를 위한 다중 참조 프레임 선택방법
KR20090037288A (ko) 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
da Fonseca et al. Complexity-constrained H. 264 HD video coding through mode ranking
JP6016484B2 (ja) 符号化装置
Tsang et al. New weighted prediction architecture for coding scenes with various fading effects image and video processing
JP2011234045A (ja) 画像符号化装置及び画像符号化方法
JP2016021681A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131016

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140730

R150 Certificate of patent or registration of utility model

Ref document number: 5591942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees