JP2016096398A - 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 - Google Patents

映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 Download PDF

Info

Publication number
JP2016096398A
JP2016096398A JP2014230182A JP2014230182A JP2016096398A JP 2016096398 A JP2016096398 A JP 2016096398A JP 2014230182 A JP2014230182 A JP 2014230182A JP 2014230182 A JP2014230182 A JP 2014230182A JP 2016096398 A JP2016096398 A JP 2016096398A
Authority
JP
Japan
Prior art keywords
frame
difference
video data
data processing
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014230182A
Other languages
English (en)
Other versions
JP6365253B2 (ja
Inventor
洋介 山口
Yosuke Yamaguchi
洋介 山口
俊輔 小林
Toshisuke Kobayashi
俊輔 小林
山下　和博
Kazuhiro Yamashita
和博 山下
恭雄 簾田
Yasuo Sumita
恭雄 簾田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014230182A priority Critical patent/JP6365253B2/ja
Priority to US14/920,387 priority patent/US9955172B2/en
Publication of JP2016096398A publication Critical patent/JP2016096398A/ja
Application granted granted Critical
Publication of JP6365253B2 publication Critical patent/JP6365253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画像劣化を抑止すること。
【解決手段】映像データ処理装置１００は、Ｐピクチャの生成に応じて、ＰＯＣ値をインクリメントする。映像データ処理装置１００は、ＰＯＣ値が第１閾値に達すると、連続する原画像データの比較により、前後のフレームの差分が所定以下であるか否かを、一致度を基に判定する。そして、映像データ処理装置１００は、前後のフレームの差分が所定以下であることを検出したタイミングで、ＩＤＲピクチャを生成して、符号化ストリーム情報に挿入する。
【選択図】図１

Description

本発明は、映像データ処理装置等に関する。
従来技術のリアルタイム映像伝送システムでは、映像を伝送する場合に、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを挿入し、続けてＰ（Predictive）ピクチャ等を挿入することが、規格で定められている。近年では、情報量がＩＤＲよりも少ないＰピクチャの情報量に合わせて、符号化バッファ量を減らすことで、低遅延化をはかる場合がある。
ここで、ＩＤＲピクチャを挿入するタイミングは、ＰＯＣ（Picture Order Count）値が最大となるタイミングとなる。ＰＯＣ値は、映像を符号化してＰピクチャを生成する度にカウントアップする値であり、ＩＤＲピクチャが挿入されると、ＰＯＣ値は初期値にリセットされる。従来技術では、ＰＯＣ値がオーバーフローする前に、ＩＤＲピクチャを挿入する。
図７は、従来技術のＩＤＲピクチャを挿入するタイミングを説明するための図である。一例として、Ｐピクチャ１０〜１７が順次挿入され、Ｐピクチャ１７が挿入されたタイミングのＰＯＣ値が９９９となり、ピクチャ１８を生成するタイミングでＰＯＣ値が１０００となり、ＰＯＣ値が最大となったものとする。この場合には、Ｐピクチャ１７の次に、ＩＤＲピクチャ１８を挿入し、ＰＯＣ値がリセットされる。図示を省略するが、ＩＤＲピクチャ１８の後に、Ｐピクチャが順次挿入され、上記処理を繰り返し実行する。なお、ＰＯＣ値の最大値は適宜変更可能である。図７では一例としてＰＯＣ値の最大値を１０００として説明したが、これに限定されるものではない。
特開２０１３−２４３４８０号公報 特開２００９−８１８９８号公報 特開２００８−１５４１８７号公報 特開２００９−２９０４６３号公報 米国特許出願公開第２００５／００３１０３０号明細書 米国特許出願公開第２００８／０１５２０１２号明細書 米国特許出願公開第２００９／０２９６８０９号明細書
しかしながら、上述した従来技術では、画像劣化を抑止することができないという問題がある。
ＩＤＲピクチャは、画面内予測のみで符号化を行うため、画面間予測を用いるＰピクチャと比較して、情報量が大きくなる。ここで、例えば、低遅延を実現するために、Ｐピクチャの情報量に合わせて符号化バッファ量を小さくすると、ＩＤＲピクチャに十分な情報量を割り当てることができない場合がある。これによって、情報量が不足するＩＤＲピクチャを挿入すると、係るＩＤＲピクチャを基に復号する画像が劣化してしまう。規格上、ＩＤＲピクチャは、ＰＯＣ値がオーバーフローする前に順次挿入されるため、画像劣化を抑止することができない。
１つの側面では、画像劣化を抑止することができる映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法を提供することを目的とする。
第１の案では、映像データ処理装置は、制御部を有する。制御部は、動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成する。制御部は、生成した差分フレームが第１の数に達すると、下記の処理を行う。制御部は、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する。
本発明の１実施態様によれば、画像劣化を抑止することができる。
図１は、本実施例１に係る映像データ処理装置の構成を示す機能ブロック図である。 図２は、ＩＤＲピクチャを挿入するタイミングを説明するための図である。 図３は、本実施例１に係る映像データ処理装置の処理手順を示すフロ−チャートである。 図４は、本実施例２に係る映像データ処理装置の構成を示す機能ブロック図である。 図５は、本実施例２に係る映像データ処理装置の処理手順を示すフローチャートである。 図６は、映像データ処理プログラムを実行するコンピュータの一例を示す図である。 図７は、従来技術のＩＤＲピクチャを挿入するタイミングを説明するための図である。
以下に、本願の開示する映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施例１に係る映像データ処理装置の構成の一例について説明する。図１は、本実施例１に係る映像データ処理装置の構成を示す機能ブロック図である。図１に示すように、この映像データ処理装置１００は、通信部１１０、入力部１２０、記憶部１３０、制御部１４０を有する。
通信部１１０は、ネットワークを介して図示しない外部装置とデータを送受信する装置である。通信部１１０は、通信装置等に対応する。通信部１１０は、後述する制御部１４０から符号ストリーム情報を取得し、取得した符号ストリーム情報を宛先となる外部装置に送信する。
入力部１２０は、映像データ処理装置１００に各種の情報を入力するための入力インターフェースである。例えば、入力部１２０により、ビデオレート、閾値データ、原画像データ等が、映像データ処理装置１００に入力される。
記憶部１３０は、閾値データ１３１、第１バッファ１３２、第２バッファ１３３を有する。記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。
閾値データ１３１は、後述する符号化部１４２が各種の判定を行う場合に用いる閾値データである。例えば、閾値データ１３１には、第１閾値、第２閾値、第３閾値、第４閾値が含まれる。第１閾値、第２閾値、第３閾値、第４閾値に関する説明は後述する。
第１バッファ１３２は、入力部１２０から入力される原画像データを蓄積するバッファである。第２バッファ１３３は、制御部１４０によって作成される符号ストリーム情報を蓄積するバッファである。ここでは一例として、第１バッファ１３２、第２バッファ１３３とを分けて示すが、第１バッファ１３２および第２バッファ１３３は統合されてもよい。
制御部１４０は、取得部１４１、符号化部１４２、ＰＯＣ値カウント部１４３、特徴量抽出部１４４、送信部１４５を有する。制御部１４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
取得部１４１は、入力部１２０から各種の情報を取得し、取得した情報を記憶部１３０に格納する処理部である。例えば、取得部１４１は、閾値データ１３１を取得した場合には、閾値データ１３１を記憶部１３０に格納する。取得部１４１は、原画像データを取得した場合には、取得した原画像データを第１バッファ１３２に蓄積する。
符号化部１４２は、第１バッファ１３２に蓄積された原画像データを符号化することで、符号化ストリーム情報を生成し、生成した符号化ストリーム情報を、第２バッファ１３３に蓄積する処理部である。例えば、符号化部１４２は、符号化ストリーム情報として、はじめにＩ（Intra-coded）ピクチャを生成し、順次Ｐ（Predictive）ピクチャを生成する。そして、所定の条件を満たしたタイミングで、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを生成し、生成したＩＤＲピクチャを符号化ストリーム情報に挿入する。符号化部１４２が、ＩＤＲピクチャを挿入するタイミングに関する説明は後述する。符号化部１４２は、ＩＤＲピクチャを挿入した後に、順次Ｐピクチャを生成、上記処理を繰り返し実行する。
符号化部１４２の画像符号化圧縮方式は、Ｈ．２６４／ＭＰＥＧ４（Moving Picture Experts Group phase 4）ＡＶＣ（Advanced Video Cording）や、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の画像符号化方式に準拠する。すなわち、符号化部１４２は、Ｈ．２６４／ＭＰＥＧ４、Ｈ．２６５／ＨＥＶＣ等の画像符号化方式に基づいて、第１バッファ１３２の原画像データを符号化し、Ｉピクチャ、Ｐピクチャ、ＩＤＲピクチャを生成する。
例えば、Ｉピクチャは、原画像データのフレーム内の全画像を符号化した情報である。Ｐピクチャは、ＩフレームまたはＩＤＲフレームに対応するフレーム内の画像と相違する部分画像を符号化した情報である。ＩＤＲピクチャは、Ｉピクチャと同様にして、原画像データのフレーム内の全画像を符号化した情報であるが、Ｉピクチャと区別される。
ＰＯＣ値カウント部１４３は、ＰＯＣ値をカウントし、カウントしたＰＯＣ値を符号化部１４２に通知する処理部である。例えば、ＰＯＣ値カウント部１４３は、符号化部１４２が、Ｐピクチャを生成する度に、ＰＯＣ値をインクリメントする。ＰＯＣ値の初期値を０とする。また、ＰＯＣ値カウント部１４３は、符号化部１４２が、ＩＤＲピクチャを生成した場合に、ＰＯＣ値を初期値にリセットする。
特徴量抽出部１４４は、第１バッファ１３２に格納された原画像データと、この原画像データの１フレーム前の原画像データとを比較して、特徴量を抽出し、抽出した特徴量の情報を、符号化部１４２に通知する処理部である。以下の説明では、比較対象とする各原画像データを、第１原画像データ、第２原画像データと表記する。例えば、第１原画像データは、符号化部１４２が符号化対象とする原画像データであり、第２原画像データは、第１原画像データの１フレーム前の原画像データとする。
特徴量抽出部１４４は、第１原画像データと第２原画像データとの一致度を特徴量として算出する。一致度は、第１原画像データと第２原画像データとがどの程度一致するかを示す値である。特徴量抽出部１４４は、例えば、式（１）によって一致度を算出する。式（１）において、ｍは、原画像データの水平方向の画素数を示す。ｎは、原画像データの垂直方向の画素数を示す。ａ（ｉ，ｊ）は、第１原画像データの座標（ｉ，ｊ）の画素値を示す。ｂ（ｉ，ｊ）は、第２原画像データの座標（ｉ，ｊ）の画素値を示す。
一致度＝１／（ｍ×ｎ）×Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜＾２・・・（１）
ところで、特徴量抽出部１４４は、式（２）または式（３）を用いて、一致度を算出してもよい。
一致度＝１／（１／（ｍ×ｎ）×Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜＾２）・・・（２）
一致度＝１／（Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜）・・・（３）
送信部１４５は、第２バッファ１３３に蓄積された符号化ストリーム情報を取り出し、取り出した符号化ストリーム情報を通信部１１０に出力する処理部である。
次に、上述した符号化部１４２が、ＩＤＲピクチャを挿入するタイミングを判定する処理について説明する。例えば、符号化部１４２が、ＰＯＣ値が第１閾値よりも大きい場合に、ＩＤＲピクチャを挿入するタイミングを判定する処理に移行する。
ＩＤＲピクチャを挿入するタイミングを判定する処理に移行した後、符号化部１４２は、ＰＯＣ値が第２閾値よりも大きい場合には、ＩＤＲピクチャを挿入するタイミングであると判定する。第２閾値は、第１閾値よりも大きい閾値であり、例えば、ＰＯＣ値が取り得る最大値に対応する。第１閾値、第２閾値は、管理者が適宜設定可能である。
符号化部１４２は、ＰＯＣ値が第２閾値以下である場合には、一致度に基づいて、第１原画像データと第２原画像データとがある基準以上に一致しているか否かを判定する。例えば、符号化部１４２は、一致度が第３閾値以上である場合に、第１原画像データと第２原画像データとがある基準以上に一致していると判定する。
符号化部１４２は、第１原画像データと第２原画像データがある基準以上に一致していると判定した場合には、更に、符号化バッファ占有率を特定する。例えば、符号化バッファは、符号化部１４２が、符号化を行う場合に、第１原画像データを格納するバッファである。符号化バッファ占有率は、係る符号化バッファにしめる、符号化対象の第１原画像データの情報量を基に求められる値である。符号化部１４２は、符号化バッファ率が閾値４以上である場合に、ＩＤＲピクチャを挿入するタイミングであると判定する。符号化部１４２は、第１原画像データを基にして、ＩＤＲピクチャを生成し、符号化ストリーム情報に、ＩＤＲピクチャを挿入する。
図２は、ＩＤＲピクチャを挿入するタイミングを説明するための図である。図２の符号ストリーム情報２０には、複数の符号化されたピクチャが挿入されている。例えば、符号化部１４２は、ピクチャ２０ａを生成する時点で、一致度が第３閾値以上となり、かつ、バッファ占有率が第４閾値以上となる場合には、ＰＯＣ値が第４閾値に達していなくても、ピクチャ２０ａを、ＩＤＲピクチャ２０ａとして挿入する。
ここで、第１原画像データと第２原画像データとがある基準以上に一致している場合には、類似の画像データが連続していることを意味するので、情報量が比較的少ないＩＤＲピクチャを挿入しても違和感が少なく、画像劣化の影響を受けにくい。また、符号化バッファ占有率が大きいと、利用できる限りの情報量を含んだＩＤＲピクチャが生成されるため、画像劣化を最小限に抑えることができる。
次に、本実施例１に係る映像データ処理装置１００の処理手順について説明する。図３は、本実施例１に係る映像データ処理装置の処理手順を示すフロ−チャートである。例えば、映像データ処理装置１００は、原画像データを符号化する度に、図３に示す処理を実行する。
図３に示すように、映像データ処理装置１００の符号化部１４２は、現在のＰＯＣ値が、第１閾値よりも小さいか否かを判定する（ステップＳ１０１）。符号化部１４２は、現在のＰＯＣ値が、第１閾値よりも小さい場合には（ステップＳ１０１，Ｙｅｓ）、処理を終了する。
一方、符号化部１４２は、現在のＰＯＣ値が、第１閾値以上である場合には（ステップＳ１０１，Ｎｏ）、現在のＰＯＣ値が、第２閾値よりも小さいか否かを判定する（ステップＳ１０２）。符号化部１４２は、現在のＰＯＣ値が、第２閾値以上である場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０７に移行する。
一方、符号化部１４２は、現在のＰＯＣ値が、第２閾値よりも小さい場合には（ステップＳ１０２，Ｙｅｓ）、映像データ処理装置１００の特徴量抽出部１４４は、一致度を算出する（ステップＳ１０３）。符号化部１４２は、一致度が第３閾値以上であるか否かを判定する（ステップＳ１０４）。
符号化部１４２は、一致度が第３閾値以上でない場合には（ステップＳ１０４，Ｎｏ）、処理を終了する。一方、符号化部１４２は、一致度が第３閾値以上である場合には（ステップＳ１０４，Ｙｅｓ）、符号化バッファ占有率を特定する（ステップＳ１０５）。符号化部１４２は、符号化バッファ占有率が第４閾値以上であるか否かを判定する（ステップＳ１０６）。
符号化部１４２は、符号化バッファ占有率が第４閾値以上でない場合には（ステップＳ１０６，Ｎｏ）、処理を終了する。符号化部１４２は、符号化バッファ占有率が第４閾値以上の場合には（ステップＳ１０６，Ｙｅｓ）、ＩＤＲフレームを挿入する（ステップＳ１０７）。
次に、本実施例１に係る映像データ処理装置１００の効果について説明する。映像データ処理装置１００は、ＰＯＣ値が第１閾値に達すると、連続する原画像データの比較により、前後のフレームの差分が所定以下であるか否かを、一致度を基に判定する。そして、映像データ処理装置１００は、前後のフレームの差分が所定以下であることを検出したタイミングで、ＩＤＲピクチャを生成して、符号化ストリーム情報に挿入する。これにより、ＩＤＲピクチャを挿入した場合の画像劣化を抑止することができる。例えば、第１原画像データと第２原画像データとの差分が所定以下の場合には、類似の画像データが連続していることを意味するので、ＩＤＲピクチャを挿入しても違和感が少なく、画像劣化の影響を受けにくい。
また、映像データ処理装置１００は、ＰＯＣ値が第１閾値を超えない場合には、ＩＤＲピクチャを生成せず、第１閾値よりも大きい第２閾値を超えた場合に、ＩＤＲピクチャを生成するため、短期間に、たくさんのＩＤＲピクチャが挿入されることを防止しつつ、ＰＯＣ値がオーバーフローすることを防止することができる。
また、映像データ処理装置１００は、Ｐピクチャが生成される度に、ＰＯＣ値をインクリメントし、ＩＤＲピクチャが生成された場合には、ＰＯＣ値を初期値に戻す。このため、ＩＤＲピクチャを挿入するタイミングを正確に特定することができる。
本実施例２に係る映像データ処理装置の構成の一例について説明する。図４は、本実施例２に係る映像データ処理装置の構成を示す機能ブロック図である。図４に示すように、この映像データ処理装置２００は、通信部２１０、入力部２２０、記憶部２３０、制御部２４０を有する。
図４において、通信部２１０、入力部２２０、記憶部２３０に関する説明は、図１に示した通信部１１０、入力部１２０、記憶部１３０に関する説明と同様である。また、記憶部２３０に含まれる閾値データ２３１、第１バッファ２３２、第２バッファ２３３に関する説明は、閾値データ１３１、第１バッファ１３２、第２バッファ１３３に関する説明と同様である。なお、閾値データ１３１には、第３閾値の代わりに、第５閾値が含まれるものとする。
制御部２４０は、取得部２４１、符号化部２４２、ＰＯＣ値カウント部２４３、特徴量抽出部２４４、送信部２４５を有する。このうち、取得部２４１、ＰＯＣ値カウント部２４３、送信部２４５に関する説明は、図１に示した、取得部１４１、ＰＯＣ値カウント部１４３、送信部１４５に関する説明と同様である。
符号化部２４２がＩＤＲピクチャを挿入するタイミングを判定する処理については、図１に示した符号化部２４２と異なるが、その他の処理は、符号化部１４２と同様である。符号化部２４２が、ＩＤＲピクチャを挿入するタイミングに関する説明は後述する。
特徴量抽出部２４４は、第１バッファ１３２に格納された原画像データに基づいて、特徴量を抽出し、抽出した特徴量の情報を、符号化部２４２に通知する処理部である。
特徴量抽出部２４４は、原画像データの平坦度を特徴量として算出する。平坦度は、原画像データの各画素の画素値がいかに分散しているかを示す値である。特徴量抽出部２４４は、例えば、式（４）によって、平坦度を算出する。式（４）において、平均画素値は、原画像データの各画素の画素値の平均値である。ａ（ｉ，ｊ）は、原画像データの座標（ｉ，ｊ）の画素値を示す。
平坦度＝Σ（平均画素値−ａ（ｉ，ｊ））＾２・・・（４）
なお、特徴量抽出部２４４は、原画像データに離散コサイン変換（Discrete Cosine Transform）を行った場合の、ＤＣ成分の係数の割合に基づいて、平坦度を算出してもよい。
次に、上述した符号化部２４２が、ＩＤＲピクチャを挿入するタイミングを判定する処理について説明する。例えば、符号化部２４２が、ＰＯＣ値が第１閾値よりも大きい場合に、ＩＤＲピクチャを挿入するタイミングを判定する処理に移行する。
ＩＤＲピクチャを挿入するタイミングを判定する処理に移行した後、符号化部２４２は、ＰＯＣ値が第２閾値よりも大きい場合には、ＩＤＲピクチャを挿入するタイミングであると判定する。第２閾値は、第１閾値よりも大きい閾値であり、例えば、ＰＯＣ値が取り得る最大値に対応する。第１閾値、第２閾値は、管理者が適宜設定可能である。
符号化部２４２は、ＰＯＣ値が第２閾値以下である場合には、平坦度に基づいて、原画像データがある基準以上に平坦であるか否かを判定する。例えば、符号化部２４２は、平坦度が第５閾値よりも小さい場合に、原画像データがある基準以上に平坦であると判定する。
符号化部２４２は、原画像データがある基準以上に平坦であると判定した場合には、更に、符号化バッファ占有率を特定する。例えば、符号化バッファは、符号化部２４２が、符号化を行う場合に、原画像データを格納するバッファである。符号化バッファ占有率は、係る符号化バッファにしめる、符号化対象の原画像データの情報量を基に求められる値である。符号化部２４２は、符号化バッファ率が閾値４以上である場合に、ＩＤＲピクチャを挿入するタイミングであると判定する。符号化部２４２は、原画像データを基にして、ＩＤＲピクチャを生成し、符号化ストリーム情報に、ＩＤＲピクチャを挿入する。
ここで、原画像データがある基準値以上に平坦である場合には、原画像データには単純な画像が含まれていると考えられるため、情報量はそれほど大きくならない。このため、情報量を制限したＩＤＲピクチャを挿入しても、画面劣化を抑えることができる。
次に、本実施例２に係る映像データ処理装置２００の処理手順について説明する。図５は、本実施例２に係る映像データ処理装置の処理手順を示すフローチャートである。例えば、映像データ処理装置２００は、原画像データを符号化する度に、図５に示す処理を実行する。
図５に示すように、映像データ処理装置２００の符号化部２４２は、現在のＰＯＣ値が、第１閾値よりも小さいか否かを判定する（ステップＳ２０１）。符号化部２４２は、現在のＰＯＣ値が、第１閾値よりも小さい場合には（ステップＳ２０１，Ｙｅｓ）、処理を終了する。
一方、符号化部２４２は、現在のＰＯＣ値が、第１閾値以上である場合には（ステップＳ２０１，Ｎｏ）、現在のＰＯＣ値が、第２閾値よりも小さいか否かを判定する（ステップＳ２０２）。符号化部２４２は、現在のＰＯＣ値が、第２閾値以上である場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０７に移行する。
一方、符号化部２４２は、現在のＰＯＣ値が、第２閾値よりも小さい場合には（ステップＳ２０２，Ｙｅｓ）、映像データ処理装置２００の特徴量算出部２４４は、平坦度を算出する（ステップＳ２０３）。符号化部２４２は、平坦度が第５閾値より小さいか否かを判定する（ステップＳ２０４）。
符号化部２４２は、平坦度が第５閾値以上の場合には（ステップＳ２０４，Ｎｏ）、処理を終了する。一方、符号化部２４２は、平坦度が第５閾値より小さい場合には（ステップＳ２０４，Ｙｅｓ）、符号化バッファ占有率を特定する（ステップＳ２０５）。符号化部２４２は、符号化バッファ占有率が第４閾値以上であるか否かを判定する（ステップＳ２０６）。
符号化部２４２は、符号化バッファ占有率が第４閾値以上でない場合には（ステップＳ２０６，Ｎｏ）、処理を終了する。一方、符号化部２４２は、符号化バッファ占有率が第４閾値以上の場合には（ステップＳ２０６，Ｙｅｓ）、ＩＤＲフレームを挿入する（ステップＳ２０７）。
次に、本実施例２に係る映像データ処理装置２００の効果について説明する。映像データ処理装置２００は、ＰＯＣ値が第１閾値に達すると、符号化対象の原画像データが平坦であるか否かを判定する。そして、映像データ処理装置２００は、平坦であることを検出したタイミングで、ＩＤＲピクチャを生成して、符号化ストリーム情報に挿入する。これにより、ＩＤＲピクチャを挿入した場合の画像劣化を抑止することができる。例えば、原画像データがある基準値以上に平坦である場合には、原画像データには単純な画像が含まれていると考えられるため、情報量はそれほど大きくならない。このため、情報量を制限したＩＤＲピクチャを挿入しても、画面劣化を抑えることができる。
次に、上記実施例に示した映像データ処理装置１００，２００と同様の機能を実現する映像データ処理プログラムを実行するコンピュータの一例について説明する。図６は、映像データ処理プログラムを実行するコンピュータの一例を示す図である。
図６に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
ハードディスク装置３０７は、制御プログラム３０７ａを有する。ＣＰＵ３０１は、制御プログラム３０７ａを読み出して、ＲＡＭ３０６に展開する。制御プログラム３０７ａは、制御プロセス３０６ａとして機能する。例えば、制御プロセス３０６ａは、制御部１４０に対応する。
なお、制御プログラム３０７ａについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が制御プログラム３０７ａを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する制御部
を有することを特徴とする映像データ処理装置。
（付記２）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記１に記載の映像データ処理装置。
（付記３）前記制御部は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成する処理を更に実行することを特徴とする付記１または２に記載の映像データ処理装置。
（付記４）前記制御部は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く各差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記１、２または３に記載の映像データ処理装置。
（付記５）前記制御部は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記１に記載の映像データ処理装置。
（付記６）コンピュータが実行する映像データ処理方法であって、
動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
処理を実行することを特徴とする映像データ処理方法。
（付記７）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記６に記載の映像データ処理方法。
（付記８）前記生成する処理は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成することを特徴とする付記６または７に記載の映像データ処理方法。
（付記９）前記生成する処理は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記６、７または８に記載の映像データ処理方法。
（付記１０）前記生成する処理は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記６に記載の映像データ処理方法。
（付記１１）コンピュータが実行する映像データ処理プログラムであって、
動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
処理を実行させることを特徴とする映像データ処理プログラム。
（付記１２）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記１１に記載の映像データ処理プログラム。
（付記１３）前記生成する処理は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成することを特徴とする付記１１または１２に記載の映像データ処理プログラム。
（付記１４）前記生成する処理は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記１１、１２または１３に記載の映像データ処理プログラム。
（付記１５）前記生成する処理は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記１１に記載の映像データ処理プログラム。
１００，２００ 映像データ処理装置
１４０，２４０ 制御部

Claims (6)

  1. 動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する制御部
    を有することを特徴とする映像データ処理装置。
  2. 前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする請求項１に記載の映像データ処理装置。
  3. 前記制御部は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成する処理を更に実行することを特徴とする請求項１または２に記載の映像データ処理装置。
  4. 前記制御部は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く各差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする請求項１、２または３に記載の映像データ処理装置。
  5. コンピュータが実行する映像データ処理方法であって、
    動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
    生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
    処理を実行することを特徴とする映像データ処理方法。
  6. コンピュータが実行する映像データ処理プログラムであって、
    動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
    生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
    処理を実行させることを特徴とする映像データ処理プログラム。
JP2014230182A 2014-11-12 2014-11-12 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 Active JP6365253B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014230182A JP6365253B2 (ja) 2014-11-12 2014-11-12 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
US14/920,387 US9955172B2 (en) 2014-11-12 2015-10-22 Video data processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014230182A JP6365253B2 (ja) 2014-11-12 2014-11-12 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法

Publications (2)

Publication Number Publication Date
JP2016096398A true JP2016096398A (ja) 2016-05-26
JP6365253B2 JP6365253B2 (ja) 2018-08-01

Family

ID=55913263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014230182A Active JP6365253B2 (ja) 2014-11-12 2014-11-12 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法

Country Status (2)

Country Link
US (1) US9955172B2 (ja)
JP (1) JP6365253B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893275B2 (en) 2017-06-15 2021-01-12 Tencent Technology (Shenzhen) Company Ltd Video coding method, device, device and storage medium
CN116320536A (zh) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102509939B1 (ko) * 2015-10-13 2023-03-15 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 인코딩 방법
CN110737669A (zh) * 2019-10-18 2020-01-31 北京百度网讯科技有限公司 数据存储方法、装置、设备及存储介质
CN111175618B (zh) * 2019-12-31 2022-06-24 浙江黑卡电气有限公司 一种适用于同时处理红外和局放数据的局部相关性滤波方法
CN111405293B (zh) * 2020-03-20 2022-05-03 北京达佳互联信息技术有限公司 一种视频传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2006262159A (ja) * 2005-03-17 2006-09-28 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
JP2009081727A (ja) * 2007-09-26 2009-04-16 Canon Inc 画像符号化装置及びその制御方法、プログラム
JP2011193354A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ストリーム変換装置及びストリーム変換方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
JP5171662B2 (ja) 2002-04-16 2013-03-27 パナソニック株式会社 画像符号化方法および画像符号化装置
JP4355156B2 (ja) 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
JP4227643B2 (ja) 2006-12-20 2009-02-18 パナソニック株式会社 動画像符号化装置およびその方法
JP5195032B2 (ja) 2008-05-28 2013-05-08 富士通株式会社 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
JP2013243480A (ja) 2012-05-18 2013-12-05 Sony Corp 画像処理装置と画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2006262159A (ja) * 2005-03-17 2006-09-28 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
JP2009081727A (ja) * 2007-09-26 2009-04-16 Canon Inc 画像符号化装置及びその制御方法、プログラム
JP2011193354A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ストリーム変換装置及びストリーム変換方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893275B2 (en) 2017-06-15 2021-01-12 Tencent Technology (Shenzhen) Company Ltd Video coding method, device, device and storage medium
US11297328B2 (en) 2017-06-15 2022-04-05 Tencent Technology (Shenzhen) Company Ltd Video coding method, device, device and storage medium
CN116320536A (zh) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质
CN116320536B (zh) * 2023-05-16 2023-08-18 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP6365253B2 (ja) 2018-08-01
US20160134875A1 (en) 2016-05-12
US9955172B2 (en) 2018-04-24

Similar Documents

Publication Publication Date Title
JP6365253B2 (ja) 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
US9706203B2 (en) Low latency video encoder
JP7012747B2 (ja) ビデオフレーム符号化方法、端末、および記憶媒体
US11109038B2 (en) Intra-coded frame rate allocation method, computer device and storage medium
EP3029937B1 (en) Method and encoder for video encoding of a sequence of frames
US9262839B2 (en) Image processing device and image processing method
US20120027091A1 (en) Method and System for Encoding Video Frames Using a Plurality of Processors
WO2021093060A1 (zh) 一种视频编码方法、系统及设备
TW200803521A (en) Randomly sub-sampled partition voting (RSPV) algorithm for scene change detection
US20140092209A1 (en) System and method for improving video encoding using content information
US9232249B1 (en) Video presentation using repeated video frames
US20130163670A1 (en) Multiview video coding reference picture selection under a one reference picture constraint
JP2010239422A (ja) 動画像符号化装置および復号装置
JP2015103970A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
CN105898296A (zh) 视频编码帧选择方法及装置
US8509303B2 (en) Video descriptor generation device
US10034016B2 (en) Coding apparatus, computer system, coding method, and computer product
CN111277841B (zh) 一种在视频通信中执行错误隐藏的方法和设备
WO2022252567A1 (zh) 基于相关度比较确定视频编解码优先顺序的方法及装置
US10666970B2 (en) Encoding apparatus, encoding method, and storage medium
US10735773B2 (en) Video coding techniques for high quality coding of low motion content
WO2004064401A1 (en) Method of motion vector prediction and system thereof
WO2012075612A1 (en) Method and device for determining a motion vector for a current block of a current video frame
CN107172425B (zh) 缩略图生成方法、装置及终端设备
US10356424B2 (en) Image processing device, recording medium, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6365253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150