JP2017168878A - 半導体装置、符号化制御方法及びカメラ装置 - Google Patents

半導体装置、符号化制御方法及びカメラ装置 Download PDF

Info

Publication number
JP2017168878A
JP2017168878A JP2016049101A JP2016049101A JP2017168878A JP 2017168878 A JP2017168878 A JP 2017168878A JP 2016049101 A JP2016049101 A JP 2016049101A JP 2016049101 A JP2016049101 A JP 2016049101A JP 2017168878 A JP2017168878 A JP 2017168878A
Authority
JP
Japan
Prior art keywords
threshold
transmission buffer
amount
encoding
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016049101A
Other languages
English (en)
Inventor
哲也 柴山
Tetsuya Shibayama
哲也 柴山
俊之 加谷
Toshiyuki Kaya
俊之 加谷
誠二 望月
Seiji Mochizuki
誠二 望月
亮司 橋本
Ryoji Hashimoto
亮司 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2016049101A priority Critical patent/JP2017168878A/ja
Priority to US15/421,503 priority patent/US10419663B2/en
Priority to CN201710116777.8A priority patent/CN107197276B/zh
Priority to KR1020170028953A priority patent/KR20170106919A/ko
Priority to TW106107468A priority patent/TW201801530A/zh
Priority to EP17160739.3A priority patent/EP3220639B1/en
Publication of JP2017168878A publication Critical patent/JP2017168878A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化制御を柔軟に行うこと。【解決手段】半導体装置は、指定された符号化制御情報に基づき入力データを符号化した符号化ストリームを送信バッファへ格納する符号化処理部と、符号化の際の発生データ量に応じて、送信バッファに格納されたデータ量を示す送信バッファ占有量と、符号化ストリームの送信先である受信バッファに格納されたデータ量を示す受信バッファ占有量と、を算出するバッファ管理部と、符号化処理部に対して、送信バッファ占有量が第１の閾値以下の場合に、受信バッファ占有量に基づいた符号化制御情報を指定し、送信バッファ占有量が当該第１の閾値より大きい場合に、当該第１の閾値以下の場合より発生データ量を抑えるような符号化制御情報を指定する制御情報指定部と、を備える。【選択図】図１

Description

本発明は、半導体装置、符号化制御方法及びカメラ装置に関し、例えば、入力データの符号化を行う半導体装置、符号化制御方法及びカメラ装置に関する。
近年、動画像データの符号化を実施する際に、直前の符号化の結果に応じて以後の符号化レートを制御する半導体装置が広く利用されている。符号化制御に関する技術としては、例えば、特許文献１が知られている。
特許文献１には、動画像信号を符号化したビットストリームを光ディスクに記録するための動画像符号化装置に関する技術が開示されている。特許文献１にかかる動画像符号化装置は、ビデオエンコーダが、入力される画像データを指示された目標符号化ビット量に基づいてエンコードし、エンコード結果である符号化ビットストリームをエンコーダバッファ（送信バッファ）に格納する。ここで、外部からの衝撃等により一時的に記録媒体への記録が行えなくなった場合、エンコーダバッファからの出力が一時的に停止される。このとき、バッファ管理回路は、符号化ビット量とエンコーダバッファにおける出力ビットレートとに基づいて、エンコーダバッファのデータの占有量を算出する。そして、レートコントローラは、占有量に応じてビデオエンコーダにおける符号化ビットレートを制御する。
特開平１０−２０８３９３号公報
特許文献１では、送信バッファサイズは、光ディスクに記録する前にデータを格納しておくバッファ(受信バッファ)サイズと同じがそれ以上であることを前提としており、車載カメラ等のように送信バッファサイズを十分に確保できない場合には、符号化制御を柔軟に行えないという問題があった。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態によれば、半導体装置は、送信バッファ占有量と受信バッファ占有量とを加味して符号化制御を行うものである。
前記一実施の形態によれば、符号化制御を柔軟に行うことができる。
実施の形態１にかかる半導体装置の構成を示すブロック図である。 実施例１にかかる符号化処理システムの構成を示すブロック図である。 実施例１にかかる符号化装置の構成を示すブロック図である。 実施例１にかかる仮想受信バッファ占有量の変動の例を示す図である。 実施例１にかかる仮想送信バッファ占有量の変動の例を示す図である。 実施例１にかかる符号化制御方法の流れを説明するためのフローチャートである。 実施例２にかかる符号化制御方法の流れを説明するためのフローチャートである。 実施例２にかかる仮想送信バッファ占有量と符号化モードの関係を示す図である。 実施例３にかかる符号化装置の構成を示すブロック図である。 実施例３にかかる符号化制御方法の流れを説明するためのフローチャートである。 実施例３にかかる仮想送信バッファ占有量と符号化モードの関係を示す図である。
以下では、上述した課題を解決するための手段を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、応用例、詳細説明、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素（動作ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数等（個数、数値、量、範囲等を含む）についても同様である。
ここで、以下の実施の形態を想到するに至った経緯について説明する。まず、上述した特許文献１は、符号化ストリームの受信側で処理遅延が発生した場合に、送信バッファの空き容量の範囲内で持ち堪えられるように（送信バッファがオーバーフローしないように、）符号化レートを制御するものである。そのため、特許文献１では、送信バッファサイズは受信バッファサイズと同じがそれ以上であることが前提であった。
しかしながら、近年、車載カメラや監視カメラ等のように防水の要請もあり、カメラモジュール全体をパッケージ化し、小型化するニーズが高くなっている。その場合、ＤＲＡＭ（Dynamic Random Access Memory）などの大容量な外部メモリをカメラモジュールに搭載することが困難である。さらに、車載カメラのように運転中に撮影画像を運転席付近の画面に表示させる場合には、低遅延であることが求められる。よって、特許文献１のような前提ではこれらの課題を解決することができない。
さらに、特許文献１では、送信バッファの占有量を基準に符号化制御をしているため、例えば、入力動画像に局所的に急激な変化がある場合であっても、一時的に符号化レートを上げて当該画像の符号化精度を維持することが困難である。
そこで、上述の課題を解決するための実施の形態を以下に説明する。
＜実施の形態１＞
図１は、実施の形態１にかかる半導体装置１００の構成を示すブロック図である。半導体装置１００は、画像等の入力データｉｎ＿ｄａｔａに対して符号化を行い、符号化ストリーム（ビットストリーム）ｂｔｓを出力するものである。尚、入力データｉｎ＿ｄａｔａは、画像データの一部であるピクチャ（マクロブロック）データであってもよい。また、出力された符号化ストリームｂｔｓは、一旦、送信バッファ（不図示）に格納され、その後、転送されて受信バッファ（不図示）に格納され、その後、受信バッファから読み出されて復号化されるものとする。半導体装置１００は、符号化処理部１１０と、バッファ管理部１２０と、制御情報指定部１３０とを備える。
符号化処理部１１０は、指定された符号化制御情報ｃｔｌに基づき入力データｉｎ＿ｄａｔａを符号化した符号化ストリームｂｔｓを送信バッファへ格納する。バッファ管理部１２０は、符号化の際の発生データ量ｂ０に応じて、受信バッファ占有量１４１と、送信バッファ占有量１４２と、を算出する。受信バッファ占有量１４１は、符号化ストリームｂｔｓの送信先である受信バッファに格納されたデータ量を示す数値情報である。また、送信バッファ占有量１４２は、送信バッファに格納されたデータ量を示す数値情報である。つまり、バッファ管理部１２０は、符号化ストリームｂｔｓを実際に格納するバッファを有しておらず、各バッファを模擬した仮想バッファを有するものといえる。そのため、受信バッファ占有量１４１を「仮想受信バッファ占有量」、送信バッファ占有量１４２を「仮想送信バッファ占有量」と呼んでも良い。
制御情報指定部１３０は、符号化処理部１１０に対して、符号化制御情報ｃｔｌを指定する。ここで、制御情報指定部１３０は、送信バッファ占有量１４２が第１の閾値以下の場合に、受信バッファ占有量１４１に基づいた符号化制御情報ｃｔｌを指定する。また、制御情報指定部１３０は、送信バッファ占有量１４２が第１の閾値より大きい場合に、当該第１の閾値以下の場合より発生データ量ｂ０を抑えるような符号化制御情報ｃｔｌを指定する。
ここで、「第１の閾値より所定値以上の値」を第２の閾値とした場合には、「第１の閾値より大きい場合」とは、「第２の閾値以上の場合」と解釈しても良い。
また、「符号化制御情報ｃｔｌ」とは、符号化処理部１１０による符号化処理を行う際の制御情報である。例えば、「符号化制御情報ｃｔｌ」は、符号化処理で使用する量子化値か、符号化モードを指定する情報（特定の量子化値で符号化処理を行うように符号化処理部１１０へ指示するための指示情報）等であるとよい。
また、「第１の閾値以下の場合より発生データ量ｂ０を抑えるような符号化制御情報ｃｔｌ」とは、例えば、「第１の閾値以下の場合」における量子化値よりも、「第１の閾値より大きい場合」における量子化値が大きいものであることを示す。
このように、本実施の形態１にかかる半導体装置１００は、仮想受信バッファの占有量と仮想送信バッファの占有量の両方を用いて符号化ビットレートの制御を行うものである。そして、半導体装置１００は、通常は仮想受信バッファの占有量を元に設定されたターゲットビットレートを満たすように動作する。つまり、仮想受信バッファの占有量に余裕がある場合には多くのビットを割り当て、余裕が無くなるとビット割り当てを減らすことにより符号化ビットレートの制御を行う。また、仮想受信バッファの占有量に余裕がある場合には、高画質に符号化するために、瞬時的にビットレートを上げることを許可する様に動作する。
ここで、受信バッファのサイズに比べ送信バッファのサイズが非常に小さい場合は、送信バッファへの入力レートが瞬時的に上がる為、送信バッファのサイズによっては破綻してしまう課題がある。そこで、本実施の形態１では、まず、通常時は仮想受信バッファの占有量を元にビットレート制御を実施して入力画像の複雑度に柔軟に対応する。そして、高画質符号化を維持しながら、送信バッファを模擬した仮想送信バッファの占有量が所定の閾値を超える量に達した場合は、受信バッファに余裕がある状態であっても符号量を抑える方向に符号化制御を実施する。すなわち、本実施形態１では、二つの仮想バッファ占有量を用いて符号化制御を行うことにより，送信バッファが小さいシステムの場合でも，送信バッファのオーバーフローを抑制した符号化制御が可能となる。
このように、本実施の形態１により、送信バッファの破綻を防ぎつつ、入力画像の局所的な変化がある場合には一時的に符号化レートを上げることで、符号化制御を柔軟に行うことができ、画像の符号化精度を維持できる。
＜実施例１＞
続いて、本実施の形態１の実施例１について説明する。
図２は、実施例１にかかる符号化処理システム１０００の構成を示すブロック図である。符号化処理システム１０００は、符号化装置１と、送信バッファ２と、受信バッファ３と、復号装置４とを備える。ここで、送信バッファ２と、受信バッファ３とは通信回線などの伝送路で接続されている。符号化装置１は、上述した半導体装置１００の一例である。また、符号化装置１及び送信バッファ２は、例えば、カメラ装置１０に含まれるものとするが、これに限定されない。符号化装置１は、カメラ（不図示）による撮影画像などの動画像を入力データｉｎ＿ｄａｔａとして、Ｈ．２６４などの符号化ストリームｂｔｓに符号化する。そして、符号化装置１は、符号化ストリームｂｔｓを送信バッファ２に格納する。カメラ装置１０は、送信バッファ２に格納された符号化ストリームｂｔｓを、伝送路を介して受信バッファ３へ転送する。そして、復号装置４は、受信バッファ側から符号化ストリームｂｔｓを読み出して復号し、画面（不図示）等に出力して、動画像の再生表示を行う。
図３は、実施例１にかかる符号化装置１の構成を示すブロック図である。符号化装置１は、バッファ管理部１１と、レート制御部１２と、符号化処理部１３とを備える。符号化処理部１３は、上述した符号化処理部１１０の一例であり、入力データｉｎ＿ｄａｔａについて、量子化値Ｑｊ及び符号化モードｍｄに基づいて符号化を行い、符号化ストリームｂｔｓを送信バッファ２へ出力する。尚、量子化値Ｑｊ及び符号化モードｍｄは、上述した符号化制御情報ｃｔｌの一例である。また、符号化処理部１３は、符号化時の発生ビット量ｂ１をバッファ管理部１１へ出力する。
バッファ管理部１１は、上述したバッファ管理部１２０の一例であり、符号化処理部１３からの発生ビット量ｂ１を用いて、仮想受信バッファ占有量ｄｊ及び仮想送信バッファ占有量Ｒｂｊを算出し、レート制御部１２へ出力する。ここで、バッファ管理部１１は、内部構成として、ターゲットビット決定部１１１と、転送ビット決定部１１２とを含む。
ターゲットビット決定部１１１は、予めユーザ等により所定の設定値ｓｔ１１が設定されている。そして、ターゲットビット決定部１１１は、設定値ｓｔ１１に基づいてターゲットビット量ｂ２を決定し、出力する。バッファ管理部１１は、発生ビット量ｂ１と直前の仮想受信バッファ占有量ｄｊとを加算し、ターゲットビット量ｂ２を減算して、新たな仮想受信バッファ占有量ｄｊを算出する。
ここで、図４は、実施例１にかかる仮想受信バッファ占有量の変動の例を示す図である。図４に示すように、仮想受信バッファ占有量ｄｊは、単位時間ごとに、発生ビット量ｂ１とターゲットビット量ｂ２により増減する。
図３に戻り説明を続ける。
また、転送ビット決定部１１２は、予めユーザ等により所定の設定値ｓｔ１２が設定されている。そして、転送ビット決定部１１２は、設定値ｓｔ１２に基づいて転送ビット量ｂ３を決定し、出力する。尚、設定値ｓｔ１２は、システム固有の情報である送信バッファ情報を含む。送信バッファ情報には、送信バッファのサイズ，転送レートなどが含まれる。バッファ管理部１１は、発生ビット量ｂ１と直前の仮想送信バッファ占有量Ｒｂｊとを加算し、転送ビット量ｂ３を減算して、新たな仮想送信バッファ占有量Ｒｂｊを算出する。
ここで、図５は、実施例１にかかる仮想送信バッファ占有量の変動の例を示す図である。図５に示すように、仮想送信バッファ占有量Ｒｂｊは、単位時間ごとに、発生ビット量ｂ１と転送ビット量ｂ３により増減する。
図３に戻り説明を続ける。
レート制御部１２は、上述した制御情報指定部１３０の一例であり、バッファ管理部１１からの仮想受信バッファ占有量ｄｊと、仮想送信バッファ占有量Ｒｂｊとをそれぞれ用いて、量子化値Ｑｊ及び符号化モードｍｄを符号化処理部１３へ出力する。ここで、レート制御部１２は、内部構成として、量子化値決定部１２１と、閾値判定部１２２とを含む。
量子化値決定部１２１は、予めユーザ等により所定の設定値ｓｔ２１が設定されている。尚、設定値ｓｔ２１には、例えば、量子化の幅やリアクションパラメータ等が含まれるが、これらに限定されない。そして、量子化値決定部１２１は、バッファ管理部１１からの仮想受信バッファ占有量ｄｊと、設定値ｓｔ２１とを用いて量子化値Ｑｊを算出して、符号化処理部１３へ出力する。例えば、量子化値決定部１２１は、以下の式（１）を用いて量子化値Ｑｊを算出する。ここで、Ｑｔは、量子化の幅であり、例えば０から５１の値である。また、ｒｅａｃは、リアクションパラメータである。
Ｑｊ＝（ｄｊ＊Ｑｔ）／ｒｅａｃ ・・・式（１）
また、閾値判定部１２２は、バッファ管理部１１からの仮想送信バッファ占有量Ｒｂｊと、設定値ｓｔ２２とを用いて所定の判定を行い、符号化モードｍｄを符号化処理部１３へ出力する。具体的には、閾値判定部１２２は、仮想送信バッファ占有量Ｒｂｊが所定の閾値ｔｈ１より大きいか否かを判定する。そして、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１以下の場合には、閾値判定部１２２は、符号化モードｍｄを「通常符号化モード」として出力する。一方、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より大きい場合には、閾値判定部１２２は、符号化モードｍｄを「緊急モード」として出力する。ここで、「緊急モード」とは、規格で定められた範囲を逸脱しない中で最も発生データ量を抑えることができる符号化を行うモードをいう。尚、「緊急モード」を「最低ビット符号化モード」と呼んでも良い。
符号化処理部１３は、レート制御部１２からの符号化モードｍｄが「通常符号化モード」を示す場合、レート制御部１２から受け付けた量子化値Ｑｊに基づき入力データｉｎ＿ｄａｔａの符号化を行う。一方、符号化処理部１３は、レート制御部１２からの符号化モードｍｄが「緊急モード」を示す場合、予め設定された量子化値に基づき入力データｉｎ＿ｄａｔａの符号化を行う。ここで、予め設定された量子化値は、例えば、符号化処理における発生ビット量が最低となるような量子化値であるものとする。このようにして、入力データｉｎ＿ｄａｔａに対する発生ビット量を適切に調整することができる。
図６は、実施例１にかかる符号化制御方法の流れを説明するためのフローチャートである。まず、バッファ管理部１１は、仮想送信バッファ占有量Ｒｂｊ及び仮想受信バッファ占有量ｄｊの更新を行う（Ｓ１０１）。次に、閾値判定部１２２は、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より大きいか否かを判定する（Ｓ１０２）。仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より大きいと判定した場合（Ｓ１０２でＹＥＳ）、閾値判定部１２２は、符号化モードｍｄを「緊急モード」として符号化処理部１３へ出力する（Ｓ１０３）。そして、符号化処理部１３は、予め設定された量子化値に基づき入力データｉｎ＿ｄａｔａの符号化を行う（Ｓ１０５）。
一方、ステップＳ１０２において、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１以下であると判定した場合（Ｓ１０２でＮＯ）、閾値判定部１２２は、符号化モードｍｄを「通常符号化モード」として符号化処理部１３へ出力する（Ｓ１０４）。そして、符号化処理部１３は、量子化値決定部１２１から受け付けた量子化値Ｑｊに基づき入力データｉｎ＿ｄａｔａの符号化を行う（Ｓ１０６）。尚、量子化値決定部１２１は、閾値判定部１２２と並行して量子化値Ｑｊを算出しているものとする。
以上のことから、本実施例１は次のように表現することもできる。すなわち、制御情報指定部は、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１以下の場合に、仮想受信バッファ占有量ｄｊに基づいて符号化制御情報を算出し、当該算出した符号化制御情報を符号化処理部に対して指定し、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より大きい場合に、予め定めた値を符号化制御情報として符号化処理部に対して指定するものである。
このように、本実施例１により、送信バッファ占有量に余裕がある間は、受信バッファ占有量に応じて適切に符号化制御を行うことができる。すなわち、通常時は仮想受信バッファ占有量をもとに符号化制御を実施するため、送信バッファの占有量がオーバーフローする危険性が低い場合には，高画質に符号化が可能である。一方、送信バッファの占有量が設定された閾値を超えた場合は、送信バッファがオーバーフローし得る危険性が高いレベルにあると判定し、送信バッファのオーバーフローが発生しないように、瞬時的な符号量増加を抑制する。特に、入力動画像に局所的に急激な変化があった場合に、送信バッファの空き容量の範囲で、一時的に符号化レートを上げて符号化画像の精度を維持することができる。そのため、送信バッファの破綻を防いだ上で、入力画像の複雑度に柔軟に対応し高画質符号化を維持することが可能となる。
上述したように、小型化の要求が強い車載カメラモジュールなどの場合、電力及び実装面積の問題からＤＲＡＭなどの大容量メモリを搭載することができず、チップ内のＳＲＡＭ（Static Random Access Memory）で送信バッファを構成する必要がある。そのため、送信バッファに十分な容量を割り当てることができない。本実施例１では、このような場合であっても、送信バッファの破綻を防ぎつつ、符号化ストリームを生成して送信することで、符号化画像の精度を維持することができる。
また、上述した特許文献１では、エンコーダバッファからバッファ管理部へ出力ビットレートを通知する必要があり、遅延が発生し、リアルタイム性に欠けるという課題もあった。また、特許文献１では、エンコーダバッファからバッファ管理部への通信が必須であるため、カメラシステムとしての柔軟性に欠けるという課題もあった。これらに対し本実施例１にかかるバッファ管理部は、予め設定された、送信バッファにおける転送レートと符号化処理部から取得する発生データ量とを用いて送信バッファ占有量を算出するものである。そのため、逐次、転送レートを送信バッファから取得するのではなく、転送ビット決定部により算出するため、特許文献１と比べて送信バッファとの通信が不要となるため遅延が軽減し、また、小さなバッファしか持てないシステムにも柔軟に対応可能となる。
＜実施例２＞
続いて、本実施の形態１の実施例２について説明する。上述した実施例１では、一旦、送信バッファ占有量が閾値を超えて緊急モードで符号化制御が行われた後に、送信バッファ占有量が閾値を下回れば、再び、通常符号化モードで符号化制御が行われる。しかしながら、一旦、送信バッファ占有量が閾値を超えた場合には、符号化レートを抑制することにより閾値を下回ったとしても、再度、閾値を超えてしまう確率が高いといえる。その場合、通常符号化モードと緊急モードが短期間で繰り返されることとなるため、改善の余地がある。
そこで、本実施例２では、送信バッファ占有量の閾値を二つ設け、送信バッファ占有量が増加する場合の閾値を、送信バッファ占有量が減少する場合の閾値よりも高くするものである。すなわち、第１の閾値（ｔｈ１）より所定値分大きい値を第２の閾値（ｔｈ２）とし、前記制御情報指定部は、前記送信バッファ占有量が前記第２の閾値を超えるまで、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、前記送信バッファ占有量が前記第２の閾値を超えた場合に、前記第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定し、前記送信バッファ占有量が前記第２の閾値より大きい値から前記第１の閾値より小さい値になった場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定するものである。このように、送信バッファ占有量の増加時の閾値を減少時よりも高くすることで、緊急モードと通常符号化モードの符号化処理の繰り返しを抑制できる。
尚、本実施例２にかかる符号化装置等の構成は、上述した実施例１と同等であるため、図示及び詳細な説明を省略する。但し、閾値判定部１２２には、ｔｈ１＜ｔｈ２である２つの閾値が設定されているものとする。
図７は、実施例２にかかる符号化制御方法の流れを説明するためのフローチャートである。まず、バッファ管理部１１は、仮想送信バッファ占有量Ｒｂｊ及び仮想受信バッファ占有量ｄｊの更新を行う（Ｓ２０１）。次に、閾値判定部１２２は、現在、通常符号化モードであるか否かを判定する（Ｓ２０２）。通常符号化モードである場合（Ｓ２０２でＹＥＳ）、閾値判定部１２２は、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２より大きいか否かを判定する（Ｓ２０３）。仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２以下と判定した場合（Ｓ２０３でＮＯ）、閾値判定部１２２は、符号化モードｍｄを「通常符号化モード」として符号化処理部１３へ出力する（Ｓ２０５）。そして、符号化処理部１３は、量子化値決定部１２１から受け付けた量子化値Ｑｊに基づき入力データｉｎ＿ｄａｔａの符号化を行う（Ｓ２０７）。一方、ステップＳ２０３において、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２より大きいと判定した場合（Ｓ２０３でＹＥＳ）、閾値判定部１２２は、符号化モードｍｄを「緊急モード」として符号化処理部１３へ出力する（Ｓ２０６）。尚、このとき、閾値判定部１２２は、現在の符号化モードｍｄが「緊急モード」であることを示す情報、例えばフラグ等を保持するものとする。そして、符号化処理部１３は、予め設定された量子化値に基づき入力データｉｎ＿ｄａｔａの符号化を行う（Ｓ２０８）。
その後、ステップＳ２０１に戻り、ステップＳ２０２において、通常符号化モードではない場合、つまり、緊急モードである場合（Ｓ２０２でＮＯ）、閾値判定部１２２は、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より小さいか否かを判定する（Ｓ２０４）。仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１以上と判定した場合（Ｓ２０４でＮＯ）、閾値判定部１２２は、符号化モードｍｄを「緊急モード」として符号化処理部１３へ出力する（Ｓ２０６）。つまり、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２より小さいとしても、閾値ｔｈ１以上であれば、緊急モードを維持する。
一方、ステップＳ２０４において、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１より小さいと判定した場合（Ｓ２０４でＹＥＳ）、閾値判定部１２２は、符号化モードｍｄを「通常符号化モード」として符号化処理部１３へ出力する（Ｓ２０５）。つまり、一旦、「緊急モード」となったとしても、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２より小さい閾値ｔｈ１よりも小さくなった場合には、通常符号化モードに戻す。尚、量子化値決定部１２１は、閾値判定部１２２と並行して量子化値Ｑｊを算出しているものとする。
図８は、実施例２にかかる仮想送信バッファ占有量と符号化モードの関係を示す図である。図８に示すように、当初、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１を超えただけでは、符号化モードは変更せず、通常符号化モードを維持する。その後、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２を超えた場合に、緊急モードとする。このとき、閾値判定部１２２は、発生ビット量が最小になるような強制的な符号化処理を行うように符号化処理部１３へ指示する。そして、符号化処理部１３は、緊急モードで指示されている間は、通常の符号化処理は行わず、発生ビット量が最小になる様な強制符号化処理を行う。例えば、Ｈ．２６４の場合、イントラＭＢのＮｘＮのＤＣモードとし、係数をすべて０にして符号化またはスキップＭＢにするなどの方法が挙げられるが、これに限定されない。
その後、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２を下回ったとしても、閾値ｔｈ１以上であれば、緊急モードが維持される。そして、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１を下回った場合に、通常符号化モードに戻る。
このように、第１の閾値よりも大きい第２の閾値を、緊急モードを開始する条件とし、第２の閾値よりも小さい第１の閾値を、緊急モードを終了し、通常符号化モードへ戻す条件とすることで、緊急モードと通常符号化モードの符号化処理の頻繁な繰り返しを抑制できる。
さらに、第２の閾値を、前記送信バッファのサイズから前記発生データ量分を減算した値とすることにより、送信バッファの破綻を回避する確率を向上できる。例えば，閾値ｔｈ２を強制符号化処理時の発生ビット量分減算した値に設定することで、送信バッファサイズを超えて符号化ストリームが出力されることはなくなる。
＜実施例３＞
続いて、本実施の形態１の実施例３について説明する。
図９は、実施例３にかかる符号化装置１ａの構成を示すブロック図である。符号化装置１ａは、上述した符号化装置１と比べて、レート制御部１２及び符号化処理部１３がレート制御部１２ａ及び符号化処理部１３ａに置き換わったものである。その他の構成は、符号化装置１と同等であるため説明を省略する。
レート制御部１２ａは、内部構成として、量子化値決定部１２１ａと、閾値判定部１２２ａとを含む。閾値判定部１２２ａは、符号化モードを出力する代わりに、判定結果に応じたリアクションパラメータｒｅａｃを量子化値決定部１２１ａへ出力する。また、閾値判定部１２２ａには、ｔｈ１ａ＜ｔｈ２ａである２つの閾値が設定されているものとする。例えば、閾値判定部１２２ａは、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａ以下の場合には、既定のリアクションパラメータｒｅａｃＮを量子化値決定部１２１ａへ出力し、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａより大きく、かつ、閾値ｔｈ２ａ以下の場合には、ｒｅａｃＮを０．７５倍したリアクションパラメータｒｅａｃを量子化値決定部１２１ａへ出力し、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａより大きい場合には、ｒｅａｃＮを０．５０倍したリアクションパラメータｒｅａｃを量子化値決定部１２１ａへ出力する。
量子化値決定部１２１ａは、閾値判定部１２２ａから出力されたリアクションパラメータｒｅａｃと、仮想受信バッファ占有量ｄｊとを用いて量子化値Ｑｊを算出し、符号化処理部１３ａへ出力する。
そのため、本実施例３は次のように表現することができる。すなわち、レート制御部１２ａは、仮想送信バッファ占有量Ｒｂｊが第１の閾値（ｔｈ１ａ）より大きく、かつ、第２の閾値（ｔｈ２ａ）以下の場合に、当該第１の閾値以下の場合より発生データ量ｂ１を少なくし、かつ、当該第２の閾値以上の場合より発生データ量ｂ１を多くするような符号化制御情報を指定する。このように、多段階の閾値を用いることにより、柔軟な符号化制御を実現できる。
または、次のように表現することもできる。すなわち、レート制御部１２ａは、仮想送信バッファ占有量Ｒｂｊが第１の閾値（ｔｈ１ａ）以下の場合に、所定の第１のパラメータ（ｒｅａｃＮ）と仮想受信バッファ占有量ｄｊとを用いて符号化制御情報を算出し、仮想送信バッファ占有量Ｒｂｊが第１の閾値より所定値（ｔｈ２ａ）以上の場合に、前記第１のパラメータより発生データ量ｂ１を抑えるような第２のパラメータ（ｒｅａｃＮ＊０．５０）を算出し、当該第２のパラメータと仮想受信バッファ占有量ｄｊとを用いて符号化制御情報を算出し、符号化処理部１３ａに対して、当該算出した符号化制御情報を指定する。この場合、符号化処理部１３ａには既存のものを流用できる。そのため、システム変更量を抑制できる。さらに、パラメータの調整によりきめ細かな符号化制御を実現できる。よって、画質へのダメージを最小限に抑えながら、危険領域を回避するために有用である。
図１０は、実施例３にかかる符号化制御方法の流れを説明するためのフローチャートである。まず、バッファ管理部１１は、仮想送信バッファ占有量Ｒｂｊ及び仮想受信バッファ占有量ｄｊの更新を行う（Ｓ３０１）。次に、閾値判定部１２２ａは、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａより大きいか否かを判定する（Ｓ３０２）。仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａより大きいと判定した場合（Ｓ３０２でＹＥＳ）、閾値判定部１２２ａは、既定のリアクションパラメータｒｅａｃＮを０．５０倍してリアクションパラメータｒｅａｃを算出し、量子化値決定部１２１ａへ出力する（Ｓ３０４）。
ステップＳ３０２において、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａ以下であると判定した場合（Ｓ３０２でＮＯ）、閾値判定部１２２ａは、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａより大きいか否かを判定する（Ｓ３０３）。仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａより大きいと判定した場合（Ｓ３０３でＹＥＳ）、閾値判定部１２２ａは、既定のリアクションパラメータｒｅａｃＮを０．７５倍してリアクションパラメータｒｅａｃを算出し、量子化値決定部１２１ａへ出力する（Ｓ３０５）。ステップＳ３０３において、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａ以下であると判定した場合（Ｓ３０３でＮＯ）、閾値判定部１２２ａは、既定のリアクションパラメータｒｅａｃＮをリアクションパラメータｒｅａｃとして、量子化値決定部１２１ａへ出力する（Ｓ３０６）。
ステップＳ３０４、３０５及び３０６の後、量子化値決定部１２１ａは、閾値判定部１２２ａから受け付けた更新後のリアクションパラメータｒｅａｃと仮想受信バッファ占有量ｄｊとを用いて量子化値Ｑｊを算出し、符号化処理部１３ａへ出力する（Ｓ３０７）。その後、符号化処理部１３ａは、量子化値決定部１２１ａから受け付けた量子化値Ｑｊに基づき入力データｉｎ＿ｄａｔａの符号化を行う（Ｓ３０８）。尚、量子化値決定部１２１ａは、閾値判定部１２２ａと並行して量子化値Ｑｊを算出しているものとする。
図１１は、実施例３にかかる仮想送信バッファ占有量と符号化モードの関係を示す図である。図１１に示すように、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａ以下の場合は、リアクションパラメータｒｅａｃを既定のｒｅａｃＮとする。また、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａより大きく、かつ、閾値ｔｈ２ａ以下の場合は、リアクションパラメータｒｅａｃをｒｅａｃＮ＊０．７５として、閾値ｔｈ１ａ以下の場合よりも量子化値Ｑｊを大きくして発生ビット量を抑制する。但し、最低の発生ビット量とはしない。そして、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａより大きい場合には、リアクションパラメータｒｅａｃをｒｅａｃＮ＊０．５０として、つまり、閾値ｔｈ２ａ以下の場合よりも量子化値Ｑｊを大きくして発生ビット量をより抑制する。例えば、最低の発生ビット量となるような量子化値とする。
上述した方法はいわば、符号化制御に使用するリアクションパラメータを変更する方法といえる。そして、リアクションパラメータを小さくすることによって、ターゲットへの収束速度を上げることができる。つまり、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａより大きく、かつ、閾値ｔｈ２ａ以下の場合にはｒｅａｃＮ＊ｒａｔｉｏ１、閾値ｔｈ２ａより大きい場合にはｒｅａｃＮ＊ｒａｔｉｏ２とした場合、ｒａｔｉｏ２はｒａｔｉｏ１より小さい。
尚、図１１では２段階でリアクションパラメータを更新しているが，２段階または３段階以上を設定できるようにしても構わない。
また、本実施例２では符号化制御のため、リアクションパラメータを調整しているが、これに代えて、量子化値を直接調整しても構わない。例えば、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ２ａより大きい場合には、閾値ｔｈ２ａ以下の場合と比べて量子化値を大きくしても構わない。
尚、上記では、仮想送信バッファ占有量Ｒｂｊが閾値ｔｈ１ａと閾値ｔｈ２ａとの間の場合に、仮想送信バッファ占有量Ｒｂｊの増加時と減少時に関わらず、リアクションパラメータをｒｅａｃＮ＊ｒａｔｉｏ１と同一としていたが、これに限定されない。例えば、仮想送信バッファ占有量Ｒｂｊが減少している場合には、通常のリアクションパラメータｒｅａｃＮを使用するように制御するようにしてもよい。これにより、急激な量子化値の変動を抑え、送信バッファの占有量の減少を遅くすることで、通常状態への戻りを遅くすることができる場合もある。
このように、本実施例３は、画質へのダメージを最小限に押さえながら、送信バッファがオーバーフローの危険領域に近付くことを回避するのに有用である。また、実施例２と実施例３を併用することも可能である。
＜その他の実施の形態＞
上述した各実施の形態は、例えば、車載カメラ等に適用可能である。すなわち、車載カメラでの撮影画像をリアルタイムで運転席付近の画面に表示するため、撮影してから遅れて表示されると、運転に支障が出る。そのため、低遅延であることが求められる。よって、低遅延動画像符号化ＬＳＩや低遅延でカメラ画像などの動画像を転送するシステムに適用することが可能である。特に，防水のためにパッケージするため、ＤＲＡＭなどの大容量外部メモリを搭載できないシステム（車載カメラ，監視カメラなど）に適用することが可能である。
また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）等のプロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
１００ 半導体装置
１１０ 符号化処理部
１２０ バッファ管理部
１３０ 制御情報指定部
ｉｎ＿ｄａｔａ 入力データ
ｂｔｓ 符号化ストリーム
ｂ０ 発生データ量
１４１ 受信バッファ占有量
１４２ 送信バッファ占有量
ｃｔｌ 符号化制御情報
１０００ 符号化処理システム
１０ カメラ装置
１ 符号化装置
１ａ 符号化装置
２ 送信バッファ
３ 受信バッファ
４ 復号装置
１１ バッファ管理部
１１１ ターゲットビット決定部
１１２ 転送ビット決定部
１２ レート制御部
１２ａ レート制御部
１２１ 量子化値決定部
１２１ａ 量子化値決定部
１２２ 閾値判定部
１２２ａ 閾値判定部
１３ 符号化処理部
１３ａ 符号化処理部
ｂ１ 発生ビット量
ｂ２ ターゲットビット量
ｂ３ 転送ビット量
ｓｔ１１ 設定値
ｓｔ１２ 設定値
ｓｔ２１ 設定値
ｓｔ２２ 設定値
ｄｊ 仮想受信バッファ占有量
Ｒｂｊ 仮想送信バッファ占有量
Ｑｊ 量子化値
ｍｄ 符号化モード
ｒｅａｃ リアクションパラメータ
ｔｈ１ 閾値
ｔｈ２ 閾値
ｔｈ１ａ 閾値
ｔｈ２ａ 閾値

Claims (19)

  1. 指定された符号化制御情報に基づき入力データを符号化した符号化ストリームを送信バッファへ格納する符号化処理部と、
    前記符号化の際の発生データ量に応じて、前記送信バッファに格納されたデータ量を示す送信バッファ占有量と、前記符号化ストリームの送信先である受信バッファに格納されたデータ量を示す受信バッファ占有量と、を算出するバッファ管理部と、
    前記符号化処理部に対して、前記送信バッファ占有量が第１の閾値以下の場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、前記送信バッファ占有量が当該第１の閾値より大きい場合に、当該第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定する制御情報指定部と、
    を備える
    半導体装置。
  2. 前記制御情報指定部は、
    前記送信バッファ占有量が前記第１の閾値以下の場合に、前記受信バッファ占有量に基づいて前記符号化制御情報を算出し、当該算出した符号化制御情報を前記符号化処理部に対して指定し、
    前記送信バッファ占有量が当該第１の閾値より大きい場合に、予め定めた値を前記符号化制御情報として前記符号化処理部に対して指定する
    請求項１に記載の半導体装置。
  3. 前記第１の閾値より所定値分大きい値を第２の閾値とし、
    前記制御情報指定部は、
    前記送信バッファ占有量が前記第２の閾値を超えるまで、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、
    前記送信バッファ占有量が前記第２の閾値を超えた場合に、前記第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定し、
    前記送信バッファ占有量が前記第２の閾値より大きい値から前記第１の閾値より小さい値になった場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定する
    請求項１に記載の半導体装置。
  4. 前記第１の閾値より所定値分大きい値を第２の閾値とし、
    前記制御情報指定部は、
    前記送信バッファ占有量が前記第１の閾値より大きく、かつ、前記第２の閾値以下の場合に、当該第１の閾値以下の場合より前記発生データ量を少なくし、かつ、当該第２の閾値以上の場合より前記発生データ量を多くするような前記符号化制御情報を指定する
    請求項１に記載の半導体装置。
  5. 前記制御情報指定部は、
    前記送信バッファ占有量が前記第１の閾値以下の場合に、所定の第１のパラメータと前記受信バッファ占有量とを用いて前記符号化制御情報を算出し、
    前記送信バッファ占有量が当該第１の閾値より大きい場合に、前記第１のパラメータより前記発生データ量を抑えるような第２のパラメータを算出し、当該第２のパラメータと前記受信バッファ占有量とを用いて前記符号化制御情報を算出し、
    前記符号化処理部に対して、当該算出した前記符号化制御情報を指定する
    請求項１に記載の半導体装置。
  6. 前記バッファ管理部は、予め設定された前記送信バッファにおける転送レートと、前記符号化処理部から取得する前記発生データ量とを用いて前記送信バッファ占有量を算出する
    請求項１に記載の半導体装置。
  7. 前記第２の閾値は、前記送信バッファのサイズから前記発生データ量分を減算した値である
    請求項３に記載の半導体装置。
  8. 前記符号化制御情報は、量子化値である、
    請求項２に記載の半導体装置。
  9. 前記送信バッファのサイズは、前記受信バッファのサイズより小さい、
    請求項１に記載の半導体装置。
  10. 指定された符号化制御情報に基づき第１の入力データを符号化し、当該符号化された符号化ストリームを送信バッファに格納し、
    前記符号化の際の発生データ量に応じて、前記送信バッファに格納されたデータ量を示す送信バッファ占有量と、前記符号化ストリームの送信先である受信バッファに格納されたデータ量を示す受信バッファ占有量と、を算出し、
    前記第１の入力データの後続の第２の入力データの符号化のために、前記送信バッファ占有量が第１の閾値以下の場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、前記送信バッファ占有量が当該第１の閾値より大きい場合に、当該第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定する
    符号化制御方法。
  11. 前記送信バッファ占有量が前記第１の閾値以下の場合に、前記受信バッファ占有量に基づいて前記符号化制御情報を算出し、当該算出した符号化制御情報を指定し、
    前記送信バッファ占有量が当該第１の閾値より大きい場合に、予め定めた値を前記符号化制御情報として指定する
    請求項１０に記載の符号化制御方法。
  12. 前記第１の閾値より所定値分大きい値を第２の閾値とし、
    前記送信バッファ占有量が前記第２の閾値を超えるまで、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、
    前記送信バッファ占有量が前記第２の閾値を超えた場合に、前記第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定し、
    前記送信バッファ占有量が前記第２の閾値より大きい値から前記第１の閾値より小さい値になった場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定する
    請求項１０に記載の符号化制御方法。
  13. 前記第１の閾値より所定値分大きい値を第２の閾値とし、
    前記送信バッファ占有量が前記第１の閾値より大きく、かつ、前記第２の閾値以下の場合に、当該第１の閾値以下の場合より前記発生データ量を少なくし、かつ、当該第２の閾値以上の場合より前記発生データ量を多くするような前記符号化制御情報を指定する
    請求項１０に記載の符号化制御方法。
  14. 前記送信バッファ占有量が前記第１の閾値以下の場合に、所定の第１のパラメータと前記受信バッファ占有量とを用いて前記符号化制御情報を算出し、
    前記送信バッファ占有量が当該第１の閾値より大きい場合に、前記第１のパラメータより前記発生データ量を抑えるような第２のパラメータを算出し、当該第２のパラメータと前記受信バッファ占有量とを用いて前記符号化制御情報を算出し、
    前記算出した前記符号化制御情報を指定する
    請求項１０に記載の符号化制御方法。
  15. 予め設定された前記送信バッファにおける転送レートと、前記発生データ量とを用いて前記送信バッファ占有量を算出する
    請求項１０に記載の符号化制御方法。
  16. 前記第２の閾値は、前記送信バッファのサイズから前記発生データ量分を減算した値である
    請求項１２に記載の符号化制御方法。
  17. 前記符号化制御情報は、量子化値である、
    請求項１１に記載の符号化制御方法。
  18. 前記送信バッファのサイズは、前記受信バッファのサイズより小さい、
    請求項１０に記載の符号化制御方法。
  19. 指定された符号化制御情報に基づき入力データを符号化する符号化処理部と、
    前記符号化された符号化ストリームを格納する送信バッファと、
    前記符号化の際の発生データ量に応じて、前記送信バッファに格納されたデータ量を示す送信バッファ占有量と、前記符号化ストリームの送信先である受信バッファに格納されたデータ量を示す受信バッファ占有量と、を算出するバッファ管理部と、
    前記符号化処理部に対して、前記送信バッファ占有量が第１の閾値以下の場合に、前記受信バッファ占有量に基づいた前記符号化制御情報を指定し、前記送信バッファ占有量が当該第１の閾値より大きい場合に、当該第１の閾値以下の場合より前記発生データ量を抑えるような前記符号化制御情報を指定する制御情報指定部と、
    を備える
    カメラ装置。
JP2016049101A 2016-03-14 2016-03-14 半導体装置、符号化制御方法及びカメラ装置 Pending JP2017168878A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016049101A JP2017168878A (ja) 2016-03-14 2016-03-14 半導体装置、符号化制御方法及びカメラ装置
US15/421,503 US10419663B2 (en) 2016-03-14 2017-02-01 Semiconductor device, encoding control method and camera device
CN201710116777.8A CN107197276B (zh) 2016-03-14 2017-03-01 半导体设备、编码控制方法和相机设备
KR1020170028953A KR20170106919A (ko) 2016-03-14 2017-03-07 반도체 장치, 부호화 제어 방법 및 카메라 장치
TW106107468A TW201801530A (zh) 2016-03-14 2017-03-08 半導體裝置、編碼控制方法及照相機裝置
EP17160739.3A EP3220639B1 (en) 2016-03-14 2017-03-14 Semiconductor device, encoding control method and camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016049101A JP2017168878A (ja) 2016-03-14 2016-03-14 半導体装置、符号化制御方法及びカメラ装置

Publications (1)

Publication Number Publication Date
JP2017168878A true JP2017168878A (ja) 2017-09-21

Family

ID=58464143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016049101A Pending JP2017168878A (ja) 2016-03-14 2016-03-14 半導体装置、符号化制御方法及びカメラ装置

Country Status (6)

Country Link
US (1) US10419663B2 (ja)
EP (1) EP3220639B1 (ja)
JP (1) JP2017168878A (ja)
KR (1) KR20170106919A (ja)
CN (1) CN107197276B (ja)
TW (1) TW201801530A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157921A1 (ja) * 2021-01-22 2022-07-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645437B2 (en) * 2017-04-03 2020-05-05 Sling Media Pvt Ltd Systems and methods for achieving optimal network bitrate
US10678718B2 (en) * 2018-01-16 2020-06-09 Marvell Israel (M.I.S.L) Ltd. Network device and method of operation
US10796660B2 (en) * 2018-10-12 2020-10-06 Samsung Display Co., Ltd. Content adaptive display interface
TWI697003B (zh) * 2018-10-15 2020-06-21 大陸商合肥沛睿微電子股份有限公司 記憶體裝置與控制方法
US10911791B2 (en) * 2019-01-09 2021-02-02 Netflix, Inc. Optimizing encoding operations when generating a buffer-constrained version of a media title

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208393A (ja) 1997-01-27 1998-08-07 Sony Corp ディジタル信号符号化方法及び装置
JP2002518770A (ja) * 1998-06-12 2002-06-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 再生バッファを介した圧縮オーディオの転送
US7151856B2 (en) 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
JP4490046B2 (ja) 2002-04-25 2010-06-23 パナソニック株式会社 画像符号化装置及び画像符号化方法
US7406124B1 (en) * 2002-05-30 2008-07-29 Intervideo, Inc. Systems and methods for allocating bits to macroblocks within a picture depending on the motion activity of macroblocks as calculated by an L1 norm of the residual signals of the macroblocks
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
US20050157783A1 (en) * 2004-01-15 2005-07-21 Sony Corporation Adaptive bandwidth allocation method and system for AV signal distribution
US7936938B2 (en) * 2004-09-07 2011-05-03 Canon Kabushiki Kaisha Methods and devices for encoding a digital image signal and associated decoding methods and devices
JP2007329681A (ja) * 2006-06-07 2007-12-20 Canon Inc 映像データ送信装置
JP2008271213A (ja) * 2007-04-20 2008-11-06 Hitachi Kokusai Electric Inc 画像符号化装置
KR101280700B1 (ko) * 2009-02-27 2013-07-01 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
JP2010288166A (ja) 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
WO2016185520A1 (ja) * 2015-05-15 2016-11-24 オリンパス株式会社 圧縮画像データ送信装置、圧縮画像データ送受信システム、圧縮画像データ送信方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157921A1 (ja) * 2021-01-22 2022-07-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
TW201801530A (zh) 2018-01-01
CN107197276A (zh) 2017-09-22
US20170264820A1 (en) 2017-09-14
EP3220639A1 (en) 2017-09-20
EP3220639B1 (en) 2019-02-20
CN107197276B (zh) 2023-09-08
KR20170106919A (ko) 2017-09-22
US10419663B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP2017168878A (ja) 半導体装置、符号化制御方法及びカメラ装置
JP4554927B2 (ja) ビデオトランスコーディングにおけるレート制御方法およびシステム
US11997287B2 (en) Methods and systems for encoding of multimedia pictures
JP5286581B2 (ja) 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
JP2014192589A (ja) 動画像データ配信装置、方法、プログラム、及びシステム
JP2005515732A (ja) 計算量制約データ圧縮における動的制御
US20190200024A1 (en) Moving picture coding apparatus, moving picture coding method and recording medium on which program for moving picture coding is recorded
KR20130028093A (ko) 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
TWI575939B (zh) 基於策略的影像編碼
JP2019080291A (ja) データ処理装置及びデータ処理方法
JP5879555B2 (ja) 動画像符号化装置
WO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
US10349072B2 (en) Image processing apparatus and control method for the same
KR100950275B1 (ko) 모델 파라미터 기반의 비디오 인코딩 비트율 제어장치와 방법 및 이를 수록한 저장매체
JP2006180036A (ja) 動画符号化伝送制御装置および動画符号化伝送制御方法
JP2011061362A (ja) 符号化装置、符号化方法、および符号化プログラム
JP4609411B2 (ja) 動画像符号化装置及び動画像符号化プログラム
JP2012138661A (ja) 画像処理装置および方法
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP2007208377A (ja) 動画像符号化装置、方法及びプログラム
JPWO2020008858A1 (ja) 動画像符号化装置、動画像符号化方法、プログラム
JP2009171339A (ja) 動画像符号化装置、方法及びプログラム
JP6648898B2 (ja) ビデオ符号化データ変換装置、ビデオ符号化データ変換方法及びビデオ符号化データ変換プログラム
WO2021083286A1 (zh) 码率控制的方法与装置及计算机存储介质
JP2018006869A (ja) 画像伝送システム及びその制御方法及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200616