JP2015130600A - 画像処理装置及びその制御方法、並びに、画像配信システム - Google Patents
画像処理装置及びその制御方法、並びに、画像配信システム Download PDFInfo
- Publication number
- JP2015130600A JP2015130600A JP2014001239A JP2014001239A JP2015130600A JP 2015130600 A JP2015130600 A JP 2015130600A JP 2014001239 A JP2014001239 A JP 2014001239A JP 2014001239 A JP2014001239 A JP 2014001239A JP 2015130600 A JP2015130600 A JP 2015130600A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- encoding
- distribution
- image data
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
前記符号量制御手段が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正手段と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
前記配信手段による配信セッション数の変化に伴い、前記符号量補正手段の補正の量を変更するとともに、セッション数が増加する場合、前記符号化手段は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする。
図1(a)に本実施形態を適応したストリーミング装置の構成を示す。この装置は、監視カメラ内に搭載されるものである。最初の配信セッションが確立すると、N枚毎に発生するIフレーム(画面内符号化方式で生成された画面内符号化映像)と、(N-1)枚のPフレーム(画面間予測符号化方式で生成された画面間予測符号化映像)から成るフレーム群でGOP構成されるMPEGデータ(動画像データストリーム)を生成して、配信セッションへの配信を開始する機能を有す。配信セッションは、有限個の範囲でMPEGデータ配信中にも最大M個(M≧2)まで増設可能であり、MPEGデータ配信中に新たなセッションが増設された場合、前述のIフレーム発生間隔Nより短い間隔でIフレームを発生させる機能を有す。
ビットレート×n … (1)
である。また、nフレーム後にIピクチャが発生すると、
a + (n-1) × b …(2)
のVBV蓄積データを消費する(VBV使用量を低下させる)。
従って、
d = x + (ビットレート×n) − (a + (n-1) × b) … (3)
dが、(n-1)フレーム後まで最小符号量でPフレームを生成し、最小符号量のIフレームを発生させた場合の、VBV使用量である。
次に、最初のセッションが確立して、符号化を開始直後の目標符号量補正の緩和について説明する。
次に、セッション増加時のみ目標符号量補正処理を行う方法について説明する。システムの構成は第1の実施形態と同じであるため省略する。
ビットレート×m … (4)
である。また、mフレーム後にIピクチャが発生すると、
a + (m-1) × b …(5)
のVBV蓄積データを消費する(VBV使用量を低下させる)。
従って、次式が成り立つようにmを決定することで、
(ビットレート×m) − (a + (m-1) × b) ≧ 0 … (6)
VBV蓄積量が0の状態からでもmフレーム分符号化した後に、Iフレームが生成可能となる。換言すれば、『(ビットレート×m)』が『 (a + (m-1) × b)』を上回ったときに、Iフレームを生成する。
上記第3の実施形態に対して、mフレーム符号化前にIフレームが発生可能であれば、Iフレームを発生させる方法を、第4の実施形態として説明する。
x + (ビットレート×m’) − (a + (m’-1) × b) ≧ 0 … (7)
上記で算出したm’ (m’≦m)フレーム符号化した後に、Iフレームが生成可能となる。
{Danraku=ON}
同様に、新たなセッションが確立した場合、符号量補正部110は、符号量制御部109へのPフレーム目標符号量を最小値bへ補正開始する。この目標符号量bのPフレームを(7)式で動的に算出したm’を用い、(m’-1)枚符号化したのち、Iフレームを発生させると共に、符号量補正部110による符号量補正を終了する(補正を解除する)。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (11)
- 映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
前記符号量制御手段が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正手段と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
前記配信手段による配信セッション数の変化に伴い、前記符号量補正手段の補正の量を変更するとともに、セッション数が増加する場合、前記符号化手段は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする画像処理装置。 - 配信セッション数が0から1へ変化した後、前記バッファ使用量が所定の量を上まわることを条件に前記符号量補正手段は符号量の制御を開始することを特徴とする請求項1に記載の画像処理装置。
- 映像信号を符号化して1つの動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記使用量に基づき割り当て可能な最大の符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
前記符号量制御手段が定める割り当て符号量を補正する、符号量補正手段と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
前記配信手段による配信セッション数の増加を検知した後、mフレーム分の符号化には、前記符号量補正手段による符号量の補正を行い、前記mフレーム符号化した後、画面内符号化で符号化映像を生成すると共に、前記符号量補正手段による補正を解除することを特徴とする画像処理装置。 - 前記符号化手段は、前記mフレーム以内に、前記バッファ使用量が所定値を上回った場合に、画面内符号化で符号化映像を生成すると共に、前記符号量補正手段にとる補正を解除することを特徴とする請求項3に記載の画像処理装置。
- 映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置の制御方法であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御工程と、
前記符号量制御工程が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正工程と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化工程と、
前記符号化工程が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信工程とを有し、
前記配信工程による配信セッション数の変化に伴い、前記符号量補正工程の補正の量を変更するとともに、セッション数が増加する場合、前記符号化工程は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする画像処理装置の制御方法。 - 配信セッション数が0から1へ変化した後、前記バッファ使用量が所定の量を上まわることを条件に前記符号量補正工程は符号量の制御を開始することを特徴とする請求項5に記載の画像処理装置の制御方法。
- 映像信号を符号化して動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置の制御方法であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記使用量に基づき割り当て可能な最大の符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御工程と、
前記符号量制御工程が定める割り当て符号量を補正する、符号量補正工程と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化工程と、
前記符号化工程が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信工程とを有し、
前記配信工程による配信セッション数の増加を検知した後、mフレーム分の符号化には、前記符号量補正工程による符号量の補正を行い、前記mフレーム符号化した後、画面内符号化で符号化映像を生成すると共に、前記符号量補正工程による補正を解除することを特徴とする画像処理装置の制御方法。 - 前記符号化工程は、前記mフレーム以内に、前記バッファ使用量が所定値を上回った場合に、画面内符号化で符号化映像を生成すると共に、前記符号量補正工程にとる補正を解除することを特徴とする請求項7に記載の画像処理装置の制御方法。
- コンピュータに読み込ませ実行させることで、前記コンピュータに請求項5乃至8のいずれか1項に記載の方法の各工程を実行させるためのプログラム。
- 画像配信システムであって、
取得した映像信号を画面内符号化方式及び画面間予測符号化方式を用いて符号化した動画データを生成する符号化手段と、
前記符号化手段によって生成された動画データをネットワークを介して配信する配信手段とを有し、
前記符号化手段は、所定の数のフレームを含む期間における発生符号量が所定の閾値を上回らないように発生符号量を制御し、
前記符号化手段は、前記配信手段のセッション数が増加したことに応じて、画面内符号化方式で前記取得した映像信号を符号化するとともに、所定の閾値を増加させることを特徴とする画像配信システム。 - 画像配信システムであって、
取得した映像信号を画面内符号化方式及び画面間予測符号化方式を用いて符号化した動画データを生成する符号化手段と、
前記符号化手段によって生成された動画データをネットワークを介して配信する配信手段とを有し、
前記符号化手段は、復号機の入力バッファの使用量を仮想的に算出し、符号化した動画データの符号量に基づいて、前記復号機の入力バッファの使用量が所定の閾値を下まわらないように発生符号量を制御し、
前記符号化手段は、前記配信手段のセッション数が増加したことに応じて、画面内符号化方式で前記取得した映像信号を符号化するとともに、前記所定の閾値を低下させることを特徴とする画像配信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014001239A JP6289103B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置及びその制御方法、並びに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014001239A JP6289103B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置及びその制御方法、並びに、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015130600A true JP2015130600A (ja) | 2015-07-16 |
JP2015130600A5 JP2015130600A5 (ja) | 2017-02-16 |
JP6289103B2 JP6289103B2 (ja) | 2018-03-07 |
Family
ID=53761040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001239A Expired - Fee Related JP6289103B2 (ja) | 2014-01-07 | 2014-01-07 | 画像処理装置及びその制御方法、並びに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6289103B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004215074A (ja) * | 2003-01-07 | 2004-07-29 | Ntt Docomo Inc | サーバ、送信レート制御方法、プログラムおよび記録媒体 |
JP2005051707A (ja) * | 2003-07-31 | 2005-02-24 | Nec Corp | 画像データ通信システム及び画像データ通信方法 |
JP2005072742A (ja) * | 2003-08-21 | 2005-03-17 | Sony Corp | 符号化装置及び符号化方法 |
JP2005184254A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム |
JP2007028647A (ja) * | 1996-04-12 | 2007-02-01 | Sony Corp | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
WO2011013349A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 映像データ処理装置及び映像データ処理システム |
JP2012222531A (ja) * | 2011-04-06 | 2012-11-12 | Sony Corp | 画像処理装置および方法 |
-
2014
- 2014-01-07 JP JP2014001239A patent/JP6289103B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007028647A (ja) * | 1996-04-12 | 2007-02-01 | Sony Corp | 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
JP2004215074A (ja) * | 2003-01-07 | 2004-07-29 | Ntt Docomo Inc | サーバ、送信レート制御方法、プログラムおよび記録媒体 |
JP2005051707A (ja) * | 2003-07-31 | 2005-02-24 | Nec Corp | 画像データ通信システム及び画像データ通信方法 |
JP2005072742A (ja) * | 2003-08-21 | 2005-03-17 | Sony Corp | 符号化装置及び符号化方法 |
JP2005184254A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム |
WO2011013349A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 映像データ処理装置及び映像データ処理システム |
JP2012222531A (ja) * | 2011-04-06 | 2012-11-12 | Sony Corp | 画像処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6289103B2 (ja) | 2018-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5180294B2 (ja) | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 | |
KR101280700B1 (ko) | 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램 | |
US8948242B2 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
JP2005236990A (ja) | リアルタイム複雑性適応及び注目画像領域コーディング付きビデオコーデックシステム | |
JPH07184196A (ja) | 画像符号化装置 | |
JPWO2009157577A1 (ja) | 画像処理装置及び画像処理方法 | |
JP5365805B2 (ja) | 動画像変換装置、動画像変換方法、および動画像変換プログラム | |
US9615095B2 (en) | Coding device, imaging device, coding transmission system, and coding method | |
JP2004274236A (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
JP7020873B2 (ja) | ビデオエンコーディングのための方法及びエンコーダ | |
JP4362795B2 (ja) | 動画像符号化装置及びその方法 | |
JP2010183181A (ja) | 画像処理装置、およびそれを搭載した撮像装置 | |
JP6168672B1 (ja) | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 | |
JP2010233263A (ja) | 画像処理装置および方法、プログラム、並びに、記録媒体 | |
JP2004328150A (ja) | 動画像符号化装置及び方法 | |
WO2011108146A1 (ja) | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 | |
JP6289103B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP4586340B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
JP2008263443A (ja) | 情報処理装置および方法、並びにプログラム | |
JP5847199B2 (ja) | 符号化動画像の生成方法、画像符号化方法および画像符号化装置 | |
JP4193080B2 (ja) | 符号化装置及び方法 | |
JP2010212785A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2009130864A (ja) | 画像処理装置、およびそれを搭載した撮像装置 | |
JP2009118096A (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
JP2010050833A (ja) | 映像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6289103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |