JP2015130600A - 画像処理装置及びその制御方法、並びに、画像配信システム - Google Patents

画像処理装置及びその制御方法、並びに、画像配信システム Download PDF

Info

Publication number
JP2015130600A
JP2015130600A JP2014001239A JP2014001239A JP2015130600A JP 2015130600 A JP2015130600 A JP 2015130600A JP 2014001239 A JP2014001239 A JP 2014001239A JP 2014001239 A JP2014001239 A JP 2014001239A JP 2015130600 A JP2015130600 A JP 2015130600A
Authority
JP
Japan
Prior art keywords
code amount
encoding
distribution
image data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014001239A
Other languages
English (en)
Other versions
JP2015130600A5 (ja
JP6289103B2 (ja
Inventor
秀一 細川
Shuichi Hosokawa
秀一 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014001239A priority Critical patent/JP6289103B2/ja
Publication of JP2015130600A publication Critical patent/JP2015130600A/ja
Publication of JP2015130600A5 publication Critical patent/JP2015130600A5/ja
Application granted granted Critical
Publication of JP6289103B2 publication Critical patent/JP6289103B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数の配信用セッションに対するストリーミング配信を可能とし、配信中に新たなセッションが増設された場合でもVBVモデルを破綻させない。【解決手段】復号機の入力バッファの使用量を仮想的に算出し、使用量に基づき割り当て可能な符号量を算出し、最大割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御部109と、符号量制御部が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正部110とを含み、補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれかを選んで符号化を行い、動画像データストリームを生成する符号化部100と、生成した動画像データストリームを配信する配信セッション数を検知し、検知したセッションに対して動画像データストリームを配信する配信手段200とを有する。【選択図】図1

Description

本発明は、画像処理装置及びその制御方法、並びに、画像配信システムに関するものである。
監視カメラとクライアント(映像データ処理装置)とをネットワークを介して接続し、監視する監視カメラシステムにおいては、ネットワークの伝送量を抑えるため、配信データをMPEG(Movie Picture Experts Group)規格で符号化するのが一般的である。MPEGで符号化される映像データは、画面内符号化映像たるIフレーム(Intra-codedフレーム)、画像間予測符号化画像たるPフレーム(Predictedフレーム)・Bフレーム(Bi-directional predictedフレーム)の3種類からなるフレーム群で構成される。
Iフレームは他のフレームに依存することなく符号化されることから、データ量が多いが、単独で復号を開始できるという特徴を持つ。B,Pフレームは他のフレーム間のデータ差分に基づいて符号化されることから、データ量は少ないが、単独では映像データまで復号できないという特徴を持つ。監視カメラの配信データは、Iフレームの発生比率を抑えて、B,Pフレームの比率を上げることで、ネットワークの伝送量を抑えているのが一般的である。
近年、複数台の複監視カメラと複数台のクライアントがネットワークを介して接続され、各クライアントは受信先カメラを動的に切り替えながら監視を行うことが可能な監視カメラシステムが提案されている(図2)。MPEGで配信される映像データは、Iフレームの受信まで復号できない。このため、クライアントは接続先を切り替える際、Iフレーム受信まで監視画を得られないという課題がある(図3)。
このような課題に対して、例えば、特許文献1が提案されている。特許文献1の装置は、カメラ内に、Iフレームの発生頻度が異なる複数個のMPEG符号化部を配して複数個のMPEGデータを生成し、この複数個のMPEGデータの中から1つを、状況に応じて選択し配信することで、クライアントの監視画が得られない期間を短縮するというものである。
国際公開第2011/013349号パンフレット
しかし、特許文献1の装置はMPEG符号化を行う構成を複数個もつ必要があり、装置構成が複雑化し、かつ、コスト高になるという問題がある。
本発明はかかる問題に鑑みなされたものである。そして、本発明は、単一の符号化を行う構成が生成するMPEGデータを用いて複数の配信用セッションに対するストリーミング配信が可能であり、配信中に新たなセッションが増設された場合、短時間にIフレームを、出力することができる画像処理装置を提供することを目的とする。
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
前記符号量制御手段が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正手段と、
前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
前記配信手段による配信セッション数の変化に伴い、前記符号量補正手段の補正の量を変更するとともに、セッション数が増加する場合、前記符号化手段は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする。
本発明の装置を用いることで、単一の符号化手段が生成するMPEGデータを用いて複数の配信用セッションに対するストリーミング配信が可能であり、配信中に新たなセッションが増設された場合、短時間にIフレームを出力することができる。
第1の実施形態におけるシステム構成を説明する図。 監視カメラとクライアントの接続と、接続切り替えの一例を示す図。 接続切り替えを行う際の、監視画を得られない期間を説明する図。 MPEGバッファ遷移の例を説明する図。 目標符号量の補正を説明する図。 第1の実施形態における補正処理の発生条件を説明する図。 第1の実施形態におけるVBV使用量遷移のイメージを示した図。 第2の実施形態における補正処理の発生条件を説明する図。 第2の実施形態におけるVBV使用量遷移のイメージを示した図。 第3の実施形態におけるVBV使用量遷移のイメージを示した図。 第4の実施形態におけるVBV使用量遷移のイメージを示した図。
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、CPUがメモリ上に展開したコンピュータプログラムにより実行されても良い。
[第1の実施形態]
図1(a)に本実施形態を適応したストリーミング装置の構成を示す。この装置は、監視カメラ内に搭載されるものである。最初の配信セッションが確立すると、N枚毎に発生するIフレーム(画面内符号化方式で生成された画面内符号化映像)と、(N-1)枚のPフレーム(画面間予測符号化方式で生成された画面間予測符号化映像)から成るフレーム群でGOP構成されるMPEGデータ(動画像データストリーム)を生成して、配信セッションへの配信を開始する機能を有す。配信セッションは、有限個の範囲でMPEGデータ配信中にも最大M個(M≧2)まで増設可能であり、MPEGデータ配信中に新たなセッションが増設された場合、前述のIフレーム発生間隔Nより短い間隔でIフレームを発生させる機能を有す。
符号化部100は、配信用のMPEGデータを生成する。配信部200は、配信用セッションの確立要求の検知と、符号化部100で生成されたMPEGデータの配信を行う。制御部300は、符号化部100及び配信部200の制御を行う。
ネットワークからセッション確立の要求が受信すると、配信部200は配信用のセッションを確立すると共に、制御部300へセッションの確立を通知する。制御部300は、符号化部100を駆動してIPPPPP…IPPPPPとN枚毎に1枚以上のIフレームが発生するMPEGデータを生成し、配信部200に引き渡す。配信部200は受け取ったMPEGデータを前述のセッション確立の要求元のクライアントへ配信する。
MPEGデータ配信中に新たなセッションの確立の要求を別のクライアントから受信すると、配信部200はセッションの増設を制御部300へ通知する。セッション増設通知を受けた制御部300は、符号化部100に対して、前述の周期Nとは無関係にIフレームを生成させ、以降はこのIフレームを基準として、同様にIフレームがN枚毎のMPEGデータを生成させる。配信部200は、同様に請け負った同一のMPEGデータを、確立済みの全セッションに対して配信を行う。
以下に実施形態における符号化部100について図1(b)を参照して詳しく説明する。符号化部100は、動き検出部101、動き補償部102、イントラ予測部103、減算部104、DCT(Discrete Cosine Transform)演算部105、量子化部106、VLC(可変長符号化)部107、送信バッファ108、符号量制御部109、符号量補正部110、逆量子化部111、IDCT(Inverse Discrete Cosine Transform)演算部112、加算部113、画像メモリ114を備えている。
D1は本装置がストリーミング配信する対象となる、不図示のカメラ部からの入力映像データを示す。D2はイントラ予測を行う場合の予測画像データ、D3はインター予測を行う場合の予測画像データを示す。そして、D4はインター予測する場合の参照画像データ、D5は入力画像データD1から冗長な情報を取り除いた差分画像データを示す。
まず、符号化部100に入力画像データD1が入力される。イントラ符号化においては、イントラ予測部103がD1から予測画像データD2を生成し、減算部104においてD1及びD2との差分画像データD5を得る。
一方、インター符号化においては、動き検出部101が入力映像データD1及び参照画像データD4から動きベクトルを生成する。動き補償部102は、この動きベクトル及び参照画像データD4から予測画像データD3を生成する。減算部102は同様にD1及びD3から差分画像データD5を生成する。これらは16画素×16画素のMB(Macro Block)毎に切り替えて使用できる。予測方向は与えられたフレームタイプにより決定される。
過去からの予測により符号化するモードと、予測をしないでそのMBを独立で符号化するモードの2モードが存在するのがPフレームである。すべてのMBが独立で符号化するモードであるのがIフレームである。Pフレームは、Iフレームに比べて過去からの予測が可能であるため、フレーム間の冗長な情報を削減することが可能であり、符号量を少なくできる。これに対し、Iフレームはフレーム内でしか冗長な情報を削減することができず、一般に、符号量はPフレームより多くなる。
動き検知部101における動き検出は、入力画像データD1と画像メモリ112からの参照画像データD4との間で、動き領域をMB毎にパターンマッチングを行って、ハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルには水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードと共にMBの付加情報としてVLC部106へ伝送される。
減算部104から出力された差分画像信号は、DCT演算部105に供給される。DCT演算部105は供給された差分画像信号に対して離散コサイン変換(Discrete Cosine Transform)を行い、DCT係数を生成する。生成されたDCT係数は量子化部106に供給され、ここで量子化が行われる。量子化部106で生成された量子化データはVLC部107に供給されて、可変長符号化される。VLC部107で可変長符号化されたデータは、送信バッファ108に一時蓄えられた後、前述の付加情報と共に配信部200を介して配信される。
また、その出力される符号化データの発生符号量は符号量制御部109に供給される。ここで目標符号量に対する発生符号量との誤差符号量とされた後、量子化部106へ目標符号量としてフィードバックされて、量子化スケールを調整することで符号量制御される。符号量制御部109が算出した目標符号量は、量子化部106へフィードバックされる前に、符号量補正部110によって補正されるが、この詳細は後述する。
また、量子化部106からの量子化データは、逆量子化部111にて逆量子化され、更にIDCT演算部112にて逆DCTされ、差分画像データまで戻される。この差分画像データは、加算部113を介して減算前の画像データD2又はD3のいずれかと加算され、画像データに復元され、参照画像データとして画像メモリ114に一時蓄積される。動き補償予測部101は、画像メモリ114に記録された信号を、入力画像信号データとの動き補償を行うための参照画像データ(復号化画像データ)として使用する。
ここで、送信バッファ108から出力される符号化データのビットストリームは、1フレーム毎に可変長の符号量をもっている。これはMPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があるためである。さらに、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためでもある。
この場合、多くはその画像のエントロピー比率に配分しつつ、送信バッファ108の記憶容量(バッファ容量)の制限を守りながら符号量制御される。符号量制御部109は発生した符号量と符号化レートの関係を監視し、所定のバッファ容量に収まるように目標符号量を設定する。この値はVLC部107にフィードバックされ、符号量制御部109に入り、そこで量子化部106にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。
このような可変長データを固定の転送レート(符号化レート)で符号化する場合、送信先(復号機)の復号化部の入力バッファの最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったところから、所定の時刻で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがMPEGで規定されている。この規定(VBVバッファ規定)を守っていれば、VBVバッファ内でのレートは局部的に変化しているものの、観測期間を長くとれば固定の転送レートとなり、MPEGではこのことを固定転送レートであると定義している。
発生符号量の少ない場合にはバッファ使用量は、上限値に張り付いた状態になるが、この場合、バッファ使用量が上限値になった場合、復号化器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。
こうしたバッファ推移を図4に示す。図4は縦軸がバッファ使用量、横軸が時間を示す。同図に示すように、MPEG符号化では、仮に非常に発生符号量が少なくても、送信先の復号化部の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する必要がある。
次に、符号量補正部110の処理について図5を用いて説明する。符号量補正部110は、この仮想的なVBVモデルにおいて、nフレーム以内にIフレームを1枚発生させても、VBVモデルがアンダーフローしないように、符号量制御部109が生成した目標符号量を補正する機能を有する。
同図の「a」は、本システムが生成するIフレームの最小符号量、同図の「b」は本システムが生成するPフレームの最小符号量であり、これらは予めシステムで定められた数値である。同図の「c」は符号量制御部109が生成した当該フレームの目標符号量、同図のxは当該フレームを復号した時点でのVBVの使用量である。
当該フレーム後、n(n<N)フレームでIフレームを生成可とする場合、MPEGデータ供給分によるVBV使用量の持ち上げ量は
ビットレート×n … (1)
である。また、nフレーム後にIピクチャが発生すると、
a + (n-1) × b …(2)
のVBV蓄積データを消費する(VBV使用量を低下させる)。
従って、
d = x + (ビットレート×n) − (a + (n-1) × b) … (3)
dが、(n-1)フレーム後まで最小符号量でPフレームを生成し、最小符号量のIフレームを発生させた場合の、VBV使用量である。
dが0以上の数値であった場合、nフレーム後にアンダーフローなしにIフレームを発生可能である。d=0となる場合のxを目標符号量補正閾値とし、VBV使用量が閾値以上であれば目標符号量の補正は行わない。
しかし、dが負の値であった場合、nフレーム以内にアンダーフロー無しでIフレームの発生が行えない。そこで、符号量補正部110は、目標符号量cからd分を減らしたc’を目標符号量として、量子化部106へ通知する(n=1は、常にIフレームを発生可能な制御である)。
また、この補正処理の発生条件を図6に示す。本システムは最大Mセッションまでの配信に対応しているので、配信セッションがM個確立後は、所定間隔Nより短い間隔でIフレームを発生させる必要がない。
従って、S601において確立済みの配信セッション数を最大値Mと比較する。配信セッション数がMより小さい場合は、S602において前述の目標符号量補正処理を行う。一方、セッション数が最大値Mに達した場合は、符号量補正部110による目標符号量の補正処理をスキップする。
この処理を行った場合のVBV使用量遷移を示したものが図7である。新たなセッションが確立した場合、符号量制御部109はPフレームに対する目標符号量に最小値bを与える。この目標符号量bのPフレームを(n-1)枚符号化したのち、目標符号量aのIフレームを発生させる。
以上を行うことで、セッション数が増加した場合に、その増加したタイミングからnフレーム以内にVBVモデル上でアンダーフローが発生しないように、Iフレームを生成して配信し、新たに確立したセッション先のクライアントに素早くストリーミング画を出力させることができる。
なお、Iフレーム、Pフレームの最小符号量a,bは、MPEG規格上の最小値とせず、本システムが配信したい画質に応じて異なる値を決定しても良い。また、目標符号量と実際に発生する符号量の誤差が大きい場合は、a,bに最大誤差量を算出して加算するなどしても良い。また、新たなセッションの確立後、nフレームをまたず、VBV使用量にIフレーム生成可能なマージンが発生した場合は、その時点でIフレームを発生させても良い。
また、本実施形態では、ストリーミング装置が映像信号の符号化、および符号化された動画データの配信を行うものとして説明したが、必ずしもこのような構成でなくともよい。たとえば、撮像装置とストリーミング装置とからなる画像配信システムであってもよい。この場合、撮像装置は、撮像部と、撮像部によって得られた画像に所定の処理を施す画像処理部、画像処理部で処理の施された映像信号を符号化する符号化部、および制御部を有する。また、撮像装置は、ストリーミング装置と通信を行う通信部を有する。一方、ストリーミング装置は、撮像装置と通信を行う通信部を有し、また、ネットワークを介してクライアントに、取得した符号化済みの動画データを配信する配信部、および制御部を有する。
このシステムでは、撮像装置の符号化部によって符号化された動画データを撮像装置の通信部を介して、ストリーミング装置の通信部に送信し、ストリーミング装置の配信部は、ネットワークを介してクライアントに符号化済みの動画データを配信する。そして、ストリーミング装置の制御部は、本実施形態の制御部300の動作を行う。このとき、実施形態において符号化部100との間で行われていた通信は、ストリーミング装置の通信部を介して、撮像装置の通信部に送信され、撮像装置の制御部によって、撮像装置の符号化部に通知される。一方、撮像装置の符号化部は、本実施形態の符号化部100と同様の動作を行う。このように、本実施形態で説明した各ブロックは、それぞれ別々の装置に備えられていてもよい。
[第2の実施形態]
次に、最初のセッションが確立して、符号化を開始直後の目標符号量補正の緩和について説明する。
符号化が始まった直後の、VBV使用量は0であり、ある程度の時間をかけてVBV使用量を持ち上げる。従って、符号化開始直後から補正をかけると、配信データの始端に十分な符号量を与えることができず、画質劣化する問題がある。
図8はこれに対する符号量補正処理の発生条件である。S801において、VBV使用量を所得する。S802においてVBV使用量が所定値を超えたか否かを判定し、一度でも超えていればS803以降の目標符号量補正処理を行う。一度も超えていない場合は、目標符号量補正処理を行わない。S803以降は、図6と同じであるため、説明を省略する。この処理を行った場合のVBV使用量遷移のイメージを示したものが図9である。
[第3の実施形態]
次に、セッション増加時のみ目標符号量補正処理を行う方法について説明する。システムの構成は第1の実施形態と同じであるため省略する。
aは、本システムが生成するIフレームの最小符号量、bは本システムが生成するPフレームの最小符号量であり、これらは予めシステムで定められた数値である。cは符号量制御部109が生成した当該フレームの目標符号量である。
当該フレーム後、mフレームでIフレームを生成可とする場合、MPEGデータ供給分によるVBV使用量の持ち上げ量は
ビットレート×m … (4)
である。また、mフレーム後にIピクチャが発生すると、
a + (m-1) × b …(5)
のVBV蓄積データを消費する(VBV使用量を低下させる)。
従って、次式が成り立つようにmを決定することで、
(ビットレート×m) − (a + (m-1) × b) ≧ 0 … (6)
VBV蓄積量が0の状態からでもmフレーム分符号化した後に、Iフレームが生成可能となる。換言すれば、『(ビットレート×m)』が『 (a + (m-1) × b)』を上回ったときに、Iフレームを生成する。
新たなセッションが確立した場合、符号量補正部110は、符号量制御部109へのPフレーム目標符号量を最小値bへ補正開始する。この目標符号量bのPフレームを(m-1)枚符号化したのち、Iフレームを発生させると共に、符号量補正部110による符号量補正を終了する。この処理を行った場合のVBV使用量遷移のイメージを示したものが図10である。
以上を行うことで、セッション数が増加した場合に、mフレーム後にVBVモデル上でアンダーフローが発生しないように、Iフレームを生成して配信し、新たに確立したセッション先のクライアントに素早くストリーミング画を出力させることができる。
[第4の実施形態]
上記第3の実施形態に対して、mフレーム符号化前にIフレームが発生可能であれば、Iフレームを発生させる方法を、第4の実施形態として説明する。
xは当該フレームを復号した時点でのVBVの使用量とすると、次式が成り立つようにm’を決定する。
x + (ビットレート×m’) − (a + (m’-1) × b) ≧ 0 … (7)
上記で算出したm’ (m’≦m)フレーム符号化した後に、Iフレームが生成可能となる。
{Danraku=ON}
同様に、新たなセッションが確立した場合、符号量補正部110は、符号量制御部109へのPフレーム目標符号量を最小値bへ補正開始する。この目標符号量bのPフレームを(7)式で動的に算出したm’を用い、(m’-1)枚符号化したのち、Iフレームを発生させると共に、符号量補正部110による符号量補正を終了する(補正を解除する)。
この処理を行った場合のVBV使用量遷移のイメージを示したものが図11である。
以上を行うことで、セッション数が増加した場合に、mフレーム以内にVBVモデル上でアンダーフローが発生しないように、Iフレームを生成して配信し、新たに確立したセッション先のクライアントに素早くストリーミング画を出力させることができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (11)

  1. 映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
    動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
    前記符号量制御手段が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正手段と、
    前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
    前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
    前記配信手段による配信セッション数の変化に伴い、前記符号量補正手段の補正の量を変更するとともに、セッション数が増加する場合、前記符号化手段は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする画像処理装置。
  2. 配信セッション数が0から1へ変化した後、前記バッファ使用量が所定の量を上まわることを条件に前記符号量補正手段は符号量の制御を開始することを特徴とする請求項1に記載の画像処理装置。
  3. 映像信号を符号化して1つの動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置であって、
    動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記使用量に基づき割り当て可能な最大の符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御手段と、
    前記符号量制御手段が定める割り当て符号量を補正する、符号量補正手段と、
    前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化手段と、
    前記符号化手段が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信手段とを有し、
    前記配信手段による配信セッション数の増加を検知した後、mフレーム分の符号化には、前記符号量補正手段による符号量の補正を行い、前記mフレーム符号化した後、画面内符号化で符号化映像を生成すると共に、前記符号量補正手段による補正を解除することを特徴とする画像処理装置。
  4. 前記符号化手段は、前記mフレーム以内に、前記バッファ使用量が所定値を上回った場合に、画面内符号化で符号化映像を生成すると共に、前記符号量補正手段にとる補正を解除することを特徴とする請求項3に記載の画像処理装置。
  5. 映像信号を符号化して、動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置の制御方法であって、
    動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記バッファ使用量に基づき割り当て可能な符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御工程と、
    前記符号量制御工程が定める割り当て符号量を、nフレーム以内に少なくとも1枚以上の画面内符号化映像が生成可能になるよう補正する、符号量補正工程と、
    前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化工程と、
    前記符号化工程が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信工程とを有し、
    前記配信工程による配信セッション数の変化に伴い、前記符号量補正工程の補正の量を変更するとともに、セッション数が増加する場合、前記符号化工程は前記セッション数の増加のタイミングから、nフレーム以内に少なくとも1枚以上の画面内符号化映像を生成することを特徴とする画像処理装置の制御方法。
  6. 配信セッション数が0から1へ変化した後、前記バッファ使用量が所定の量を上まわることを条件に前記符号量補正工程は符号量の制御を開始することを特徴とする請求項5に記載の画像処理装置の制御方法。
  7. 映像信号を符号化して動画像データストリームを生成し、これを複数の配信用セッションを介してストリーミング配信する画像処理装置の制御方法であって、
    動画像データストリームの符号量に基づき復号機の入力バッファの使用量を仮想的に算出し、前記使用量に基づき割り当て可能な最大の符号量をピクチャ毎に算出し、当該最大の割り当て符号量に基づきピクチャに対する割り当て符号量を定める符号量制御工程と、
    前記符号量制御工程が定める割り当て符号量を補正する、符号量補正工程と、
    前記補正された符号量に基づきピクチャ毎に、画面内符号化映像または画面間予測符号化映像のいずれか一方を選んで符号化を行い、動画像データストリームを生成する符号化工程と、
    前記符号化工程が生成した動画像データストリームを配信する配信セッション数を検知するとともに、検知したセッションに対して前記動画像データストリームを配信する配信工程とを有し、
    前記配信工程による配信セッション数の増加を検知した後、mフレーム分の符号化には、前記符号量補正工程による符号量の補正を行い、前記mフレーム符号化した後、画面内符号化で符号化映像を生成すると共に、前記符号量補正工程による補正を解除することを特徴とする画像処理装置の制御方法。
  8. 前記符号化工程は、前記mフレーム以内に、前記バッファ使用量が所定値を上回った場合に、画面内符号化で符号化映像を生成すると共に、前記符号量補正工程にとる補正を解除することを特徴とする請求項7に記載の画像処理装置の制御方法。
  9. コンピュータに読み込ませ実行させることで、前記コンピュータに請求項5乃至8のいずれか1項に記載の方法の各工程を実行させるためのプログラム。
  10. 画像配信システムであって、
    取得した映像信号を画面内符号化方式及び画面間予測符号化方式を用いて符号化した動画データを生成する符号化手段と、
    前記符号化手段によって生成された動画データをネットワークを介して配信する配信手段とを有し、
    前記符号化手段は、所定の数のフレームを含む期間における発生符号量が所定の閾値を上回らないように発生符号量を制御し、
    前記符号化手段は、前記配信手段のセッション数が増加したことに応じて、画面内符号化方式で前記取得した映像信号を符号化するとともに、所定の閾値を増加させることを特徴とする画像配信システム。
  11. 画像配信システムであって、
    取得した映像信号を画面内符号化方式及び画面間予測符号化方式を用いて符号化した動画データを生成する符号化手段と、
    前記符号化手段によって生成された動画データをネットワークを介して配信する配信手段とを有し、
    前記符号化手段は、復号機の入力バッファの使用量を仮想的に算出し、符号化した動画データの符号量に基づいて、前記復号機の入力バッファの使用量が所定の閾値を下まわらないように発生符号量を制御し、
    前記符号化手段は、前記配信手段のセッション数が増加したことに応じて、画面内符号化方式で前記取得した映像信号を符号化するとともに、前記所定の閾値を低下させることを特徴とする画像配信システム。
JP2014001239A 2014-01-07 2014-01-07 画像処理装置及びその制御方法、並びに、プログラム Expired - Fee Related JP6289103B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014001239A JP6289103B2 (ja) 2014-01-07 2014-01-07 画像処理装置及びその制御方法、並びに、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014001239A JP6289103B2 (ja) 2014-01-07 2014-01-07 画像処理装置及びその制御方法、並びに、プログラム

Publications (3)

Publication Number Publication Date
JP2015130600A true JP2015130600A (ja) 2015-07-16
JP2015130600A5 JP2015130600A5 (ja) 2017-02-16
JP6289103B2 JP6289103B2 (ja) 2018-03-07

Family

ID=53761040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014001239A Expired - Fee Related JP6289103B2 (ja) 2014-01-07 2014-01-07 画像処理装置及びその制御方法、並びに、プログラム

Country Status (1)

Country Link
JP (1) JP6289103B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215074A (ja) * 2003-01-07 2004-07-29 Ntt Docomo Inc サーバ、送信レート制御方法、プログラムおよび記録媒体
JP2005051707A (ja) * 2003-07-31 2005-02-24 Nec Corp 画像データ通信システム及び画像データ通信方法
JP2005072742A (ja) * 2003-08-21 2005-03-17 Sony Corp 符号化装置及び符号化方法
JP2005184254A (ja) * 2003-12-17 2005-07-07 Mitsubishi Electric Corp 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム
JP2007028647A (ja) * 1996-04-12 2007-02-01 Sony Corp 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体
WO2011013349A1 (ja) * 2009-07-31 2011-02-03 パナソニック株式会社 映像データ処理装置及び映像データ処理システム
JP2012222531A (ja) * 2011-04-06 2012-11-12 Sony Corp 画像処理装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028647A (ja) * 1996-04-12 2007-02-01 Sony Corp 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2004215074A (ja) * 2003-01-07 2004-07-29 Ntt Docomo Inc サーバ、送信レート制御方法、プログラムおよび記録媒体
JP2005051707A (ja) * 2003-07-31 2005-02-24 Nec Corp 画像データ通信システム及び画像データ通信方法
JP2005072742A (ja) * 2003-08-21 2005-03-17 Sony Corp 符号化装置及び符号化方法
JP2005184254A (ja) * 2003-12-17 2005-07-07 Mitsubishi Electric Corp 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム
WO2011013349A1 (ja) * 2009-07-31 2011-02-03 パナソニック株式会社 映像データ処理装置及び映像データ処理システム
JP2012222531A (ja) * 2011-04-06 2012-11-12 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
JP6289103B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
JP5180294B2 (ja) ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御
KR101280700B1 (ko) 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
US8948242B2 (en) Encoding device and method and multimedia apparatus including the encoding device
JP2005236990A (ja) リアルタイム複雑性適応及び注目画像領域コーディング付きビデオコーデックシステム
JPH07184196A (ja) 画像符号化装置
JPWO2009157577A1 (ja) 画像処理装置及び画像処理方法
JP5365805B2 (ja) 動画像変換装置、動画像変換方法、および動画像変換プログラム
US9615095B2 (en) Coding device, imaging device, coding transmission system, and coding method
JP2004274236A (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP7020873B2 (ja) ビデオエンコーディングのための方法及びエンコーダ
JP4362795B2 (ja) 動画像符号化装置及びその方法
JP2010183181A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP6168672B1 (ja) 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法
JP2010233263A (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
JP2004328150A (ja) 動画像符号化装置及び方法
WO2011108146A1 (ja) 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP6289103B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP4586340B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP2008263443A (ja) 情報処理装置および方法、並びにプログラム
JP5847199B2 (ja) 符号化動画像の生成方法、画像符号化方法および画像符号化装置
JP4193080B2 (ja) 符号化装置及び方法
JP2010212785A (ja) 動画像符号化装置及び動画像符号化方法
JP2009130864A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2009118096A (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP2010050833A (ja) 映像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180206

R151 Written notification of patent or utility model registration

Ref document number: 6289103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees