JP2003018597A

JP2003018597A - 画像符号化方式変換装置、方法および画像符号化方式変換プログラム

Info

Publication number: JP2003018597A
Application number: JP2001202722A
Authority: JP
Inventors: Masato Minami; 正人南; Tomoya Watanabe; 智也渡辺; Toshiyuki Koda; 敏行香田; Masahiro Wakamori; 正浩若森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-07-03
Filing date: 2001-07-03
Publication date: 2003-01-17

Abstract

(57)【要約】【課題】画像符号化方式変換装置において、入力フレ
ームレートおよび出力ビットレートを利用して目標発生
符号量を制御することにより、画質やフレームレートを
向上させる画像符号化方式変換装置、方法および画像符
号化方式変換プログラムを提供すること。【解決手段】第１の目標発生符号量算出部６におい
て、入力フレームレート計数部２で計数された単位時間
入力フレームレートや、送信データ量計数部３で計数さ
れた単位時間送信データ量に基づいて第１の符号化部７
における目標発生符号量を算出し、第１の復号化部５に
おいて受信画像ストリームを復号化して生成されたフレ
ーム画像を、第１の符号化部７において前記目標発生符
号量を目標に符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、外部から特定の画
像符号化方式で符号化された符号化画像ストリームを受
信し、それを異なる画像符号化方式に変換して符号化
し、外部へ送信する画像符号化方式変換装置に関するも
のである。

【０００２】

【従来の技術】従来、画像符号化方式変換装置として、
図１２に示すようなものがある。この図は、特開２００
０−５９７６６号公報に記載されている符号化装置およ
び方法、並びに提供媒体のブロック図である。

【０００３】図１２において、符号化パラメータ多重装
置１０３は、現符号化パラメータと、履歴復号装置１０
４より供給される履歴情報に含まれる複数世代の符号化
パラメータとを、復号装置１０２より供給されるビデオ
データに多重化し、ベースバンドのデジタルビデオ信号
として符号化パラメータ分離装置１０５に出力する。

【０００４】符号化パラメータ分離装置１０５は、符号
化装置１０６で符号化に使用する符号化パラメータを選
択し、現符号化パラメータとして符号化装置１０６に出
力するともに、残りの複数世代の符号化パラメータを履
歴符号化装置１０７に出力する。符号化装置１０６は、
符号化パラメータ分離装置１０５より供給されるビデオ
データを現符号化パラメータで符号化してビットストリ
ームを生成すると共に、そのビットストリームに履歴符
号化装置１０７より供給される複数世代の符号化パラメ
ータが履歴情報として含まれているユーザデータを多重
化し、後段のトランスコーダに出力する。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像符号化方式変換装置では、入力フレーム
レートや送信ビットレートの時間的変動に応じて送信ビ
ットストリームの発生符号量を制御する手段が存在しな
いために、回線状況の時間的変動によって、送信ビット
レートが減少する場合には、未送信ストリーム量が増大
し、それに伴い遅延時間も増大することにより、画像通
信のリアルタイム性が損なわれ、入力フレームレート減
少の場合には、送信回線容量の空きが増大し、送信回線
容量の空きの分だけ送信ストリームの画質が抑えられる
という問題があった。

【０００６】また、画像符号化方式変換装置に接続され
る双方の端末が対応する画像フォーマットが異なる場合
において、相手側端末で表示できる画像フォーマットに
変換して画像符号化ストリームを送信する仕組みが存在
しないために、画像通信ができなくなる場合があるとい
う問題があった。

【０００７】また、符号化手段で符号化されたストリー
ムの未送信量に応じて発生符号量を制御する、もしくは
駒落しする手段が存在しないために、未送信ストリーム
量が次第に蓄積して、遅延時間もそれに比例して増大し
ても、未送信ストリーム蓄積量を減少させるように制御
できないという問題があった。

【０００８】また、装置の設定を自由に変更する手段が
存在しないため、ユーザの送信ストリームに対する画質
優先や動き優先等の嗜好に自由に対応することができな
いという問題があった。

【０００９】本発明は、このような問題を解決するため
になされたもので、受信ビットレートや送信ビットレー
トが変動しても、過去の入力フレームレートおよび送信
ストリーム量によって発生符号量を制御させることで、
未送信ストリーム量が減少することにより画像通信のリ
アルタイム性を向上させ、また、送信回線容量の利用率
が高くなることによって送信ストリームの画質が向上す
る画像符号化方式変換装置を提供するものである。

【００１０】また、本発明は、双方の画像通信端末が対
応している画像フォーマットが異なる場合でも、画像フ
ォーマットを相手側端末の仕様に合わせて変換すること
により、端末間の画像通信を正常に行うことができる画
像符号化方式変換装置を提供するものである。

【００１１】また、本発明は、未送信ストリームの蓄積
量によって発生符号量を抑制または符号化時の駒落ちを
発生させることにより、未送信ストリーム蓄積量が一時
的に多くなっても、発生符号量抑制や駒落ちの制御によ
って未送信ストリームの蓄積量を下げることができるた
め、未送信ストリーム蓄積量に比例する遅延時間の増大
を防ぐことができる画像符号化方式変換装置を提供する
ものである。

【００１２】また、本発明は、入力手段を設けて、符号
化部の設定を自由に変更できるようにしたことにより、
ユーザの画質優先や動き優先等の嗜好に合わせて符号化
処理の設定を自由に選べるようになり、装置の応用の幅
を広げることができる画像符号化方式変換装置を提供す
るものである。

【００１３】

【課題を解決するための手段】本発明の画像符号化方式
変換装置、方法および画像符号化方式変換プログラム
は、単位時間を計測する単位時間計測部と、外部から第
１の符号化画像ストリームを受信するストリーム受信部
と、前記第１の符号化画像ストリームを復号化し、第１
のフレーム画像を生成する復号化部と、前記第１のフレ
ーム画像を符号化し、第２の符号化画像ストリームを生
成する符号化部と、前記第２の符号化画像ストリームを
外部へ送信するストリーム送信部と、前記単位時間計測
部で計測された単位時間の間に、前記ストリーム受信部
で外部から受信されたストリームのフレームレートであ
る単位時間入力フレームレートを計数する入力フレーム
レート計数部と、前記単位時間計測部で計測された単位
時間の間に、前記ストリーム送信部から外部へ送信され
たストリームのデータ量である単位時間送信データ量を
計数する送信データ量計数部と、前記単位時間入力フレ
ームレートと、前記単位時間送信データ量とに基づい
て、前記符号化部で第１のフレーム画像を符号化して生
成される第２の符号化画像ストリームの目標発生符号量
を算出する目標発生符号量算出部とを備え、前記符号化
部が、前記第１のフレーム画像を、前記目標発生符号量
を目標に符号化し、前記第２の符号化画像ストリームを
生成することを特徴とした構成を有している。

【００１４】この構成により、単位時間入力フレームレ
ートや単位時間送信データ量に基づいて、第２の符号化
画像ストリームの目標発生符号量を制御して、入力フレ
ームレートや送信ビットレートの時間的変動が生じて
も、発生符号量も追従して変動させることができるた
め、送信ビットレートが増加する場合には、出力回線効
率の向上によって画質が向上し、入力フレームレートが
増加する場合には、再符号化時の駒落ち率減少によって
入力フレームレートに対する出力フレームレートの劣化
が少なくなり、出力画像の動きの滑らかさの劣化を少な
くすることができることとなる。

【００１５】また、本発明の画像符号化方式変換装置、
方法および画像符号化方式変換プログラムは、外部から
第１の符号化画像ストリームを受信するストリーム受信
部と、前記第１の符号化画像ストリームを復号化し、第
１のフレーム画像を生成する復号化部と、前記第１のフ
レーム画像を画像フォーマット変換して第２のフレーム
画像に変換する画像フォーマット変換部と、前記第２の
フレーム画像を符号化して、第２の符号化画像ストリー
ムを生成する符号化部と、前記第２の符号化画像ストリ
ームを外部へ送信するストリーム送信部と、前記第１の
フレーム画像のフォーマットを記憶する第１の画像フォ
ーマット記憶部と、前記符号化部で符号化される第２の
フレーム画像のフォーマットを記憶する第２の画像フォ
ーマット記憶部と、前記第１のフレーム画像のフォーマ
ットと、前記第２のフレーム画像のフォーマットとに基
づいて、前記符号化部で第２のフレーム画像を符号化し
て生成される第２の符号化画像ストリームの目標発生符
号量を算出する目標発生符号量算出部とを備え、前記符
号化部が、前記第２のフレーム画像を、前記目標発生符
号量を目標に符号化し、前記第２の符号化画像ストリー
ムを生成することを特徴とした構成を有している。

【００１６】この構成により、画像フォーマット変換部
において画像フォーマットを変換することにより、本装
置を介して画像通信している双方の画像通信端末が対応
している画像フォーマットが異なる場合でも、相手側端
末に応じた画像フォーマット変換を行った後に符号化す
るので、相手側端末で正常に画像を表示することができ
ることとなる。

【００１７】さらに、本発明の画像符号化方式変換装
置、方法および画像符号化方式変換プログラムは、前記
ストリーム送信部に蓄積された未送信の第２の符号化画
像ストリームのフレームレートに基づいて、前記符号化
部における発生符号量の制御または符号化中止を行う符
号化制御部を備えたことを特徴とした構成を有してい
る。

【００１８】この構成により、符号化部の発生符号量を
減少させるもしくは符号化中止により、未送信データ量
の増加を防ぐことができるので、ストリーム送信部の未
送信データ量の増大により発生する遅延時間の低減や、
未送信データ量オーバーフローによるエラー発生を防止
することができることとなる。

【００１９】また、本発明の画像符号化方式変換装置、
方法および画像符号化方式変換プログラムは、前記目標
発生符号量算出部が前記目標発生符号量を算出する際に
使用するパラメータを入力して、前記目標発生符号量を
変更させるパラメータ入力部を備えたことを特徴とした
構成を有している。

【００２０】この構成により、パラメータ入力部により
前記符号化部の設定を自由に変更することができ、ユー
ザの画質優先や動き優先等の嗜好に自由に対応できるよ
うになり、多様な用途で本装置を利用することができる
こととなる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。

【００２２】（第１の実施の形態）本発明の第１の実施
の形態の画像符号化方式変換装置の構成図を図１に示
す。

【００２３】図１に示すように、本発明の画像符号化方
式変換装置は、単位時間計測部１、入力フレームレート
計数部２、送信データ量計数部３、ストリーム受信部
４、第１の復号化部５、第１の目標発生符号量算出部
６、第１の符号化部７およびストリーム送信部８を備え
ている。

【００２４】単位時間計測部１は、カウンタにより構成
され、カウンタは基準クロックを基に動作する係数カウ
ンタが利用される。カウンタが予め設定された単位時間
に到達すると、単位時間到達信号が出力される。

【００２５】入力フレームレート計数部２は、第１の符
号化画像ストリームがストリーム受信部４に受信される
度に、受信されたデータ量だけ受信量カウンタを加算し
て格納し、単位時間計測部１から単位時間到達信号が入
力されると、現在の受信量カウンタを単位時間入力フレ
ームレートとして格納し、受信量カウンタを０にリセッ
トする。

【００２６】送信データ量計数部３は、第２の符号化画
像ストリームがストリーム送信部８から送信される度
に、送信されたデータ量だけ送信量カウンタを加算して
格納し、単位時間計測部１から単位時間到達信号が入力
されると、現在の送信量カウンタを単位時間送信データ
量として格納し、送信量カウンタを０にリセットする。

【００２７】ストリーム受信部４は、外部から第１の符
号化画像ストリームを受信して格納し、受信された第１
の符号化画像ストリームの量を出力する。

【００２８】第１の復号化部５は、ストリーム受信部４
に格納された第１の符号化画像ストリームを取り込み、
復号化して第１のフレーム画像を生成して格納する。

【００２９】第１の目標発生符号量算出部６は、入力フ
レームレート計数部２に格納された単位時間入力フレー
ムレートと、送信データ量計数部３に格納された単位時
間送信データ量を逐次取り出し、第１の符号化部７にお
ける第２の符号化画像ストリームの目標発生符号量を計
算して格納する。

【００３０】第１の符号化部７は、第１の復号化部５に
おいて第１のフレーム画像一枚分が復号化された後、第
１の目標発生符号量算出部６に格納された目標発生符号
量と、第１の復号化部５に格納された第１のフレーム画
像を取り出して、前記目標発生符号量を目標に符号化し
て第２の符号化画像ストリームを生成し、ストリーム送
信部８に蓄積された第２の符号化画像ストリームの直後
に追加して蓄積する。

【００３１】ストリーム送信部８は、蓄積された第２の
符号化画像ストリームを蓄積順に逐次外部へ送信し、送
信後に蓄積されている第２の符号化画像ストリームのデ
ータ量を格納する。

【００３２】以上のように構成された本発明の第１の実
施の形態における画像符号化方式変換装置の動作を、図
２から図５のフローチャートに示し、図１の機能ブロッ
ク図とともに説明する。ここで、図２は、第１の符号化
画像ストリームの受信処理を示し、図３は、第２の符号
化画像ストリームの送信処理を示し、図４は、タイマー
処理、すなわち、単位時間入力フレームレートおよび単
位時間送信データ量の記録処理を示す。また、図５は、
第１の実施の形態における符号化・復号化処理を示す。

【００３３】最初に、単位時間計測部１において、単位
時間を計測し（Ｓ２０５、Ｓ２０６）、単位時間毎に入
力フレームレート計数部２および送信データ量計数部３
に通知する。単位時間の長さは、予め定められた固定の
値でも、外部から指定された値のどちらでも構わない。

【００３４】入力フレームレート計数部２においては、
ストリーム受信部４に受信された第１の符号化画像のフ
レーム数を計数し続けるが（Ｓ２０２）、単位時間計測
部１から単位時間通知が届いた場合には、前回の通知時
刻から今回の通知時刻までの間に計数された第１の符号
化画像のフレームレート（＝入力フレームレート）を第
１の目標発生符号量算出部６へ伝達する（Ｓ２０７）。
例えば、設定された単位時間が１秒であり、前回の通知
から今回の通知までの１秒間に、ストリーム受信部４に
１０フレームのデータが受信されていた場合には、１０
という値を入力フレームレート計数部２から第１の目標
発生符号量算出部６へ伝達する。

【００３５】送信データ量計数部３においては、ストリ
ーム送信部８から外部へ送信された第２の符号化画像ス
トリーム量を計数し続けるが（Ｓ２０４）、単位時間計
測部１から通知が届いた場合、前回の通知時刻から今回
の通知時刻までの間に計数された第２の符号化画像スト
リーム量（＝送信ビットレート）を、第１の目標発生符
号量算出部６へ伝達する（Ｓ２０８）。

【００３６】次に、ストリーム受信部４においては、外
部から第１の符号化画像ストリームを受信して、内部の
受信バッファに蓄積し、第１の復号化部５で復号化を実
行する際に取り出す（Ｓ２０１）。なお、外部からスト
リームデータが送られてきた場合には、他の構成の動作
とは独立に、直ちにデータ受信・蓄積処理を実行するも
のとする。

【００３７】次に、第１の復号化部５では、ストリーム
受信部４に蓄積された第１の符号化画像ストリームを取
り出し、フレーム画像に復号化する（Ｓ２１１）。

【００３８】次に、第１の目標発生符号量算出部６で
は、単位時間内に受信された第１の符号化画像の入力フ
レームレート（単位時間入力フレームレートとする）
と、単位時間内に送信された第２の符号化画像ストリー
ム量（単位時間送信量）とから、第１の符号化部７にお
ける目標発生符号量を決定する（Ｓ２１２）。具体的に
は、下記式（１）によって目標発生符号量を算出する。

【００３９】目標発生符号量＝単位時間送信量／単位時間入力フレームレート式（１）

【００４０】ただし、ストリーム送信開始・再開直後の
過渡期には、単位時間送信量、及び単位時間入力フレー
ムレートが０もしくは低い値になるため、この間は単位
時間送信量を固定値に設定しても構わない。

【００４１】なお、式（１）では単位時間入力フレーム
レートを用いて目標発生符号量を算出しているが、外部
から指定された出力フレームレート等のその他の情報も
利用して算出しても構わない。

【００４２】次に、第１の符号化部７では、第１の復号
化部５で第１のフレーム画像の復号化が実行された後、
その第１のフレーム画像に対して第１の目標発生符号量
算出部６で算出された目標発生符号量を目標に符号化処
理を実行し（Ｓ２１３）、符号化された第２の符号化画
像ストリームをストリーム送信部８に蓄積し（Ｓ２１
４）、新たに蓄積された量だけストリーム送信部８に記
憶されている未送信の第２の符号化画像ストリーム量の
値を更新する（Ｓ２１５）。例えば、ストリーム送信部
８に記憶されている未送信の第２の符号化画像ストリー
ムの量が100bitで、第１の符号化部７から700bitの第２
の符号化画像ストリームが新たに蓄積された場合は、10
0+700=800bitを未送信の第２の符号化画像ストリームの
量として新たに蓄積する。

【００４３】なお、符号化処理では、目標発生符号量は
量子化係数を算出するために利用され、画素値の変動や
イントラマクロブロックの増加等の要因により、実際の
発生符号量とは必ずしも一致しない。

【００４４】次に、ストリーム送信部８では、蓄積され
た第２の符号化画像ストリームを蓄積順に外部へ送信し
（Ｓ２０３）、送信された量だけ記憶されている未送信
の第２の符号化画像ストリームの量を減算する（Ｓ２１
０）。例えば、記憶されている未送信の第２の符号化画
像ストリームの量が1200bitで、今回新たに500bit送信
された場合には、1200-500=700bitを未送信の第２の符
号化画像ストリーム量として新たに記憶する。

【００４５】なお、外部からの送信要求に従って第２の
符号化画像ストリームの送信を実行する場合は、その他
の構成の動作とは無関係に、送信要求を受け取ると直ち
に送信処理を実行するものとする。

【００４６】以上のように、単位時間入力フレームレー
トや単位時間送信データ量に基づいて、第２の符号化画
像ストリームの目標発生符号量を制御しており、受信と
送信のビットレート不均衡や時間的変動が生じても、発
生符号量も追従して変動するため、送信ビットレートが
増大する場合には、出力回線効率向上に伴って画質が向
上し、入力フレームレートが増大する場合には、再符号
化時の駒落ち率減少に伴って入力フレームレートに対す
る出力フレームレートの劣化が少なくなり、出力画像の
動きの滑らかさの劣化を少なくすることが可能である。

【００４７】（第２の実施の形態）本発明の第２の実施
の形態の画像符号化方式変換装置の構成図を図６に示
す。

【００４８】図６に示すように、第２の実施の形態の画
像符号化方式変換装置は、ストリーム受信部４、ストリ
ーム送信部８、第２の復号化部２１、第１の画像フォー
マット記憶部２２、第２の画像フォーマット記憶部２
３、第２の目標発生符号量算出部２４、画像フォーマッ
ト変換部２５および第２の符号化部２６を備えている。

【００４９】ストリーム受信部４、ストリーム送信部８
の構成は、第１の実施の形態と同一であるため、説明を
省略する。

【００５０】第２の復号化部２１は、ストリーム受信部
４に格納された第１の符号化画像ストリームを取り込
み、復号化して第１のフレーム画像を生成して格納し、
同時に前記第１のフレーム画像のフォーマット情報を第
１の画像フォーマット記憶部２２に格納する。

【００５１】第１の画像フォーマット記憶部２２は、前
記第１のフレーム画像のフォーマット情報を格納する。

【００５２】第２の画像フォーマット記憶部２３は、後
述する第２のフレーム画像のフォーマット情報を格納す
る。

【００５３】第２の目標発生符号量算出部２４は、第１
の画像フォーマット記憶部２２に格納された第１のフレ
ーム画像のフォーマット、および第２の画像フォーマッ
ト記憶部２３に格納された第２のフレーム画像のフォー
マットを逐次取り出して、第２の符号化部２６の目標発
生符号量を算出する。

【００５４】画像フォーマット変換部２５は、第２の復
号化部２１で第１のフレーム画像一枚分が復号化される
と、前記第１のフレーム画像を取り出して、第２の符号
化部２６で符号化するための第２のフレーム画像にフォ
ーマット変換して格納する。

【００５５】第２の符号化部２６は、第２の復号化部２
１において第１のフレーム画像一枚分が復号化された
後、第２の目標発生符号量算出部２４に格納された目標
発生符号量と、第２の復号化部２１に格納された第１の
フレーム画像を取り出して、前記目標発生符号量を目標
に符号化して第２の符号化画像ストリームを生成し、ス
トリーム送信部８に蓄積された第２の符号化画像ストリ
ームの直後に追加して蓄積し、同時に前記第２のフレー
ム画像のフォーマット情報を第２の画像フォーマット記
憶部２３に格納する。

【００５６】以上のように構成された本発明の第２の実
施の形態における画像符号化方式変換装置の動作を、図
７のフローチャートに示し、図６の機能ブロック図とと
もに説明する。

【００５７】ストリーム受信部４、ストリーム送信部８
の動作は、第１の実施の形態と同一であるため省略す
る。

【００５８】第２の復号化部２１では、ストリーム受信
部４に蓄積された第１の符号化画像ストリームを取り出
し、第１のフレーム画像に復号化し（Ｓ２２１）、第１
の画像フォーマット情報を第１の画像フォーマット記憶
部２２に格納する（Ｓ２２２）。QCIFフォーマットの場
合は、水平画素数176、垂直画素数144という情報を記憶
し、CIFフォーマットの場合は、水平画素数352、垂直画
素数288という情報を記憶する。なお、水平画素数や垂
直画素数、もしくは画像フォーマットが入力ストリーム
に規定されている場合は、入力ストリームに規定されて
いる情報を記憶するものとする。なお、第１のフレーム
画像のフォーマットが変化しない場合は、フォーマット
情報を新たに格納する必要はない。

【００５９】第１の画像フォーマット記憶部２２では、
第１のフレーム画像の画像フォーマット情報を記憶して
いる。第２の画像フォーマット記憶部２３では、第２の
符号化部２６で符号化される第２のフレーム画像のフォ
ーマットを記憶している。

【００６０】第２の目標発生符号量算出部２４では、第
１の画像フォーマット記憶部２２に記憶されたフレーム
画像のフォーマットと、第２の画像フォーマット記憶部
２３に記憶されたフレーム画像のフォーマットに基づい
て、第２の符号化部２６で符号化して生成される符号化
画像ストリームの目標発生符号量を算出する（Ｓ２２
３）。

【００６１】例えば、ストリーム受信部４の受信ビット
レートに対するストリーム送信部８の送信ビットレート
の比率が、第１の画像フォーマットの面積に対する第２
の画像フォーマットの面積の比率にほぼ等しい場合に
は、第１の画像フォーマット記憶部２２に記憶された水
平画素数をＸｉ、垂直画素数をＹｉ、第２の画像フォー
マット記憶部２３に記憶された水平画素数をＸｏ、垂直
画素数をＹｏとし、第１のフレーム画像を復号化するた
めに必要な第１の符号化画像ストリームの符号量をFRAM
E_BITとすると、以下の式（２）で目標発生符号量を算
出する。

【００６２】目標発生符号量＝ FRAME_BIT × Ｘｏ × Ｙｏ／ (Ｘｉ × Ｙｉ) 式（２）

【００６３】なお、式（２）では目標発生符号量算出の
ために入力フレーム画像の符号量FRAME_BITを用いた
が、ストリーム送信部８における未送信ストリームのデ
ータ量、入出力符号化画像ストリームデータのヘッダ
長、フレーム画像の全マクロブロック数(マクロブロッ
クは縦16画素×横16画素の正方形の画像領域)等の要素
によって目標発生符号量を補正しても構わない。また、
ストリーム受信部４の受信ビットレートに対するストリ
ーム送信部８の送信ビットレートの比率が、第１の画像
フォーマットの面積に対する第２の画像フォーマットの
面積の比率と異なる場合には、FRAME_BIT以外に、受信
ビットレートや出力ビットレートの値を加味して乗算し
ても構わない。

【００６４】次に、画像フォーマット変換部２５では、
第２の復号化部２１で復号化された第１のフレーム画像
を、第１の画像フォーマット記憶部２２に記憶された第
１のフレーム画像のフォーマットから、上記第２の画像
フォーマット記憶部２３に記憶された第２のフレーム画
像のフォーマットに変換する（Ｓ２２４）。具体的に
は、第１のフレーム画像のフォーマットがCIFで、第２
のフレーム画像のフォーマットがQCIFの場合には、以下
の式（３）で第１のフレーム画像の画素値から第２のフ
レーム画像の画素値を求める。

【００６５】 q(x,y) = (p(2x,2y)+p(2x+1,2y)+p(2x,2y+1)+p(2x+1,2y+1))/4 式（３） p(x,y): 第１のフレーム画像の座標(x,y)の画素値 q(x,y): 第２のフレーム画像の座標(x,y)の画素値

【００６６】次に、第２の符号化部２６では、第２の復
号化部２１で第１のフレーム画像復号化が実行され、画
像フォーマット変換部２５で第２のフレーム画像に変換
された後、第２の目標発生符号量算出部２４で算出され
た目標発生符号量を目標に第２のフレーム画像の符号化
処理を実行し（Ｓ２２５）、第２のフレーム画像を符号
化して生成された第２の符号化画像ストリームをストリ
ーム送信部８に蓄積し（Ｓ２２６）、同時に第２の画像
フォーマット情報を第２の画像フォーマット記憶部２３
に格納する（Ｓ２２７）。

【００６７】第２の画像フォーマット記憶部２３では、
第１の画像フォーマット記憶部２２と同様に、水平画素
数及び垂直画素数の情報を記憶する。なお、第２の画像
フォーマット記憶部２３で記憶する水平画素数及び垂直
画素数は、通信端末等の外部から指定された値、あるい
は予め定められた値のどちらでも構わず、本装置を利用
する機器・システムに応じて決定しても構わない。

【００６８】以上のように、画像フォーマット変換部に
おいて画像フォーマットを変換することにより、本装置
を介して画像通信している双方の画像通信端末が対応し
ている画像フォーマットが異なる場合でも、相手側端末
に応じた画像フォーマット変換を行った後に符号化する
ので、相手側端末で正常に画像を表示することが可能で
ある。

【００６９】（第３の実施の形態）本発明の第３の実施
の形態の画像符号化方式変換装置の構成図を図８に示
す。

【００７０】図８に示すように、第３の実施の形態の画
像符号化方式変換装置は、ストリーム受信部４、ストリ
ーム送信部８、第３の復号化部３１、第１の復号化情報
記憶部３２、第３の目標発生符号量算出部３３、第３の
符号化部３４および第１の符号化制御部３５を備えてい
る。

【００７１】ストリーム受信部４、ストリーム送信部８
の構成は、第１の実施の形態と同一であるため、説明を
省略する。

【００７２】第３の復号化部３１は、ストリーム受信部
４に格納された第１の符号化画像ストリームを取り込
み、復号化して第１のフレーム画像を生成して格納し、
同時に前記第１のフレーム画像の復号化情報を用いて第
１の復号化情報記憶部３２に記憶された復号化情報を更
新する。

【００７３】第１の復号化情報記憶部３２は、第３の復
号化部３１で復号化された直前の一枚又は複数枚分の第
１のフレーム画像に対する復号化情報を格納する。

【００７４】第３の目標発生符号量算出部３３は、第１
の復号化情報記憶部３１に格納された復号化情報と、第
１の符号化制御部３５に格納された目標発生符号量制御
量を取り出し、これらの値をもとに目標発生符号量を算
出して格納する。

【００７５】第３の符号化部３４は、第３の復号化部３
１で第１のフレーム画像一枚分が復号化されると、第３
の復号化部３１に格納された第１のフレーム画像と、第
３の目標発生符号量算出部３３に格納された目標発生符
号量を取り出し、前記第１のフレーム画像を前記目標発
生符号量を目標に符号化する。ただし、第１の符号化制
御部３５から符号化中止信号を受けた場合には、前記第
１のフレーム画像の符号化を実行しない。

【００７６】第１の符号化制御部３５は、ストリーム送
信部８に格納された未送信の第２の符号化画像ストリー
ムのデータ量（未送信ストリーム量とする）の値を取り
出し、未送信ストリーム量によって第３の目標符号量算
出部３３の目標発生符号量制御量算出もしくは第３の符
号化部３４における符号化中止のいずれかを判定し、発
生符号量制御量算出と判定された場合は、算出された値
を格納し、符号化中止と判定された場合は、符号化中止
信号を出力する。

【００７７】以上のように構成された本発明の第３の実
施の形態における画像符号化方式変換装置の動作を、図
９のフローチャートに示し、図８の機能ブロック図とと
もに説明する。

【００７８】ストリーム受信部４、ストリーム送信部８
の動作は、第１の実施の形態と同一であるため省略す
る。

【００７９】第３の復号化部３１では、ストリーム受信
部４に蓄積された第１の符号化画像ストリームを取り出
し、第１のフレーム画像に復号化し（Ｓ２３１）、同時
に前記第１のフレーム画像の復号化情報を用いて第１の
復号化情報記憶部３２に記憶された復号化情報を更新す
る

【００８０】第１の復号化情報記憶部３２では、第３の
復号化部３１で復号化された直前の一枚又は複数枚分の
フレーム画像に対する復号化情報である、フレーム画像
毎の入力符号化画像ストリームのデータ量を記憶する
（Ｓ２３２）。

【００８１】第３の目標発生符号量算出部３３では、第
１の復号化情報記憶部３２に記憶された復号化情報や、
第１の符号化制御部３５からの発生符号量制御信号によ
り目標発生符号量を算出する（Ｓ２３３）。目標発生符
号量の算出方法の一例としては、第１の復号化情報記憶
部３２に記憶した情報に基づいて第３の符号化部３４で
符号化するフレーム画像の基本目標発生符号量を求め、
前記基本目標発生符号量から後述する第１の符号化制御
部３５で算出した制御量だけ減ずることにより目標発生
符号量を算出するというものがある。この場合における
基本目標発生符号量の算出方法は、第１の実施の形態に
おける目標発生符号量と同一である。

【００８２】次に、第３の符号化部３４では、第３の復
号化部３１で復号化された第１のフレーム画像を第３の
目標発生符号量算出部３３で算出された目標発生符号量
を目標に符号化するが、第１の符号化制御部３５から符
号化中止信号を受けた場合には、前記第１のフレーム画
像の符号化を実行しない。

【００８３】次に、第１の符号化制御部３５では、スト
リーム送信部８に蓄積された未送信の第２の符号化画像
ストリームのデータ量に基づいて、第３の目標発生符号
量算出部３３の目標発生符号量の制御もしくは第３の符
号化部３４における符号化中止を判定する。具体的な目
標発生符号量制御や符号化中止決定方法を以下に示す。

【００８４】第３の符号化部３４における符号化開始時
に、ストリーム送信部８の未送信蓄積データ量が予め定
められた第１の閾値を越える場合は（Ｓ２３４）、基本
目標発生符号量から（未送信蓄積データ量−閾値）だけ
減じた値を目標発生符号量とするが（Ｓ２３５）、算出
した目標発生符号量が第２の閾値以下の場合は、符号化
を中止する（Ｓ２３６、Ｓ２３９）。なお、前記第１の
閾値および第２の閾値は、固定ではなくても良く、外部
からの入力、送信・受信ビットレート、受信フレームレ
ート、第３の復号化部３１におけるフレーム画像毎の入
力符号化画像ストリームのデータ量等の値によって変動
させても構わない。

【００８５】以上のように、第１の符号化部の発生符号
量を減少させるもしくは符号化中止により、未送信デー
タ量の増加を防ぐことができるので、未送信データ量の
増大により発生する遅延時間の低減や、未送信データ量
オーバーフローによるエラー発生を防止することが可能
になる。

【００８６】（第４の実施の形態）本発明の第４の実施
の形態の画像符号化方式変換装置の構成図を図１０に示
す。

【００８７】図１０に示すように、第４の実施の形態の
画像符号化方式変換装置は、ストリーム受信部４、スト
リーム送信部８、第３の復号化部３１、第１の復号化情
報記憶部３２、第３の符号化部３４、入力部８１、第４
の目標発生符号量算出部８２および第２の符号化制御部
８３を備えている。

【００８８】ストリーム受信部４、ストリーム送信部
８、第３の復号化部３１、第１の復号化情報記憶部３
２、第３の符号化部３４の構成は、第３の実施の形態と
同一であるため、説明を省略する。

【００８９】入力部８１は、タッチパネルやキーボード
からの入力によって、第４の目標発生符号量算出部８２
における目標発生符号量算出時に使用されるパラメータ
や、第２の符号化制御部８３における符号化中止決定に
使用されるパラメータを変更し、変更されたパラメータ
を格納する。

【００９０】第４の目標発生符号量算出部８２は、第１
の復号化情報記憶部３２に格納された復号化情報と、第
２の符号化制御部８３に格納された目標発生符号量制御
量と、入力部８１に格納されたパラメータを取り出し、
これらの値をもとに目標発生符号量を算出して格納す
る。

【００９１】第２の符号化制御部８３は、ストリーム送
信部８に格納された未送信の第２の符号化画像ストリー
ムのデータ量および入力部８１から入力されたパラメー
タを取り出し、これらの値によって第４の目標符号量算
出部８２の目標発生符号量制御量算出もしくは第３の符
号化部３４における符号化中止のいずれかを判定し、発
生符号量制御量算出と判定された場合は、算出された値
を格納し、符号化中止と判定された場合は、符号化中止
信号を出力する。

【００９２】以上のように構成された本発明の第４の実
施の形態における画像符号化方式変換装置の動作を、図
１１のフローチャートに示し、図１０の機能ブロック図
とともに説明する。

【００９３】ストリーム受信部４、ストリーム送信部
８、第３の復号化部３１、第１の復号化情報記憶部３
２、第３の符号化部３４の動作は、第３の実施の形態と
同一であるため省略する。

【００９４】入力部８１では、外部からの入力信号（Ｓ
２７１）によって、第４の目標発生符号量算出部８２に
おける目標発生符号量算出時に使用されるパラメータ
や、第２の符号化制御部８３における符号化中止決定に
使用されるパラメータを変更する（Ｓ２７２）。外部か
らの入力信号は、パネルやキーボード等の入力手段によ
って入力された信号でも、外部機器からの制御信号でも
構わない。

【００９５】本装置へ手動で入力される信号の例として
は、スイッチ等で切り替えられる画質優先や動き優先の
設定信号を送出するものがあり、外部機器からの制御信
号としては、相手側端末から画質優先や動き優先等の設
定信号を送出するというものがある。

【００９６】制御方法の一例としては、画質優先設定の
場合は、第４の目標発生符号量算出部８２で算出する目
標発生符号量や、第２の符号化制御部８３における符号
化中止を判定するための蓄積データ量閾値を上げ、動き
優先設定の場合は、前記目標発生符号量や、前記蓄積デ
ータ量閾値を下げるようにする。

【００９７】入力部８１からの設定信号に従って、第４
の目標発生符号量算出部８２は、第３の実施の形態にお
ける第３の目標発生符号量算出部３３と、第２の符号化
制御部８３は、第３の実施の形態における第１の符号化
制御部３５と同じ動作を行う。

【００９８】以上のように、入力部８１から符号化処理
のパラメータ設定を自由に変更できるようにしたことに
より、ユーザの画質優先や動き優先等の嗜好に自由に対
応できるようになり、多様な用途で本装置を利用するこ
とが可能になる。

【００９９】

【発明の効果】以上説明したように、本発明は、単位時
間入力フレームレートや単位時間送信データ量に基づい
て、第２の符号化画像ストリームの目標発生符号量を制
御して、受信と送信のビットレート不均衡や時間的変動
が生じても、発生符号量も追従して変動させることがで
きるため、送信ビットレートが増大する場合には、出力
回線効率の向上によって画質が向上し、入力フレームレ
ートが増大する場合には、再符号化時の駒落ち率減少に
よって入力フレームレートに対する出力フレームレート
の劣化が少なくなり、出力画像の動きの滑らかさの劣化
を少なくすることができるというすぐれた効果を有する
画像符号化方式変換装置、方法および画像符号化方式変
換プログラムを提供することができるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における画像符号化
方式変換装置を示すブロック図

【図２】本発明の第１の符号化画像ストリームの受信手
順を示すフローチャート

【図３】本発明の第２の符号化画像ストリームの送信手
順を示すフローチャート

【図４】本発明の第１の実施の形態における単位時間入
力フレームレートおよび単位時間送信データ量の記録手
順を示すフローチャート

【図５】本発明の第１の実施の形態における画像符号化
方式変換手順を示すフローチャート

【図６】本発明の第２の実施の形態における画像符号化
方式変換装置を示すブロック図

【図７】本発明の第２の実施の形態における画像符号化
方式変換手順を示すフローチャート

【図８】本発明の第３の実施の形態における画像符号化
方式変換装置を示すブロック図

【図９】本発明の第３の実施の形態における画像符号化
方式変換手順を示すフローチャート

【図１０】本発明の第４の実施の形態における画像符号
化方式変換装置を示すブロック図

【図１１】本発明の第４の実施の形態における画像符号
化方式変換手順において、入力部からの入力によるパラ
メータ変更手順を示すフローチャート

【図１２】従来の画像符号化方式変換装置の一例を示す
ブロック図

【符号の説明】

１単位時間計測部２入力フレームレート計数部３送信データ量計数部４ストリーム受信部５第１の復号化部６第１の目標発生符号量算出部７第１の符号化部８ストリーム送信部２１第２の復号化部２２第１の画像フォーマット記憶部２３第２の画像フォーマット記憶部２４第２の目標発生符号量算出部２５画像フォーマット変換部２６第２の符号化部３１第３の復号化部３２第１の復号化情報記憶部３３第３の目標発生符号量算出部３４第３の符号化部３５第１の符号化制御部８１入力部８２第４の目標発生符号量算出部８３第２の符号化制御部１０２復号装置１０３符号化パラメータ多重装置１０４履歴復号装置１０５符号化パラメータ分離装置１０６符号化装置１０７履歴符号化装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者香田敏行神奈川県横浜市港北区綱島東四丁目３番１号松下通信工業株式会社内 (72)発明者若森正浩神奈川県横浜市港北区綱島東四丁目３番１号松下通信工業株式会社内Ｆターム(参考） 5C059 KK41 SS06 TA06 TA07 TA17 TA46 TA60 TB01 TC00 TC18 TC25 TC27 TC38 TC45 TC47 TD07 TD11 UA02 UA05 UA32 UA39 5J064 AA02 AA05 BB10 BC25 BC26 BD02

Claims

【特許請求の範囲】

【請求項１】単位時間を計測する単位時間計測部と、外部から第１の符号化画像ストリームを受信するストリ
ーム受信部と、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化部と、前記第１のフレーム画像を符号化し、第２の符号化画像
ストリームを生成する符号化部と、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信部と、前記単位時間計測部で計測された単位時間の間に、前記
ストリーム受信部で外部から受信されたストリームのフ
レームレートである単位時間入力フレームレートを計数
する入力フレームレート計数部と、前記単位時間計測部で計測された単位時間の間に、前記
ストリーム送信部から外部へ送信されたストリームのデ
ータ量である単位時間送信データ量を計数する送信デー
タ量計数部と、前記単位時間入力フレームレートと、前記単位時間送信
データ量とに基づいて、前記符号化部で第１のフレーム
画像を符号化して生成される第２の符号化画像ストリー
ムの目標発生符号量を算出する目標発生符号量算出部と
を備え、前記符号化部が、前記第１のフレーム画像を、前記目標
発生符号量を目標に符号化し、前記第２の符号化画像ス
トリームを生成することを特徴とする画像符号化方式変
換装置。
【請求項２】外部から第１の符号化画像ストリームを
受信するストリーム受信部と、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化部と、前記第１のフレーム画像を画像フォーマット変換して第
２のフレーム画像に変換する画像フォーマット変換部
と、前記第２のフレーム画像を符号化して、第２の符号化画
像ストリームを生成する符号化部と、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信部と、前記第１のフレーム画像のフォーマットを記憶する第１
の画像フォーマット記憶部と、前記符号化部で符号化される第２のフレーム画像のフォ
ーマットを記憶する第２の画像フォーマット記憶部と、前記第１のフレーム画像のフォーマットと、前記第２の
フレーム画像のフォーマットとに基づいて、前記符号化
部で第２のフレーム画像を符号化して生成される第２の
符号化画像ストリームの目標発生符号量を算出する目標
発生符号量算出部とを備え、前記符号化部が、前記第２のフレーム画像を、前記目標
発生符号量を目標に符号化し、前記第２の符号化画像ス
トリームを生成することを特徴とする画像符号化方式変
換装置。
【請求項３】前記ストリーム送信部に蓄積された未送
信の第２の符号化画像ストリームのフレームレートに基
づいて、前記符号化部における発生符号量の制御または
符号化中止を行う符号化制御部を備えたことを特徴とす
る請求項１または請求項２記載の画像符号化方式変換装
置。
【請求項４】前記目標発生符号量算出部が前記目標発
生符号量を算出する際に使用するパラメータを入力し
て、前記目標発生符号量を変更させるパラメータ入力部
を備えたことを特徴とする請求項１から請求項３のいず
れか１項に記載の画像符号化方式変換装置。
【請求項５】単位時間を計測する単位時間計測ステッ
プと、外部から第１の符号化画像ストリームを受信するストリ
ーム受信ステップと、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化ステップと、前記第１のフレーム画像を符号化し、第２の符号化画像
ストリームを生成する符号化ステップと、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信ステップと、前記単位時間計測ステップで計測された単位時間の間
に、前記ストリーム受信ステップで外部から受信された
ストリームのフレームレートである単位時間入力フレー
ムレートを計数する入力フレームレート計数ステップ
と、前記単位時間計測ステップで計測された単位時間の間
に、前記ストリーム送信ステップから外部へ送信された
ストリームのデータ量である単位時間送信データ量を計
数する送信データ量計数ステップと、前記単位時間入力フレームレートと、前記単位時間送信
データ量とに基づいて、前記符号化ステップで第１のフ
レーム画像を符号化して生成される第２の符号化画像ス
トリームの目標発生符号量を算出する目標発生符号量算
出ステップとを備え、前記符号化ステップが、前記第１のフレーム画像を、前
記目標発生符号量を目標に符号化し、前記第２の符号化
画像ストリームを生成することを特徴とする画像符号化
方式変換方法。
【請求項６】外部から第１の符号化画像ストリームを
受信するストリーム受信ステップと、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化ステップと、前記第１のフレーム画像を画像フォーマット変換して第
２のフレーム画像に変換する画像フォーマット変換ステ
ップと、前記第２のフレーム画像を符号化して、第２の符号化画
像ストリームを生成する符号化ステップと、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信ステップと、前記第１のフレーム画像のフォーマットを記憶する第１
の画像フォーマット記憶ステップと、前記符号化ステップで符号化される第２のフレーム画像
のフォーマットを記憶する第２の画像フォーマット記憶
ステップと、前記第１のフレーム画像のフォーマットと、前記第２の
フレーム画像のフォーマットとに基づいて、前記符号化
ステップで第２のフレーム画像を符号化して生成される
第２の符号化画像ストリームの目標発生符号量を算出す
る目標発生符号量算出ステップとを備え、前記符号化ステップが、前記第２のフレーム画像を、前
記目標発生符号量を目標に符号化し、前記第２の符号化
画像ストリームを生成することを特徴とする画像符号化
方式変換方法。
【請求項７】前記ストリーム送信ステップに蓄積され
た未送信の第２の符号化画像ストリームのフレームレー
トに基づいて、前記符号化ステップにおける発生符号量
の制御または符号化中止を行う符号化制御ステップを備
えたことを特徴とする請求項５または請求項６記載の画
像符号化方式変換方法。
【請求項８】前記目標発生符号量算出ステップが前記
目標発生符号量を算出する際に使用するパラメータを入
力して、前記目標発生符号量を変更させるパラメータ入
力ステップを備えたことを特徴とする請求項５から請求
項７のいずれか１項に記載の画像符号化方式変換方法。
【請求項９】単位時間を計測する単位時間計測ステッ
プと、外部から第１の符号化画像ストリームを受信するストリ
ーム受信ステップと、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化ステップと、前記第１のフレーム画像を符号化し、第２の符号化画像
ストリームを生成する符号化ステップと、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信ステップと、前記単位時間計測ステップで計測された単位時間の間
に、前記ストリーム受信ステップで外部から受信された
ストリームのフレームレートである単位時間入力フレー
ムレートを計数する入力フレームレート計数ステップ
と、前記単位時間計測ステップで計測された単位時間の間
に、前記ストリーム送信ステップから外部へ送信された
ストリームのデータ量である単位時間送信データ量を計
数する送信データ量計数ステップと、前記単位時間入力フレームレートと、前記単位時間送信
データ量とに基づいて、前記符号化ステップで第１のフ
レーム画像を符号化して生成される第２の符号化画像ス
トリームの目標発生符号量を算出する目標発生符号量算
出ステップとを備え、前記符号化ステップが、前記第１のフレーム画像を、前
記目標発生符号量を目標に符号化し、前記第２の符号化
画像ストリームを生成することを特徴とする画像符号化
方式変換プログラム。
【請求項１０】外部から第１の符号化画像ストリーム
を受信するストリーム受信ステップと、前記第１の符号化画像ストリームを復号化し、第１のフ
レーム画像を生成する復号化ステップと、前記第１のフレーム画像を画像フォーマット変換して第
２のフレーム画像に変換する画像フォーマット変換ステ
ップと、前記第２のフレーム画像を符号化して、第２の符号化画
像ストリームを生成する符号化ステップと、前記第２の符号化画像ストリームを外部へ送信するスト
リーム送信ステップと、前記第１のフレーム画像のフォーマットを記憶する第１
の画像フォーマット記憶ステップと、前記符号化ステップで符号化される第２のフレーム画像
のフォーマットを記憶する第２の画像フォーマット記憶
ステップと、前記第１のフレーム画像のフォーマットと、前記第２の
フレーム画像のフォーマットとに基づいて、前記符号化
ステップで第２のフレーム画像を符号化して生成される
第２の符号化画像ストリームの目標発生符号量を算出す
る目標発生符号量算出ステップとを備え、前記符号化ステップが、前記第２のフレーム画像を、前
記目標発生符号量を目標に符号化し、前記第２の符号化
画像ストリームを生成することを特徴とする画像符号化
方式変換プログラム。
【請求項１１】前記ストリーム送信ステップに蓄積さ
れた未送信の第２の符号化画像ストリームのフレームレ
ートに基づいて、前記符号化ステッにおける発生符号量
の制御または符号化中止を行う符号化制御ステップを備
えたことを特徴とする請求項９または請求項１０記載の
画像符号化方式変換プログラム。
【請求項１２】前記目標発生符号量算出ステップが前
記目標発生符号量を算出する際に使用するパラメータを
入力して、前記目標発生符号量を変更させるパラメータ
入力ステップを備えたことを特徴とする請求項９から請
求項１１のいずれか１項に記載の画像符号化方式変換プ
ログラム。