JP3805393B2

JP3805393B2 - Image encoding device

Info

Publication number: JP3805393B2
Application number: JP27659994A
Authority: JP
Inventors: 口昇山; 邊敏明渡; 竹健志駄; 池義浩菊; 田孝井; 條健中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-11-10
Filing date: 1994-11-10
Publication date: 2006-08-02
Anticipated expiration: 2021-08-02
Also published as: JPH08140088A

Description

【０００１】
【産業上の利用分野】
この発明は、画像信号を高能率に符号化して伝送したり蓄積したりする画像符号化装置に係り、特に腕時計等に組込める程度の小画面の液晶ディスプレイ等に画像を表示させるために画像信号を符号化伝送する画像符号化装置に関する。
【０００２】
テレビ電話やテレビ会議等に用いられる画像の符号化に際しては、人間の視覚特性を利用して効率的にデータを圧縮して用いている。ここで利用される画像の歪に対する人間の視覚特性としては、以下のようなものがある（参照：原島博監修テレビジョン学会編「画像情報圧縮」ｐ．１２）。
(1) ひずみ知覚の周波数特性時間的に変化するひずみや空間周波数が高いひずみは目につきにくい。
(2) 画像の絵柄との関係ひずみは画像の平坦部分で知覚されやすく、輪郭部では目につきにくい。ただし、これは静止画の場合で、動画では輪郭部分のひずみはエッジビジネスとなって逆に目障りとなる。
(3) 画像と動きとの関係一定速度以上で画像が動いていて、視線がその動きに追従できない場合は、ひずみの知覚感度が低下する。
(4) シーン切換えとの関係シーンが切換わった直後は、解像度をかなり落としても目につかない。
(5) 画面の明るさとの関係同じレベルの画像ひずみは、画面が暗い程目だつ。
(6) 色信号と輝度信号色信号は輝度信号に比べてひずみが目につきにくいので、例えば色信号標本点を間引くことができる。
【０００３】
また、網膜上の視細胞の分布の関係上、視野の中心部に比べて周辺部の視力（空間分解能）が劣るため、形状、構造や詳細な内容等の情報を得るには、視線を動かす（眼球運動）必要がある（テレビジョン学会編，「画像情報圧縮」オーム社，ｐ．４１参照）。したがって、人間の視覚特性を考慮した画像の鮮明度の判断は、客観的な要素としての画像の解像度に加えて主観的な要素である人間の視線の移動に左右されていることになる。
【０００４】
一方、人間がものを見る場合、対象物が小さいときは１点を中心とした特定の範囲を見つめることにより全体の形状等を認識することが可能であるが、対象物が大きいときは全体の形状等を捕らえるために多数の点を含む広い範囲を注視する必要がある。テレビジョン受像機を見る場合も、画面が大きいときは視線を頻繁に移動させることにより一定の範囲内に多数の注視点が分布することになるが、画面が小さいときには注視点の分布する範囲がそれほど広がることはない。
【０００５】
近年急速に実施化に向かっているハイビジョンテレビシステムにおける表示画面が、現行テレビジョンシステムの表示画面よりも大きいために注視点分布領域が異なる旨の記述が「画質と音質の評価技術」（テレビジョン学会編，昭晃堂) に開示されている（第１１８頁参照）。同文献同頁の図５．２２には、同じ内容の番組を用いて標準観察条件でハイビジョン画像と現行テレビジョン画像とを観察したときの画面面積に対する注視点分布領域の割合の測定結果が示されている。同図は、注視点が画面の中心を原点として水平方向及び垂直方向共に正規分布するものと仮定して標準偏差の３倍で楕円近似することにより表現したものである。画面面積に対する注視点分布領域の割合は、現行テレビジョンシステムにおいては約６０％であるのに対して、ハイビジョンシステムでは約８０％に達するという実験結果が示されている。すなわち、画面サイズが小さくなるに従い注視点分布領域の割合が小さくなり、画面中心部に集中する。したがって、画面の周辺部では、視覚の空間分解能が劣るために前処理により空間解像度を落としたり、ひずみの割当てを重み付けすることにより、効率的に情報圧縮を行なうことができる。
【０００６】
因みに、視野の中心部での視覚特性（中心視）と視野の周辺部での視覚特性（周辺視）との違いを利用して、効率的に情報量の圧縮を行なう方式としては、例えば「視覚パターン画像シーケンス符号化」（“Visual Pattern Image Sequence Coding”，Aug., 1993, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.3 NO.4, pp.291-301）に開示されている方法がある。このうち文献に記載されている技術は、画面の中心点から半径ｒの位置に関する関数を求め、この関数を用いて画面の周辺部の解像度を落としているものである。
【０００７】
また、視覚的に重要な領域と重要でない領域とのそれぞれにおける割当符号量の配分を変えることにより、情報圧縮を行なう方法としては、以下の２つのものがある。
その１つは、テレビ電話の用途に適用されることを想定して提案されたもの（特開平１‐８０１８５号「動画像符号化方式」）であり、通話相手の顔面に注視点が集中することを前提とし、顔面領域を検出してこの顔面領域に多くの符号量を割り当てるようにするものである。
他の１つも上記の提案と同様にテレビ電話に適用されるものであり（特開平５‐９５５４１号）、上記のものと同様に顔面領域を検出して、顔面以外の領域に時空間フィルタを掛けることによりこの顔面以外の領域の発生符号量を抑え顔面領域に割り当てられる符号量を増加させている。
【０００８】
これらの従来技術は何れも人間の視覚特性に注目して、注視点分布において注視点が集中する領域と注視点が余り集まらない領域との符号化データ量を異ならせることにより、両者共に再生画像を視認する者に自然な状態の画像を提供しようとするものである。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の画像符号化方式は何れも視覚的に重要でない領域の発生符号量を抑え、重要な領域に割り当てる符号量を多くすることにより人間の視覚特性を利用した効率的な情報圧縮を図るようにしている。しかしながら、上記２つの公開公報に記載されている技術は何れも画面中の領域を注視点分布の集中の度合いにより分類して割当符号量を異ならせるようにしているのみであり、上記文献「画質と音質の評価技術」に記載されている注視点分布が画面のサイズ（面積）により異なるという人間の視覚特性を考慮していない。
また、有線伝送路に比較すると帯域が狭い無線伝送路を経由させて画像データを伝送する場合には、帯域の狭さに起因する伝送量の限界により再生画像の解像度は一般的に低下してしてしまい、画面のサイズ（面積）は必然的に小さくなってしまうという問題もあった。
【００１０】
この発明は、上記問題点を除去するためになされたものであり、画面サイズ（面積）と注視点分布領域との関係に着目して、再生画像表示装置のサイズが小画面になるのに連動させて符号量の絶対量は変化させずに割当のみを変化させることにより効率的に情報を圧縮することのできる画像符号化装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、この発明の基本構成に係る画像符号化装置は、再生画面の画面サイズと、前記再生画面全体の符号量とに基づいて、前記再生画面内の位置に応じた符号量の割当てを制御する符号量割当制御手段と、前記符号量割当制御手段により前記画面サイズに基づいて割り当てられた符号量にしたがって、入力された画像データ信号を符号化する符号化手段とを備える。前記符号量割当制御手段は、画素数が少なく前記画面サイズの小さい画像の方が、画素数が多く前記画面サイズが大きい画像よりも前記再生画面の中心における重みが大きくなるように、前記再生画面内の各領域の符号量の割り当てのための重み分布関数を設定して符号量を割り当てることを特徴とする。
【００１２】
【作用】
以上の構成によれば、入力された画像データ信号を内部的に解析して画面サイズを判定し、または外部的にマニュアル設定されたモードにより画面サイズを指定して、この画面サイズに対応する符号量割当てのための重み関数を変更するように設定する。この設定された重み関数を用いて符号量の割当て量を決定し、この割当て量に基づいて画像データ信号の符号化が行われる。したがって、画面の面積に応じて重み付け関数を用いて符号量の割当を変更させることになり、人間の視覚特性を考慮して重み付け関数を設定しておけば画面のサイズを判定もしくは指定するだけで、充分に実用に耐え得る程度の最適な画面が得られる。
【００１３】
また、この発明に係る画像符号化装置は、画面面積判定手段の具体的構成として、入力された前記画像データ信号の信号量等に基づいて再生画像の画面面積を内部的に判定しても良いし、マニュアル操作により画面サイズを外部的に指定するようにしても良い。内部的な処理により判定する場合には、前記画像データ信号の信号量を検出して再生画面の画素数から再生画像の解像度を検出するようにしても良いし、画像データ信号の一部に画面サイズに関する情報を含めて伝送してこの情報を判定手段により解析して画面サイズを判定するようにしても良い。
【００１４】
【実施例】
以下、この発明の好適な実施例について添付図面を用いて詳細に説明する。
図１はこの発明の基本構成を示すブロック図である。同図において、符号１は画像データ信号を入力する入力端子、符号２は符号化信号を出力する出力端子、符号３は端子１を介して入力された画像データ信号Ｓ１を解析して、または外部からのマニュアル設定により再生画面のサイズを検出する画面サイズ検出手段、符号４は画面サイズ検出手段３から供給された画面のサイズに対応する重み付け関数を用いて符号量の割当を制御する制御信号Ｓ２を出力する符号量割当制御手段、符号１０は符号量割当制御手段４からの制御信号Ｓ２を用いて入力された画像データ信号Ｓ１を符号化する符号化手段である。この制御信号Ｓ２は、画面サイズと注視点分布領域との関係に着目して前記再生画面のサイズが小画面になるのに連動させて符号量の絶対量を変化させずに割当のみを変化させるように符号化手段を制御している。
【００１５】
図１に示される符号化手段１０のより詳細な構成が図２のブロック図に示されている。前記画像データ信号Ｓ１は、動きベクトル検出回路１１，差分回路１２及びモード判定回路１３に供給される。この符号化手段１０は更に、動き補償用可変遅延機能を有し参照フレームを蓄積する参照フレームメモリ１４と、入力信号または差分信号を出力するセレクタ１５と、０レベルの信号または動き補償信号を出力するセレクタ１６と、セレクタ１５の出力を離散コサイン変換（Discrete Cosine Transform ―ＤＣＴ―）するＤＣＴ回路１７と、入力された前記制御信号Ｓ２による重み付けに従い前記ＤＣＴ回路１７の出力に量子化及び逆量子化処理を加える量子化・逆量子化手段２０と、量子化・逆量子化手段２０の出力を逆離散コサイン変換する逆ＤＣＴ回路１８と、前記セレクタ１６及び逆量子化回路１８の出力を加算する加算回路１９と、を備えている。前記量子化・逆量子化手段２０は、量子化回路２１及び逆量子化回路２２とを備えている。
【００１６】
以上の構成において、動きベクトル検出回路１１は、動き補償用可変遅延機能を有する参照フレームメモリ１４に蓄えられている参照フレームと、入力された画像データ信号Ｓ１との間の動きベクトルを、１６×１６画素で構成されるマクロブロック（ＭＢ）毎に検出する。
差分回路１２は、参照フレームメモリ１４より供給される参照フレームの動き補償信号Ｓ３と入力された画像データ信号Ｓ１との間の差分をマクロブロック毎に求め、モード判定回路１３及びセレクタ１５に供給する。
モード判定回路１３は、差分回路１２より出力される差分信号Ｓ４の値と入力された画像データ信号の交流成分の値とを比較して、当該ブロックをフレーム内符号化するのかフレーム間符号化するのかを判定する。その判定結果は、セレクタ１５及びこれを介してセレクタ１６へと供給されている。
【００１７】
セレクタ１５は、フレーム内符号化を行なうように判定された場合には入力された画像データ信号Ｓ１を選択し、フレーム間符号化を行なうように判定された場合には差分信号Ｓ４を選択して、被選択信号Ｓ５をＤＣＴ回路１７に供給する。
【００１８】
ＤＣＴ回路１７は、被選択信号Ｓ５を離散コサイン変換係数Ｓ６に変換し、量子化・逆量子化手段２０に供給する。
【００１９】
量子化・逆量子化手段２０は、量子化回路２１により符号量割当制御手段のレート制御回路（図示されず）より供給されてきた量子化ステップサイズに関する制御信号Ｓ２に従って、ＤＣＴ回路１７より供給されてきた離散コサイン係数Ｓ６を量子化して変換係数信号Ｓ７を出力する。また、前記この量子化信号Ｓ７は逆量子化回路２２にも供給されており、この逆量子化回路２２は前記量子化ステップサイズに関する制御信号Ｓ２に従い、変換係数信号Ｓ７を離散コサイン係数Ｓ６に逆量子化する。
【００２０】
逆ＤＣＴ回路１８は逆量子化により形成された離散コサイン係数Ｓ６を離散コサイン逆変換してセレクタ１５により選択された何れかの信号を再生する。即ち、フレーム内符号化を行なうように判定された場合であれば画像データ信号Ｓ１に相当する信号が再生され、また、フレーム間符号化を行なうように判定された場合には差分信号Ｓ４に相当する信号が再生される。逆ＤＣＴ変換回路１８が逆変換して生成した信号は加算回路１９に供給される。
【００２１】
一方、セレクタ１６はモード判定回路１３により判定されたモードがフレーム内符号化の場合には０レベルの信号を選択し、モードがフレーム間符号化である場合には参照フレームメモリ１４に蓄積されている動き補償予測信号Ｓ３を選択して加算回路１９に供給する。加算回路１９は、セレクタ１６及び逆ＤＣＴ回路１８のそれぞれの出力を加算して前記参照フレームメモリ１４に供給する。参照フレームメモリ１４は、加算回路１９より出力された加算信号を蓄積し、動きベクトル検出回路１１が動きベクトル検出動作を行なう際に参照フレーム画像信号を供給する。
なお、量子化回路２１により量子化された変換係数Ｓ７は動きベクトル等のサイド情報と共に可変長符号化された後、多重化されて出力される。
【００２２】
次に、図３ないし図７に従いこの発明に係る画像符号化装置の第１実施例について説明する。
図３において、入力端子１と出力端子２との間には、入力画像データＳ１を符号化するエンコーダ２５が設けられている。画像データ信号Ｓ１は、画面面積判定手段３としての解像度検出回路２３にも供給されている。解像度検出回路２３は、入力画像データ信号の解像度（画素数）を検出して、画素数の情報を符号量割当制御回路２４に供給する。
符号量割当制御回路２４は、まず入力画像の画素数に応じて画面内の位置に応じた符号量の割当てのための重み分布関数を変化させる。ここで、符号量割り当ての重み分布関数は、前記参考文献「画質と音質の評価方法」の図５．２２に示されているように、２次元の正規分布の標準偏差を画素数の関数としたものであっても良い。図４は前記文献の図５．２２を書き直したものであり、現行のテレビジョンシステムの画郭２６における注視点分布２７と、ハイビジョンシステムの画郭２８における注視点分布２９との関係を示している。図より明らかなように画面のサイズが大きくなれば注視点分布も広がっている。したがって、注視点の２次元の正規分布は画素数の関数として重み分布関数に応用することができる。
また、符号量の割当てのための重み分布関数は、図５に示すように、マクロブロック（ＭＢ）毎に領域を分け、領域毎に重みを切換えるようにしても良い。すなわち、図５において、点線により区切られたブロックがマクロブロック（ＭＢ）であり、領域３１の方が領域３２よりも発生符号量が抑えられるように重み付けがなされている。この分布関数は、図５（ａ）に示されるような画素数の少ない画像の方が、図５（ｂ）に示されるような画素数の多い画像よりも画面の中心部における重みが大きくなるように設定されている。このように設定された重み分布関数は、エンコーダ２５に供給される。
【００２３】
エンコーダ２５は、符号量割当て制御回路２４より供給された符号量割当て重み分布関数に従って、量子化・逆量子化回路２０において画面内の画素位置あるいはブロックの位置に応じて量子化特性を変えることにより発生させる符号量の重み付けを行なう。
量子化特性を変える第１の方法としては、図２に示されるような直交変換を用いる符号及びサブバンド符号化においては、図５（ａ）（ｂ）の周辺に位置する第１の領域３１及び３３については図６の境界ｂ１よりも高い周波数成分の係数を強制的に符号化しないようにし、中間に位置する第２の領域３２及び３４については境界ｂ２よりも高い周波数成分の係数を強制的に符号化しないようにするものがある。
【００２４】
また、量子化特性を変える第２の方法は、変換係数毎に重み付けされた量子化マトリックスを図５の第１の領域３１と第２の領域３２との間または第１の領域３３と第２の領域３４の間で切替えるものである。
さらに、量子化特性を変える第３の方法は、図７に示されるように、量子化器のデッドゾーンを変えるものである。図７において、符号３５はデッドゾーンであり、また、３６は量子化の代表値である。
【００２５】
次に、図８ないし図１０を参照しながら、この発明の第２実施例に係る画像符号化装置について詳細に説明する。画像データ信号Ｓ１はフレームメモリ３８に供給されており、このフレームメモリ３８は現フレームの画像信号Ｓ８を解像度検出回路２３及び時空間フィルタ４０に供給すると共に、前フレームの画像信号Ｓ９を時空間フィルタ４０のみに供給する。
時空間フィルタ４０の詳細な構成については図９に示されている。図９において、時空間フィルタ４０は、現フレームの画像信号Ｓ８を空間フィルタ処理するフレーム内フィルタ回路４１と、フレーム内フィルタ回路４１の出力をｋ倍する乗算回路４２と、入力された前フレームの画像信号Ｓ９を「１−ｋ」倍する乗算回路４３と、前記乗算回路４２及び４３の乗算出力を加算する加算回路４４と、を備えている。
ここで、この時空間フィルタ４０のフレーム内フィルタ回路４１により図１０（ａ）及び（ｂ）にそれぞれ示されている画素Ｘの出力＊Ｘを求める場合の演算式の具体的な一例を示すと以下のようになる。
＊Ｘ＝（Ａ＋ｍＢ＋Ｃ＋ｍＤ＋ｍＥ＋Ｆ＋ｍＧ＋Ｈ＋ｍ^２Ｘ）／（ｍ＋２）^２
ここで、ｍは空間フィルタの強さを変える変数である。
【００２６】
フレーム内空間フィルタ回路４１の出力＊Ｘは、乗算回路４２によりｋ倍された後、乗算回路４３により前フレームの入力画像信号Ｐを「１−ｋ」倍した値と加算回路４４において加算されることにより、時間フィルタ処理が行われる。ここで、ｋは時間フィルタの強さを変える係数である。なお、図１０（ａ）は、画素Ｘと画素Ｐとの位置関係を表す図である。係数ｍ及びｋは、符号量割当て制御回路２４より供給された制御信号Ｓ２に含まれる符号量重み分布関数に従って、図５の第２の領域３２よりも第１の領域３１での係数の値の方が小さくなるように設定されている。これにより、第１の領域３１の方の画像信号に対して時空間フィルタが強く掛かることになり、発生符号量を抑えることができる。
時空間フィルタ４０の出力は、信号Ｓ１０としてエンコーダ２５に供給されて、ここで符号化されて出力端子２を介して外部に出力される。
【００２７】
次に、図１１を参照しながらこの発明に係る画像符号化装置の第３実施例について説明する。この第３実施例による画像符号化装置は、図８に示される第２実施例による画像符号化装置のエンコーダ２５の構成が、図３の第１実施例による画像符号化装置のような量子化・逆量子化回路２０を備えており、符号量割当て重み分布係数が時空間フィルタ４０に供給されると共にこのエンコーダ２５の量子化・逆量子化回路２０にも供給される構成となっている点で第２実施例の装置と異なっている。
図１１において、時空間フィルタ４０の係数ｍ及びｋは、符号量割当て制御回路２４より供給される制御信号Ｓ２に含まれる符号量割当て重み分布係数に従って、図５の第２の領域３２よりも第１の領域３１の方が係数が小さくなるように設定されている。これにより、図５の第１の領域３１の方に第２の領域３２よりも強い時空間フィルタ処理が掛けられることになり、第２１の領域３１で発生する符号量を抑制することができる。
【００２８】
時空間フィルタ４０の出力は信号Ｓ１０としてエンコーダ２５に供給されて符号化された後出力される。このエンコーダ２５においては、符号量割当て制御回路２４より供給される制御信号Ｓ２に含まれる符号量割当て重み分布関数が量子化・逆量子化回路２０にも供給されているので、量子化・逆量子化回路２０は第１実施例と同様に、画面内の画素位置及びブロックの位置に応じて量子化特性を変えるように、発生符号量の重み付けを行なう。画面内の位置により量子化特性を変化させるように重み付けがされた画像信号は位置に応じて異なる発生符号量をもって符号化され出力端子２を介して外部に出力される。
【００２９】
次に、図１２を参照してこの発明の第４実施例に係る画像符号化装置につき説明する。この第４実施例による画像符号化装置は、第３実施例の画像符号化装置における時空間フィルタ４０を設けないようにしてフレームメモリ３８の現フレームの画像信号をエンコーダ２５に供給すると共に、現フレーム及び前フレームのそれぞれの画像信号が供給される顔領域検出回路４５を設け、この顔領域検出回路４５の出力と前記解像度検出回路２３の出力とを受け入れた符号量割当て制御回路２４より出力される符号量割当て重み分布関数を含む制御信号Ｓ２によって量子化・逆量子化回路２０の量子化特性を変えるようにしたものである。
上記構成において、顔領域検出回路４５は、前述した特開平５‐９５５４１号公報に記載されている「画像符号化装置」と同一の方法により顔領域を検出し、この検出結果を出力信号Ｓ１１により符号量割当て制御回路２４に供給している。
【００３０】
符号量割当て制御回路２４においては、まず図１３（ａ）のように、入力画像の画素数に応じて第１実施例と同一の方法により第１の領域３１及び第２の領域３２を判定して画面内の位置に応じた符号量割当ての重み関数を変化させる。次に、図１３（ｂ）の顔領域４７を検出し、この顔領域４７の検出結果を考慮して、図１３（ｃ）のように重み分布関数を修正する。この修正方法の一例としては以下のものが考えられる。
図１３（ｃ）の顔領域４７の内部を第３の領域５３とする。図１３（ａ）における第２の領域３２の一部分で図１３（ｃ）の顔領域４７に含まれない部分は第２の領域３２となる。図１３（ａ）で第１の領域３１に含まれる部分でもしも顔領域に含まれる部分がある場合にはこの部分は第１の領域３１となる。図１３（ａ）において、第２の領域３２に含まれる部分で図１３（ｂ）及び（ｃ）において顔領域４７に含まれることとなった部分は図１３（ｃ）においては第３の領域５３として扱われる。
【００３１】
この図１３（ｃ）に示される重み分布関数は、エンコーダ２５に供給される。
エンコーダ２５においては、符号量割当て重み分布関数に従って、量子化・逆量子化回路２０が第１実施例と同様の方法により、画面内の画素位置及びブロックの位置に応じて量子化特性を変化させることにより、発生符号量の重み付けを行なう。
【００３２】
次に、図１４に従いこの発明の第５実施例に係る画像符号化装置について説明する。この第５実施例に係る画像符号化装置は、図８に示される第２実施例の装置と図１２に示される第４実施例の装置とを組み合わせた構成を有している。
図１４において、フレームメモリ３８より出力された現フレームの画像信号Ｓ８は、解像度検出回路２３，時空間フィルタ４０及び顔領域検出回路４５との３つの回路に供給される。また、１つ前のフレームの画像信号Ｓ９は、時空間フィルタ４０及び顔領域検出回路４５の双方に供給される。解像度検出回路２３の出力と顔領域検出回路４５の出力とは、符号量割当て制御回路２４に供給され符号量割当て重み分布関数が設定される。時空間フィルタ４０は、この重み分布関数に基づいて現フレーム及び前フレームの画像信号Ｓ８及びＳ９について、時空間フィルタ処理を行ない、信号Ｓ１０をエンコーダ２５に対して出力する。エンコーダ２５はこの信号Ｓ１０を符号化して出力端子２を介して外部に送出する。
【００３３】
図１５は、この発明の第６実施例に係る画像符号化装置の構成を示すブロック図であり、この第６実施例は第５実施例におけるエンコーダ２５の構成が量子化・逆量子化回路２０により構成する第２実施例に対応するものである。その他の構成は前述した幾つかの実施例における同一符号の構成要素に同一ないしは相当するので、図中に符号のみ付して重複説明を省略する。
図１４における時空間フィルタ４０は、符号量割当て制御回路２４より供給された符号量割当て重み分布関数を含む制御信号Ｓ２を受け入れて、時空間フィルタ処理を加えて信号Ｓ１０としてエンコーダ２５に出力する。
エンコーダ２５においては、量子化・逆量子化回路２０が、第１実施例と同様に、符号量割当て制御回路２４より供給された制御信号Ｓ２に含まれる重み分布関数に従って、画面内の画素位置あるいはブロック位置に応じて量子化特性を変更して発生符号量に重み付けを行なう。
【００３４】
図１６は、この発明の第７実施例に係る画像符号化装置の概略構成を示すブロック図である。図１６において、この第７実施例の装置に特徴的な構成は、フレームメモリ３８の出力する信号を受け入れて受信側の画面サイズを検出する受信側画面サイズ検出回路５０が設けられており、符号量割当て制御回路２４は、この受信側画面サイズ検出回路５０の出力信号とフレームメモリ３８の出力信号の両者に基づいて符号量の割当て重み分布関数を算出してエンコーダ２５を構成する量子化・逆量子化回路２０にこの関数を供給する。時空間フィルタを設ける場合には、第２実施例の画像符号化装置と同様な動作を行なうので重複説明は省略する。
【００３５】
図１７は、この発明の第８実施例に係る画像符号化装置の概略構成を示すブロック図である。同図において、図１６の第７実施例の構成に加えて、図１２に示した第４実施例の構成と同様の顔領域検出回路４５が設けられており、前記符号量割当て制御回路２４には受信側画面サイズ検出回路５０の出力に加えて顔領域検出回路４５の出力も供給されている。したがって、符号量割当て制御回路２４は受信側画面サイズ検出回路５０の出力と顔領域検出回路４５の出力とに基づいて、フレームメモリ３８を介して入力された画像データ信号より符号量割当て重み分布関数を設定して、エンコーダ２５の量子化・逆量子化回路２０に供給する。量子化・逆量子化回路２０は、供給された分布関数に基づいて量子化特性を変更して発生符号量の重み付けを行ない端子２を介して外部に信号を出力する。
【００３６】
上記第７及び第８実施例による画像符号化装置は画像データ信号に画面サイズを示すヘッダ情報等を信号に載せて伝送することにより伝送されてきた再生すべき受信情報の画面のサイズを受信側において容易に検出することもできる。
【００３７】
図１６及び図１７に示される第７及び第８実施例の画像符号化装置においては、符号量割当て制御回路２４に供給される画面サイズ検出手段としての受信側画面サイズ検出回路５０により、画面サイズを受信側において内部的に自動検出して制御を行なっていたが、この発明においてはこれに限定されず、外部よりマニュアル操作により入力して発生符号量の重み付け行なうようにしても良い。
【００３８】
すなわち、図１８及び図１９に示される第９及び第１０実施例による画像符号化装置のように構成しても良い。
図１８は、この発明の第９実施例に係る画像符号化装置の概略構成を示している。この第９実施例の画像符号化装置は、第７実施例に係る画像符号化装置における受信側画面サイズ検出回路５０による装置内での受信画像情報の画面サイズを行なうのではなく、外部的にマニュアル操作により画面のサイズを設定する画面サイズ設定手段５５を設けるようにしたものである。画面サイズ設定手段５５は、受信した画像データ信号の解像度や面積指示ヘッダ情報等を検出して画面のサイズを演算するのではなく、受信側の装置に受信画面のサイズをマニュアルで入力できるようにしたものである。入力された画面サイズに関する情報信号は入力端子５６を介して符号化装置の符号量割当て制御回路２４に供給される。その他の構成は、第７実施例と同一の構成を有している。
【００３９】
また、図１９に示される第１０実施例に係る画像符号化装置も第９実施例の装置と同様に画面サイズ設定手段５５を備え、かつ入力端子５６を介してマニュアル入力された受信画面のサイズに関する情報信号を入力するための入力端子５６を備えている。その他の構成は図１７に示される第８実施例の構成と同様なので、重複説明を省略する。
【００４０】
以上のようにこの発明に係る画像符号化装置は、再生される画面面積を自動または手動により設定することのできる画面面積判定手段を備え、その具体的な構成としては画素数を分析する解像度の解析や、ヘッダ情報による画面サイズの指定や、マニュアル操作による画面サイズの設定等を行なう画面面積判定手段を備えていることである。したがって、人間の視覚特性を考慮した注視点分布に対応して重み付けを行なってから画像を再生することにより符号化効率の向上が図れる。
【００４１】
【発明の効果】
以上詳細に説明したように、この発明に係る画像符号化装置は、人間の視覚特性において視認対象が小さい場合には注視点分布が余り拡散しないという点に着目して、画面サイズが小さい場合に再生画面全体の符号量を変化させずに画面各領域における符号量の割当てを変えるようにしているので、再生画像の画質を主観的に向上させることができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明に係る画像符号化装置の基本概念を示すブロック図である。
【図２】この発明に係る画像符号化装置における符号化手段の詳細な構成を示すブロック図である。
【図３】この発明の第１実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図４】この発明の第１実施例に係る画像符号化装置における注視点分布の状態を示す説明図である。
【図５】この発明の第１実施例に係る画像符号化装置において領域分布に応じた符号化制御する様子を示す説明図である。
【図６】この発明の第１実施例に係る画像符号化装置においてサブバンド符号化により係数符号化を制御する様子を示す説明図である。
【図７】この発明の第１実施例に係る画像符号化装置において量子化器のデッドゾーンを変えることにより量子化特性を変える様子を示す説明図である。
【図８】この発明の第２実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図９】第２実施例の画像符号化装置における時空間フィルタの詳細な構成を示すブロック図である。
【図１０】第２実施例の画像符号化装置の時空間フィルタの空間フィルタ処理の対象画素を示す説明図である。
【図１１】この発明の第３実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１２】この発明の第４実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１３】第４実施例の画像符号化装置の符号量割当ての処理の様子を示す説明図である。
【図１４】この発明の第５実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１５】この発明の第６実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１６】この発明の第７実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１７】この発明の第８実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１８】この発明の第９実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１９】この発明の第１０実施例に係る画像符号化装置を示すブロック図である。
【符号の説明】
３画面面積判定手段
４符号量割当制御手段
２０量子化・逆量子化回路
２３解像度検出回路
２４符号量割当て制御回路
２５エンコーダ
３８フレームメモリ
４０時空間フィルタ
４５顔領域検出回路
５０受信側画面サイズ検出回路
５５画面サイズ設定手段[0001]
[Industrial application fields]
The present invention relates to an image encoding device that encodes an image signal with high efficiency and transmits or stores the image signal. In particular, the image signal is displayed in order to display an image on a small-screen liquid crystal display or the like that can be incorporated into a wristwatch or the like. The present invention relates to an image encoding device that encodes and transmits the image.
[0002]
When encoding an image used for a videophone or a video conference, data is efficiently compressed using human visual characteristics. Human visual characteristics with respect to image distortion used here are as follows (see: “Image Information Compression” edited by the Television Society supervised by Hiroshi Harashima, p. 12).
(1) Frequency characteristics of strain perception Time-varying strain and strain with high spatial frequency are not easily noticeable.
(2) Relationship with image pattern Distortion is easily perceived in the flat part of the image, and it is difficult to see in the outline. However, this is a case of a still image, and in a moving image, the distortion of the contour portion becomes an edge business, which is conspicuous.
(3) Relationship between image and motion When the image moves at a certain speed or more and the line of sight cannot follow the motion, the perceptual sensitivity of the distortion decreases.
(4) Relationship with scene switching Immediately after the scene is switched, even if the resolution is lowered considerably, it is not noticeable.
(5) Relationship with screen brightness The same level of image distortion becomes more noticeable as the screen becomes darker.
(6) Color signal and luminance signal Since the color signal is less susceptible to distortion than the luminance signal, for example, the color signal sample points can be thinned out.
[0003]
In addition, the visual acuity (spatial resolution) of the peripheral part is inferior to that of the central part of the visual field due to the distribution of visual cells on the retina. Therefore, to obtain information on the shape, structure, and detailed contents, the line of sight is moved. (Eyeball movement) is necessary (see Television Society, “Image Information Compression”, Ohmsha, p. 41). Therefore, the determination of the sharpness of an image in consideration of human visual characteristics depends on the movement of the human line of sight, which is a subjective element, in addition to the resolution of the image as an objective element.
[0004]
On the other hand, when a person looks at something, when the object is small, it is possible to recognize the overall shape etc. by looking at a specific range centered on one point, but when the object is large, In order to capture the shape and the like, it is necessary to watch a wide range including a large number of points. Even when watching a television receiver, when the screen is large, many gaze points are distributed within a certain range by frequently moving the line of sight, but when the screen is small, the range of gaze point distribution is It does not spread so much.
[0005]
The description that the gaze point distribution area is different because the display screen in the high-definition television system, which has been rapidly being implemented in recent years, is larger than the display screen of the current television system is "Image quality and sound quality evaluation technology" (TV (Academic Society, Shoshodo) (see page 118). Figure 5.22 on the same page of the same document shows the measurement result of the ratio of the gazing point distribution area to the screen area when the high-definition image and the current television image are observed under the standard viewing conditions using the program having the same content. Has been. This figure is expressed by ellipse approximation with 3 times the standard deviation, assuming that the gazing point is normally distributed in both the horizontal and vertical directions with the center of the screen as the origin. The experiment results show that the ratio of the gazing point distribution area to the screen area is about 60% in the current television system, but reaches about 80% in the high-vision system. That is, as the screen size is reduced, the proportion of the gazing point distribution area is reduced and concentrated in the center of the screen. Therefore, since the visual spatial resolution is inferior at the periphery of the screen, information compression can be efficiently performed by reducing the spatial resolution by preprocessing or weighting the allocation of distortion.
[0006]
Incidentally, as a method for efficiently compressing the amount of information using the difference between the visual characteristics at the center of the visual field (central vision) and the visual characteristics at the peripheral part of the visual field (peripheral vision), for example, “ “Visual Pattern Image Sequence Coding” (Aug., 1993, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.3 NO.4, pp.291-301) There is. Among these techniques, the technique described in the literature obtains a function relating to the position of the radius r from the center point of the screen, and uses this function to reduce the resolution of the peripheral portion of the screen.
[0007]
In addition, there are the following two methods for performing information compression by changing the allocation of the allocated code amount in each of the visually important area and the unimportant area.
One of them has been proposed on the assumption that it will be applied to videophone applications (Japanese Patent Application Laid-Open No. 1-80185 “Video coding system”), and the focus of attention is concentrated on the face of the other party. Therefore, a face area is detected, and a large amount of code is assigned to the face area.
The other one is applied to a videophone as in the above proposal (Japanese Patent Laid-Open No. 5-95541), detects a facial area in the same manner as the above, and applies a spatio-temporal filter to an area other than the face. By multiplying, the generated code amount in the area other than the face is suppressed, and the code amount assigned to the face area is increased.
[0008]
Both of these conventional technologies pay attention to human visual characteristics, and in the gazing point distribution, by differentiating the amount of encoded data in the region where the gazing point concentrates and the region where the gazing point does not gather much, An image in a natural state is intended to be provided to a person who visually recognizes.
[0009]
[Problems to be solved by the invention]
As described above, all of the conventional image coding methods suppress the generated code amount in a region that is not visually important, and increase the amount of code allocated to the important region, thereby efficiently using human visual characteristics. It tries to compress. However, all of the techniques described in the above two publications only classify the regions in the screen according to the degree of concentration of the gazing point distribution and vary the allocated code amount. It does not take into account the human visual characteristic that the gaze point distribution described in "Evaluation technology of sound quality" differs depending on the screen size (area).
In addition, when image data is transmitted via a wireless transmission path having a narrower band than a wired transmission path, the resolution of the reproduced image is generally lowered due to the limited transmission amount due to the narrow band. As a result, the screen size (area) is inevitably reduced.
[0010]
The present invention has been made to eliminate the above-mentioned problems, and pays attention to the relationship between the screen size (area) and the gazing point distribution region, and is linked to the size of the playback image display device becoming a small screen. An object of the present invention is to provide an image coding apparatus capable of efficiently compressing information by changing only the allocation without changing the absolute amount of the code amount.
[0011]
[Means for Solving the Problems]
  In order to achieve the above object, an image encoding device according to a basic configuration of the present invention is based on a screen size of a playback screen and a code amount of the entire playback screen, and a code amount corresponding to a position in the playback screen Code amount assignment control means for controlling the assignment of the image data, and coding means for coding the input image data signal according to the code amount assigned based on the screen size by the code amount assignment control means. The code amount allocation control unit is configured so that an image having a small number of pixels and a small screen size has a larger weight at the center of the reproduction screen than an image having a large number of pixels and the large screen size. The code amount is assigned by setting a weight distribution function for assigning the code amount of each area.
[0012]
[Action]
According to the above configuration, the input image data signal is internally analyzed to determine the screen size, or the screen size is designated by an externally manually set mode, and the code corresponding to this screen size is determined. Set to change the weight function for quantity allocation. A code amount allocation amount is determined using the set weight function, and an image data signal is encoded based on the allocation amount. Therefore, code amount allocation is changed using a weighting function according to the area of the screen, and if the weighting function is set in consideration of human visual characteristics, it is only necessary to determine or specify the screen size. Therefore, an optimal screen that can be sufficiently put into practical use is obtained.
[0013]
The image coding apparatus according to the present invention may internally determine the screen area of the reproduced image based on the signal amount of the input image data signal as a specific configuration of the screen area determining means. The screen size may be designated externally by manual operation. In the case of determination by internal processing, the signal amount of the image data signal may be detected and the resolution of the reproduced image may be detected from the number of pixels of the reproduced screen. Information including the size information may be transmitted, and the information may be analyzed by a determination unit to determine the screen size.
[0014]
【Example】
  Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
  FIG. 1 shows the basics of the present invention.ConstitutionFIG. In the figure,Sign1 is an input terminal for inputting an image data signal;Reference numeral 2 is an output terminal for outputting an encoded signal, reference numeral3 is an analysis of the image data signal S1 input through the terminal 1, or the reproduction screen is displayed by manual setting from the outside.Detect sizeScreenSize detectionmeans,Sign4 is the screenSize detectionFrom means 3Supplied screen sizeA code amount allocation control means for outputting a control signal S2 for controlling the allocation of the code amount using a weighting function corresponding toSign10 is a code amount allocation control means.4Encoding means for encoding the image data signal S1 input by using the control signal S2 from.This control signal S2 pays attention to the relationship between the screen size and the gazing point distribution area, and changes only the allocation without changing the absolute amount of the code amount in conjunction with the size of the reproduction screen becoming a small screen. Thus, the encoding means is controlled.
[0015]
A more detailed configuration of the encoding means 10 shown in FIG. 1 is shown in the block diagram of FIG. The image data signal S1 is supplied to the motion vector detection circuit 11, the difference circuit 12, and the mode determination circuit 13. The encoding means 10 further has a reference frame memory 14 that has a variable delay function for motion compensation and stores reference frames, a selector 15 that outputs an input signal or a differential signal, and outputs a 0-level signal or motion compensation signal. Selector 16, DCT circuit 17 that performs discrete cosine transform (DCT-) on the output of selector 15, and quantization and inverse quantization on the output of DCT circuit 17 according to the weighting of the input control signal S 2. Quantization / inverse quantization means 20 for processing, inverse DCT circuit 18 for inverse discrete cosine transform of the output of quantization / inverse quantization means 20, and addition for adding the outputs of selector 16 and inverse quantization circuit 18 And a circuit 19. The quantization / inverse quantization means 20 includes a quantization circuit 21 and an inverse quantization circuit 22.
[0016]
In the above configuration, the motion vector detection circuit 11 calculates a motion vector between the reference frame stored in the reference frame memory 14 having the motion compensation variable delay function and the input image data signal S1 as 16 ×. Detection is performed for each macroblock (MB) composed of 16 pixels.
The difference circuit 12 obtains a difference between the motion compensation signal S3 of the reference frame supplied from the reference frame memory 14 and the input image data signal S1 for each macroblock, and supplies the difference to the mode determination circuit 13 and the selector 15. .
The mode determination circuit 13 compares the value of the difference signal S4 output from the difference circuit 12 with the value of the AC component of the input image data signal, and performs intra-frame encoding or inter-frame encoding of the block. It is determined whether. The determination result is supplied to the selector 15 and the selector 16 via the selector 15.
[0017]
The selector 15 selects the input image data signal S1 when it is determined to perform intraframe encoding, and selects the difference signal S4 when it is determined to perform interframe encoding. The selected signal S5 is supplied to the DCT circuit 17.
[0018]
The DCT circuit 17 converts the selected signal S5 into a discrete cosine transform coefficient S6 and supplies it to the quantization / inverse quantization means 20.
[0019]
The quantization / inverse quantization means 20 is supplied from the DCT circuit 17 in accordance with the control signal S2 related to the quantization step size supplied from the rate control circuit (not shown) of the code amount allocation control means by the quantization circuit 21. The received discrete cosine coefficient S6 is quantized and a transform coefficient signal S7 is output. The quantized signal S7 is also supplied to the inverse quantization circuit 22, and the inverse quantization circuit 22 converts the transform coefficient signal S7 into a discrete cosine coefficient S6 according to the control signal S2 related to the quantization step size. Quantize.
[0020]
The inverse DCT circuit 18 performs discrete cosine inverse transform on the discrete cosine coefficient S6 formed by inverse quantization and reproduces one of the signals selected by the selector 15. That is, if it is determined to perform intraframe encoding, a signal corresponding to the image data signal S1 is reproduced, and if it is determined to perform interframe encoding, it corresponds to the difference signal S4. The signal to be played is reproduced. The signal generated by the inverse conversion by the inverse DCT conversion circuit 18 is supplied to the addition circuit 19.
[0021]
On the other hand, the selector 16 selects a 0 level signal when the mode determined by the mode determination circuit 13 is intra-frame coding, and is stored in the reference frame memory 14 when the mode is inter-frame coding. The motion compensation prediction signal S3 is selected and supplied to the adder circuit 19. The adder circuit 19 adds the outputs of the selector 16 and the inverse DCT circuit 18 and supplies the sum to the reference frame memory 14. The reference frame memory 14 accumulates the addition signal output from the addition circuit 19 and supplies a reference frame image signal when the motion vector detection circuit 11 performs a motion vector detection operation.
The transform coefficient S7 quantized by the quantization circuit 21 is variable-length encoded together with side information such as a motion vector, and then multiplexed and output.
[0022]
Next, a first embodiment of the image coding apparatus according to the present invention will be described with reference to FIGS.
In FIG. 3, an encoder 25 that encodes input image data S <b> 1 is provided between an input terminal 1 and an output terminal 2. The image data signal S1 is also supplied to the resolution detection circuit 23 as the screen area determination means 3. The resolution detection circuit 23 detects the resolution (number of pixels) of the input image data signal and supplies information on the number of pixels to the code amount allocation control circuit 24.
The code amount allocation control circuit 24 first changes the weight distribution function for code amount allocation according to the position in the screen according to the number of pixels of the input image. Here, as shown in FIG. 5.22 of the above-mentioned reference “image quality and sound quality evaluation method”, the code amount allocation weight distribution function is obtained by using the standard deviation of the two-dimensional normal distribution as a function of the number of pixels. It may be what you did. FIG. 4 is a rewrite of FIG. 5.22 of the above document, and shows the relationship between the gaze point distribution 27 in the area 26 of the current television system and the gaze point distribution 29 in the area 28 of the high vision system. Yes. As is clear from the figure, the gaze distribution increases as the screen size increases. Therefore, the two-dimensional normal distribution of the gazing point can be applied to the weight distribution function as a function of the number of pixels.
In addition, as shown in FIG. 5, the weight distribution function for code amount allocation may divide an area for each macroblock (MB) and switch the weight for each area. That is, in FIG. 5, the blocks delimited by dotted lines are macroblocks (MB), and weighting is performed so that the generated code amount is suppressed in the region 31 than in the region 32. In this distribution function, an image with a small number of pixels as shown in FIG. 5A has a higher weight in the center of the screen than an image with a large number of pixels as shown in FIG. 5B. Is set to The weight distribution function set in this way is supplied to the encoder 25.
[0023]
The encoder 25 changes the quantization characteristic in accordance with the pixel position or block position in the screen in the quantization / inverse quantization circuit 20 according to the code amount allocation weight distribution function supplied from the code amount allocation control circuit 24. The code amount to be generated is weighted.
As a first method for changing the quantization characteristic, in the code using orthogonal transform as shown in FIG. 2 and subband coding, the first region 31 located in the vicinity of FIGS. 6 and 33 are not forced to encode the coefficient of the frequency component higher than the boundary b1 in FIG. 6, and the second region 32 and 34 located in the middle is forced to have the coefficient of the frequency component higher than the boundary b2. Some of them are not encoded.
[0024]
Further, the second method of changing the quantization characteristic is that a quantization matrix weighted for each transform coefficient is set between the first region 31 and the second region 32 in FIG. 5 or between the first region 33 and the second region. Are switched between the regions 34.
Further, the third method for changing the quantization characteristic is to change the dead zone of the quantizer as shown in FIG. In FIG. 7, reference numeral 35 is a dead zone, and 36 is a representative value of quantization.
[0025]
  Next, an image coding apparatus according to the second embodiment of the present invention will be described in detail with reference to FIGS. The image data signal S1 is supplied to the frame memory 38. The frame memory 38 supplies the image signal S8 of the current frame to the resolution detection circuit 23 and the space-time filter 40, and the image signal S9 of the previous frame is supplied to the space-time filter. 40 only.
  The detailed configuration of the spatiotemporal filter 40 is shown in FIG. In FIG. 9, a spatio-temporal filter 40 includes an intra-frame filter circuit 41 that performs spatial filter processing on the image signal S8 of the current frame, a multiplication circuit 42 that multiplies the output of the intra-frame filter circuit 41, and an input of the previous frame. A multiplication circuit 43 for multiplying the image signal S9 by “1−k”;MultiplicationAnd an addition circuit 44 for adding the multiplication outputs of the circuits 42 and 43.
  Here, a specific example of an arithmetic expression when the output * X of the pixel X shown in FIGS. 10A and 10B is obtained by the intra-frame filter circuit 41 of the space-time filter 40 is shown. It becomes as follows.
  * X = (A + mB + C + mD + mE + F + mG + H + m²X) / (m + 2)²
  Here, m is a variable that changes the strength of the spatial filter.
[0026]
The output * X of the intra-frame spatial filter circuit 41 is multiplied by k by the multiplication circuit 42 and then added by the multiplication circuit 43 to the value obtained by multiplying the input image signal P of the previous frame by “1−k” in the addition circuit 44. Thus, the time filter process is performed. Here, k is a coefficient that changes the strength of the time filter. FIG. 10A is a diagram illustrating the positional relationship between the pixel X and the pixel P. The coefficients m and k are the values of the coefficients in the first region 31 rather than the second region 32 in FIG. 5 according to the code amount weight distribution function included in the control signal S2 supplied from the code amount allocation control circuit 24. Is set to be smaller. As a result, a spatio-temporal filter is strongly applied to the image signal in the first region 31, and the amount of generated codes can be suppressed.
The output of the spatio-temporal filter 40 is supplied to the encoder 25 as a signal S10, is encoded here, and is output to the outside via the output terminal 2.
[0027]
  Next, a third embodiment of the image coding apparatus according to the present invention will be described with reference to FIG. In the image coding apparatus according to the third embodiment, the configuration of the encoder 25 of the image coding apparatus according to the second embodiment shown in FIG. 8 is the same as that of the image coding apparatus according to the first embodiment of FIG. A point in which the inverse quantization circuit 20 is provided, and the code amount allocation weight distribution coefficient is supplied to the space-time filter 40 and also supplied to the quantization / inverse quantization circuit 20 of the encoder 25. This is different from the apparatus of the second embodiment.
  11, the coefficients m and k of the spatio-temporal filter 40 are larger than those in the second region 32 of FIG. 5 according to the code amount allocation weight distribution coefficient included in the control signal S2 supplied from the code amount allocation control circuit 24. The region 31 of 1 is set to have a smaller coefficient. As a result, a stronger spatio-temporal filtering process is applied to the first region 31 of FIG. 5 than to the second region 32.ThisAs a result, the amount of codes generated in the 21st region 31 can be suppressed.
[0028]
The output of the spatio-temporal filter 40 is supplied to the encoder 25 as a signal S10 and is encoded and output. In the encoder 25, the code amount assignment weight distribution function included in the control signal S2 supplied from the code amount assignment control circuit 24 is also supplied to the quantization / inverse quantization circuit 20. As in the first embodiment, the quantization circuit 20 weights the generated code amount so as to change the quantization characteristic according to the pixel position and the block position in the screen. The image signal weighted so as to change the quantization characteristic depending on the position in the screen is encoded with a generated code amount that varies depending on the position, and is output to the outside via the output terminal 2.
[0029]
Next, an image encoding apparatus according to the fourth embodiment of the present invention will be described with reference to FIG. The image coding apparatus according to the fourth embodiment supplies the image signal of the current frame in the frame memory 38 to the encoder 25 without providing the spatio-temporal filter 40 in the image coding apparatus of the third embodiment. A face area detection circuit 45 to which the image signals of the frame and the previous frame are supplied is provided, and the output of the face area detection circuit 45 and the output of the resolution detection circuit 23 are output from the code amount allocation control circuit 24 that receives them. The quantization characteristic of the quantization / inverse quantization circuit 20 is changed by the control signal S2 including the code amount allocation weight distribution function.
In the above configuration, the face area detection circuit 45 detects a face area by the same method as the “image encoding device” described in Japanese Patent Laid-Open No. 5-95541 described above, and the detection result is output by the output signal S11. This is supplied to the code amount allocation control circuit 24.
[0030]
In the code amount allocation control circuit 24, first, as shown in FIG. 13A, the first region 31 and the second region 32 are determined by the same method as in the first embodiment according to the number of pixels of the input image. Thus, the weighting function for code amount assignment is changed according to the position in the screen. Next, the face area 47 in FIG. 13B is detected, and the weight distribution function is corrected as shown in FIG. 13C in consideration of the detection result of the face area 47. The following can be considered as an example of this correction method.
The inside of the face area 47 in FIG. A part of the second area 32 in FIG. 13A that is not included in the face area 47 in FIG. 13C becomes the second area 32. In FIG. 13A, if there is a part included in the first area 31 and a part included in the face area, this part becomes the first area 31. In FIG. 13A, the portion included in the second region 32 and the portion included in the face region 47 in FIGS. 13B and 13C is the third region in FIG. 13C. 53.
[0031]
The weight distribution function shown in FIG. 13C is supplied to the encoder 25.
In the encoder 25, according to the code amount allocation weight distribution function, the quantization / inverse quantization circuit 20 changes the quantization characteristic according to the pixel position and the block position in the screen by the same method as in the first embodiment. Thus, the generated code amount is weighted.
[0032]
Next, an image coding apparatus according to a fifth embodiment of the present invention will be described with reference to FIG. The image encoding apparatus according to the fifth embodiment has a configuration in which the apparatus of the second embodiment shown in FIG. 8 and the apparatus of the fourth embodiment shown in FIG. 12 are combined.
In FIG. 14, the image signal S8 of the current frame output from the frame memory 38 is supplied to three circuits: a resolution detection circuit 23, a spatiotemporal filter 40, and a face area detection circuit 45. The image signal S9 of the previous frame is supplied to both the spatiotemporal filter 40 and the face area detection circuit 45. The output of the resolution detection circuit 23 and the output of the face area detection circuit 45 are supplied to the code amount allocation control circuit 24 to set a code amount allocation weight distribution function. The spatiotemporal filter 40 performs spatiotemporal filter processing on the image signals S8 and S9 of the current frame and the previous frame based on this weight distribution function, and outputs a signal S10 to the encoder 25. The encoder 25 encodes this signal S10 and sends it out via the output terminal 2.
[0033]
FIG. 15 is a block diagram showing the configuration of an image coding apparatus according to the sixth embodiment of the present invention. In the sixth embodiment, the configuration of the encoder 25 in the fifth embodiment is the quantization / inverse quantization circuit 20. This corresponds to the second embodiment configured as described above. Other configurations are the same as or correspond to the components having the same reference numerals in the several embodiments described above, and therefore, only the reference numerals are given in the drawings and the duplicated explanation is omitted.
The space-time filter 40 in FIG. 14 receives the control signal S2 including the code amount allocation weight distribution function supplied from the code amount allocation control circuit 24, adds the space-time filter process, and outputs the signal S10 to the encoder 25.
In the encoder 25, as in the first embodiment, the quantization / inverse quantization circuit 20 determines the pixel position in the screen or according to the weight distribution function included in the control signal S2 supplied from the code amount assignment control circuit 24. The amount of generated code is weighted by changing the quantization characteristic according to the block position.
[0034]
FIG. 16 is a block diagram showing a schematic configuration of an image coding apparatus according to the seventh embodiment of the present invention. In FIG. 16, the characteristic configuration of the apparatus of the seventh embodiment is provided with a receiving side screen size detecting circuit 50 that receives a signal output from the frame memory 38 and detects the receiving side screen size. The quantity allocation control circuit 24 calculates the allocation weight distribution function of the code quantity based on both the output signal of the receiving screen size detection circuit 50 and the output signal of the frame memory 38, and constitutes the encoder 25. This function is supplied to the quantization circuit 20. In the case of providing a spatio-temporal filter, the same operation as that of the image coding apparatus of the second embodiment is performed, and therefore a duplicate description is omitted.
[0035]
FIG. 17 is a block diagram showing a schematic configuration of an image coding apparatus according to the eighth embodiment of the present invention. In the figure, in addition to the configuration of the seventh embodiment shown in FIG. 16, a face area detection circuit 45 similar to the configuration of the fourth embodiment shown in FIG. 12 is provided. In addition to the output of the receiving screen size detection circuit 50, the output of the face area detection circuit 45 is also supplied. Therefore, the code amount allocation control circuit 24 uses the code amount allocation weight distribution function from the image data signal input via the frame memory 38 based on the output of the receiving screen size detection circuit 50 and the output of the face area detection circuit 45. Is supplied to the quantization / inverse quantization circuit 20 of the encoder 25. The quantization / inverse quantization circuit 20 changes the quantization characteristic based on the supplied distribution function, weights the generated code amount, and outputs a signal to the outside via the terminal 2.
[0036]
The image coding apparatus according to the seventh and eighth embodiments receives the size of the received information to be reproduced, which has been transmitted by transmitting header information indicating the screen size on the image data signal and transmitting it on the signal side. Can be easily detected.
[0037]
In the image coding apparatuses of the seventh and eighth embodiments shown in FIGS. 16 and 17, the screen size is detected by the receiving side screen size detection circuit 50 as the screen size detection means supplied to the code amount allocation control circuit 24. However, the present invention is not limited to this. However, the present invention is not limited to this, and the amount of generated code may be weighted by inputting it manually from the outside.
[0038]
That is, the image coding apparatus according to the ninth and tenth embodiments shown in FIGS. 18 and 19 may be configured.
FIG. 18 shows a schematic configuration of an image coding apparatus according to the ninth embodiment of the present invention. The image coding apparatus according to the ninth embodiment does not perform the screen size of the received image information in the apparatus by the reception-side screen size detection circuit 50 in the image coding apparatus according to the seventh embodiment, but externally. A screen size setting means 55 for setting the screen size by manual operation is provided. The screen size setting means 55 does not detect the resolution of the received image data signal, area indication header information, etc., and calculates the screen size, but can manually input the size of the received screen to the receiving device. It is a thing. The input information signal regarding the screen size is supplied to the code amount allocation control circuit 24 of the encoding device via the input terminal 56. Other configurations are the same as those of the seventh embodiment.
[0039]
The image coding apparatus according to the tenth embodiment shown in FIG. 19 is also provided with a screen size setting means 55 as in the apparatus of the ninth embodiment, and the size of the received screen manually input via the input terminal 56. The input terminal 56 for inputting the information signal is provided. The other configuration is the same as that of the eighth embodiment shown in FIG.
[0040]
As described above, the image coding apparatus according to the present invention includes the screen area determination unit that can automatically or manually set the screen area to be reproduced, and the specific configuration thereof includes a resolution for analyzing the number of pixels. This includes screen area determination means for performing analysis, specifying the screen size by header information, setting the screen size by manual operation, and the like. Therefore, it is possible to improve the encoding efficiency by reproducing the image after performing weighting corresponding to the gaze point distribution in consideration of human visual characteristics.
[0041]
【The invention's effect】
As described above in detail, the image coding apparatus according to the present invention is focused on the fact that the gaze point distribution does not diffuse much when the visual target is small in human visual characteristics, and when the screen size is small. Since the code amount allocation in each area of the screen is changed without changing the code amount of the entire playback screen, the image quality of the playback image can be subjectively improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic concept of an image encoding device according to the present invention.
FIG. 2 is a block diagram showing a detailed configuration of encoding means in the image encoding apparatus according to the present invention.
FIG. 3 is a block diagram showing a schematic configuration of an image encoding device according to the first embodiment of the present invention;
FIG. 4 is an explanatory diagram showing a state of gaze point distribution in the image coding device according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram showing a state in which encoding control is performed according to a region distribution in the image encoding device according to the first embodiment of the present invention.
FIG. 6 is an explanatory diagram showing how coefficient coding is controlled by subband coding in the image coding apparatus according to the first embodiment of the present invention;
FIG. 7 is an explanatory diagram showing how the quantization characteristic is changed by changing the dead zone of the quantizer in the image encoding device according to the first embodiment of the present invention;
FIG. 8 is a block diagram showing a schematic configuration of an image encoding device according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a detailed configuration of a spatio-temporal filter in the image encoding device of the second embodiment.
FIG. 10 is an explanatory diagram illustrating a target pixel for spatial filter processing of a spatio-temporal filter of the image encoding device according to the second embodiment.
FIG. 11 is a block diagram showing a schematic configuration of an image coding apparatus according to a third embodiment of the present invention.
FIG. 12 is a block diagram showing a schematic configuration of an image coding apparatus according to a fourth embodiment of the present invention.
FIG. 13 is an explanatory diagram illustrating a state of code amount allocation processing of the image encoding device according to the fourth embodiment;
FIG. 14 is a block diagram showing a schematic configuration of an image coding apparatus according to a fifth embodiment of the present invention.
FIG. 15 is a block diagram showing a schematic configuration of an image encoding device according to a sixth embodiment of the present invention.
FIG. 16 is a block diagram showing a schematic configuration of an image coding apparatus according to a seventh embodiment of the present invention.
FIG. 17 is a block diagram showing a schematic configuration of an image encoding device according to an eighth embodiment of the present invention;
FIG. 18 is a block diagram showing a schematic configuration of an image encoding device according to a ninth embodiment of the present invention.
FIG. 19 is a block diagram showing an image coding apparatus according to a tenth embodiment of the present invention.
[Explanation of symbols]
3 Screen area judgment means
4 Code amount allocation control means
20 Quantization and inverse quantization circuit
23 Resolution detection circuit
24 Code amount allocation control circuit
25 Encoder
38 frame memory
40 spatio-temporal filter
45 Face area detection circuit
50 Receiver screen size detection circuit
55 Screen size setting means

Claims

Code amount allocation control means for controlling the allocation of the code amount according to the position in the playback screen based on the screen size of the playback screen and the code amount of the entire playback screen ;
According to the sign amount allocated on the basis of the screen size by the code amount assignment control unit, and encoding means for encoding the input images data signal,
An image encoding device comprising:
The code amount assignment control unit, as towards the smaller images of the screen size smaller number of pixels, the weight is increased at the center of the playback screen than the image number is large and the screen size larger pixels, the playback screen An image coding apparatus characterized in that a code amount is assigned by setting a weight distribution function for assigning a code amount of each region in the region .

Further comprising a screen size detection means constituted by the resolution detection circuit for detecting the number of pixels the playback screen as the resolution in order to detect the screen size based on the image data signal,
The code amount assignment control unit, the code amount of the entire reproduction screen is constant, and in claim 1, which is constituted by the code amount allocation control circuit for changing the weight distribution function in accordance with the image prime the playback screen The image encoding device described.

A frame memory for storing the image data signal for each frame,
Further comprising a screen size detecting means for detecting the screen size based on the image data signal of a frame unit stored in the frame memory,
The code amount assignment control unit calculates and outputs the weighting distribution function on the basis of said image data signal of the frame unit stored on said screen size the frame memory output to the screen size detection circuit is constituted by a sign-amount allocation control circuit,
It said encoding means, quantization and inverse quantization for outputting a quantized signal by performing a weighting of the amount of generated code by changing the quantization characteristic on the basis of the weight distribution function output from the code amount allocation control circuit Composed of an encoder equipped with a circuit ,
The image encoding device according to claim 1.

The image coding apparatus according to claim 1, further comprising a screen size setting means for setting the screen size of the playback screen based accept a signal including a predetermined screen size information supplied from the outside to the signal.

A frame memory for storing the image data signal for each frame,
And screen size setting means for setting the window size by manual operation from the outside,
Further comprising
The code amount assignment control means is constituted by said assigning a code amount of the image data signal of the frame stored in the frame memory based on the screen size sign-amount allocation control circuit for outputting to the display size setting means ,
It said encoding means, quantization and inverse outputs the quantized signal by performing a weighting of the amount of generated code by changing the quantization characteristic based on the allocation of the code amount outputted from the code amount allocation control circuit Consists of an encoder with a quantization circuit,
The image encoding device according to claim 1.

The image code according to claim 1, further comprising a spatiotemporal filter that applies a stronger spatiotemporal filtering process to an outermost region of the reproduction screen in an image with a small number of pixels and a small screen size than an inner region. Device.