JP2018032921A - 画像処理システム及び画像復号装置 - Google Patents

画像処理システム及び画像復号装置 Download PDF

Info

Publication number
JP2018032921A
JP2018032921A JP2016162408A JP2016162408A JP2018032921A JP 2018032921 A JP2018032921 A JP 2018032921A JP 2016162408 A JP2016162408 A JP 2016162408A JP 2016162408 A JP2016162408 A JP 2016162408A JP 2018032921 A JP2018032921 A JP 2018032921A
Authority
JP
Japan
Prior art keywords
image
image signal
unit
dynamic range
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016162408A
Other languages
English (en)
Other versions
JP2018032921A5 (ja
JP6729170B2 (ja
Inventor
和仁 迫水
Kazuhito Sakomizu
和仁 迫水
中井 敏久
Toshihisa Nakai
敏久 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016162408A priority Critical patent/JP6729170B2/ja
Priority to US15/614,698 priority patent/US10475313B2/en
Publication of JP2018032921A publication Critical patent/JP2018032921A/ja
Publication of JP2018032921A5 publication Critical patent/JP2018032921A5/ja
Application granted granted Critical
Publication of JP6729170B2 publication Critical patent/JP6729170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19634Electrical details of the system, e.g. component blocks for carrying out specific functions
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】圧縮率の低下及び画像品質の低下を抑えて、効率良く情報量を削減することが可能な画像処理システム及び画像復号装置を提供する。【解決手段】入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、注目領域の画像内での位置を示す注目領域情報を生成する注目領域検出部と、画像内における注目領域を除く領域を背景領域とし、入力画像信号に基づく複数の画素値のうちで背景領域に対応した画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、注目領域情報、所定係数及び画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。【選択図】図1

Description

本発明は、画像信号を圧縮符号化する画像処理システム、及び圧縮符号化された画像信号を復号する画像復号装置に関する。
近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をROI(Region of Interest)として検出し、このROIに対して多くのビット数を割り当てて画像圧縮処理を施すようにした画像処理装置が提案されている(例えば、特許文献1参照)。
当該画像処理装置では、符号量と映像品質を制御するパラメータをブロック毎に設定するという圧縮部の機能を利用して、ROI以外の領域、つまり背景領域の情報量をROIの情報量よりも削減するように、圧縮部に与えるパラメータを制御することにより、データ量を削減している。
しかしながら、圧縮部がハードウェアで構成されていると、このようなパラメータの制御機能を後から追加することができない場合がある。
そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている(例えば、特許文献2参照)。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。
特開2009−49979号公報 特開平4−219089号公報
ところで、上記したような低域通過フィルタによる高周波成分の削減は、画像全体を、例えばFFT(Fast Fourier Transform)処理等によるトランスフォームドメインの形態で、高周波成分の振幅を小さくすることによって情報量の削減を図る処理に相当する。
一方、圧縮部で主に採用される画像符号化方式は、トランスフォームドメインの形態ではなく、除算による量子化と乗算による逆量子化を組み合わせることによって画像信号の振幅を小さくすることで情報量を削減している。
よって、低域通過フィルタ及び圧縮部の双方で同じ大きさまで画像信号の振幅を小さくする、つまり同程度まで情報量を低下させると、低域通過フィルタによって情報量を削減したもののほうが、背景領域での映像信号のPSNR(Peek Signal to Noise Ratio)が低くなる傾向がある。
すなわち、圧縮部に依存せずに、上記した低域通過フィルタによって背景領域の情報量を削減するにあたり、圧縮部と低域通過フィルタとで同程度のビットレートで圧縮を行うと、情報量の削減過程の違いから、背景領域のPSNRが悪化する傾向となる。
この際、背景領域のPSNRを高くする為には、圧縮部及び低域通過フィルタ各々での圧縮ビットレートを下げる、つまり情報量の削減量を減らす必要がある。
一方、監視カメラで撮影された映像信号を処理対象とした場合には、背景領域でのアーティファクトが問題とはならないので、このような場合には、PSNRの向上よりも情報量を削減することが望まれる。
よって、背景領域のPSNRとして所望のPSNRを想定して、低域通過フィルタで背景領域の情報量を削減しようとすると、圧縮率を高めることができないという問題が生じる。
そこで、本発明は、圧縮率の低下及び画像品質の低下を抑えて、効率良く情報量を削減することが可能な画像処理システム及び画像復号装置を提供することを目的とする。
本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。
また、本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。
また、本発明に係る画像処理システムは、各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成すると共に、前記画像圧縮データを復号したローカル復号画像信号を生成する符号化圧縮部と、前記ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、前記注目領域情報及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有する。
本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号にて表される各画素値のうちで、前記注目領域情報によって前記背景領域に分類される画素に対応した画素値に対しては、前記所定係数の逆数を乗算することによってダイナミックレンジを伸長することにより前記画像信号を復元するダイナミックレンジ伸張部と、を有する。
また、本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対してダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、ダイナミックレンジの圧縮の中心値をVとした場合、 Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出する。
また、本発明に係る画像復号装置は、画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定中心値を中心として所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、前記所定係数、及び前記所定中心値を抽出するビットストリーム受信部と、前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、前記データ量抑圧画像信号に含まれる複数の画素値に対して前記所定中心値に基づくダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、前記ダイナミックレンジ伸張部は、前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、前記所定中心値をVとした場合、Qa=(Qb−V)×(1/Dc)+Vなる数式にて前記伸張処理後の画素値Qaを算出する。
本発明では、所定の画像符号化方式に従って画像信号の圧縮を行う圧縮部と共に、画像信号によって表現される画像中の特定の領域(ROI)を除く背景領域を対象とし、当該背景領域に対応した画素値各々のダイナミックレンジを圧縮するダイナミックレンジ圧縮部を設けることにより、情報量の削減を図るようにしている。これにより、復号後の画像品質の低下が抑えられ、且つ情報の削減量を増やすことが可能となる。よって、本発明によれば、画像品質の低下を抑えて、効率良く情報量を削減することが可能となる。
画像処理システムP1及び画像復号部U2の第1の実施例の構成を示すブロック図である。 画像符号化部U1の動作を表す動作フロー図である。 正規化処理2による正規化動作の一例を説明する為の図である。 画像復号部U2の動作を表す動作フロー図である。 画像処理システムP1及び画像復号部U2の第2の実施例の構成を示すブロック図である。 図5に示す画像符号化部U1の動作を表す動作フロー図である。 図5に示す画像符号化部U1の動作を表す動作フロー図である。 画像処理システムP1及び画像復号部U2の第3の実施例の構成を示すブロック図である。 図8に示す画像符号化部U1の動作を表す動作フロー図である。 図8に示す画像符号化部U1の動作を表す動作フロー図である。 図8に示す画像復号部U2の動作を表す動作フロー図である。
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図1は、本発明に係る画像処理システムP1及び画像復号部U2の構成を示すブロック図である。画像処理システムP1は、ROI(Region of Interest)検出部501、プレフィルタ部502、及び画像符号化部U1を含む。
ROI検出部501は、画素毎の輝度レベルを表す画素値の系列を含む画像信号D19に基づき、画像フレーム内において、例えば顔検出アルゴリズムを適用することで「顔」等の特定のオブジェクトが表示される領域をROI、つまり注目領域として検出する。そして、ROI検出部501は、検出したROIの画像内での位置を表すROI情報D01を、画像符号化部U1及びプレフィルタ部502に供給する。
プレフィルタ部502は、画像信号D19、ROI情報D01、及び圧縮後のダイナミックレンジ(以下、DRと略して称する)を示すDR設定値D20を受ける。プレフィルタ部502は、画像信号D19によって表される画素毎の輝度レベルを示す画素値の各々のうちで、ROI情報D01によって背景領域として分類される画素値に対して、画像の平滑化を行うことにより画像信号D02を生成する。例えば、プレフィルタ部502は、背景領域として分類される画素値にガウシアンフィルタ処理を施して畳み込むことで、高周波成分を抑圧した画像信号D02を生成する。プレフィルタ部502は、画像信号D02を画像符号化部U1に供給する。
画像符号化部U1は、画像信号D02を、ROI情報D01及びDR設定値D20に基づいて圧縮し、ビットストリーム信号D12を出力する。
画像符号化部U1は、ROI補正部103、DR係数計算部104、DRC(Dynamic Range Control)フィルタ部106、ビットストリーム伝送部112、及び符号化圧縮部511を有する。
ROI補正部103は、ROI情報D01を補正し、ROI補正済情報D03をDRCフィルタ部106、及びビットストリーム伝送部112に供給する。
DR係数計算部104は、ダイナミックレンジを指定するDR設定値D20に基づきDR係数D04を算出し、これをDRCフィルタ部106及びビットストリーム伝送部112に供給する。尚、DR係数D04によって示される値は1未満である。
DRCフィルタ部106は、画像信号D02によって表される画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより低DR画像信号D06を生成する。ここで、DR係数D04によって示される値は1未満である。よって、背景領域に分類される各画素に対応した画素値にDR係数D04を乗算することにより、当該背景領域に対応した画素値各々のダイナミックレンジが、DR係数D04に基づく圧縮率で圧縮される。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。
DRCフィルタ部106は、かかる低DR画像信号D06を符号化圧縮部511に供給する。
符号化圧縮部511は、低DR画像信号D06を、JPEG(Joint Photographic Experts Group)や、H.264/MPEG(Moving Picture Experts Group)−4 AVC(Advanced Video Coding)、或いはH.265/MPEG−H HEVC(High Efficiency Video Coding)などの画像符号化方式を用いて圧縮して画像圧縮データD11を生成し、これをビットストリーム伝送部112に供給する。尚、符号化圧縮部511は、DRCフィルタ部106から供給された低DR画像信号D06と、この低DR画像信号D06よりも1ピクチャ期間前に供給された低DR画像信号D06とが等しい場合には、スキップモードと称される特別なモードに移行する。スキップモードでは、符号化圧縮部511は、冗長な差分情報の伝送を抑えるような形態で画像信号を符号化することで、情報量の削減を行う。
ビットストリーム伝送部112は、ROI補正済情報D03、DR係数D04、及び画像圧縮データD11を多重化した信号をビットストリーム信号D12として生成し、これを外部に出力する。
一方、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2は、ビットストリーム受信部113、復号部514、及び逆DRCフィルタ部118を含む。
ビットストリーム受信部113は、ビットストリーム信号D12を受け、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報及びDR係数を夫々抽出する。ビットストリーム受信部113は、抽出した画像圧縮データを画像圧縮データD13として復号部514に供給すると共に、抽出したDR係数をDR係数D16として逆DRCフィルタ部118に供給する。更に、ビットストリーム受信部113は、抽出したROI情報をROI情報D15として逆DRCフィルタ部118に供給すると共に、当該ROI情報D15を外部に出力する。
復号部514は、画像圧縮データD13に対して、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−H HEVCなどの、符号化圧縮部511で採用されている画像符号化方式に対応した復号処理を施すことにより、その圧縮状態を伸長したデータ量抑圧画像信号D14を生成する。復号部514は、データ量抑圧画像信号D14を逆DRCフィルタ部118に供給する。
逆DRCフィルタ部118は、データ量抑圧画像信号D14に含まれる画素値の系列のうちで、ROI補正済情報D15によって背景領域に分類される画素の画素値に対しては、DR係数D16の逆数を乗算することによりダイナミックレンジを伸張した復号画像信号D18を生成し、これを外部に出力する。
尚、図1に示す構成では、ROI補正済情報D03及びDR係数D04を多重化して画像符号化部U1から画像復号部U2に伝送する構成としている。しかしながら、ROI情報D01及びDR設定値D20を、画像符号化部U1から画像復号部U2に伝送し、画像復号部U2側でROI補正部103及びDR係数計算部104と同様な処理を行うことで、ROI補正済情報D03及びDR係数D04を取得するようにしても良い。また、上記した説明では、ROI検出部501が、画像信号D19中から動的にROI情報D01を検出するようにしているが、当該ROI情報に関しては、これを例えば手動にて予め固定設定しておくなどの静的な手段によってROI情報を設定するようにしても良い。また、図1に示す構成では、プレフィルタ部502の出力である画像信号D02を画像符号化部U1に供給しているが、画像信号D19を直接、画像符号化部U1に供給するようにしても良い。
以下に、図1に示す構成の動作について説明する。
図2は、画像符号化部U1の動作を表す動作フロー図である。図2に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、以下のような正規化処理1〜3のいずれか1つの処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。
[正規化処理1]
正規化処理1では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する複数の画素のうちで少なくとも1画素がROIに含まれているか否かを判定し、含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。尚、1ブロックは、互いに隣接するn行×m列分のn・m個(n、mは2以上の整数)の画素からなる。

正規化処理2では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する複数の画素のうちの半数以上がROIに含まれているか否かを判定し、含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。

正規化処理3では、ROI補正部103は、ROI補正済情報D03に基づき、予め定められた大きさのブロック毎に、そのブロックに属する全画素がROIに含まれているか否かを判定し、全画素がROIに含まれていると判定された場合に当該ブロックに属する全画素をROIに属する画素群とする。
図3は、上記した正規化処理2による正規化動作の一例を説明する為の図である。図3では、1つのブロックのサイズを4画素(行方向)×4画素(列方向)とした、夫々が16個の画素を含むブロックBL1〜BL3を示している。尚、図3において斜線にて示される画素は、正規化前にROIに含まれていると判定される画素である。この際、ブロックBL1内にはROIに含まれる画素は存在していないので、当該ブロックBL1に属する全画素は背景領域に対応した画素として扱われる。また、図3に示すブロックBL2内にはROIに含まれる画素は6個であり、16個の半数の8個に満たない為、当該ブロックBL2に属する全画素も背景領域に対応した画素として扱われる。また、図3に示すブロックBL3内にはROIに含まれる画素は8個以上あるので、当該ブロックBL3に属する全画素はROIに対応した画素として扱われる。
このように、ROI補正部103は、ROI情報D01を正規化することにより、ROIと背景領域の境界を、画像符号化方式が採用するブロックの境界と一致させるのである。尚、符号化圧縮部511で採用される画像符号化方式では、特定の大きさのブロック毎に予測又は変換を行うことで情報量を削減しているため、ROIと背景領域の境界も、画像符号化方式が採用するブロックの境界と一致していることが好ましい。また、ROI情報の補正をおこなわなくても本発明の効果が得られるので、ROI補正部103は、入力されたROI情報D01を、そのままROI補正済情報D03としてDRCフィルタ部106及びビットストリーム伝送部112に供給するようにしても良い。
次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。
具体的には、例えば画像信号D19における画素値のダイナミックレンジがDtであり、且つDR設定値D20にて指定されたダイナミックレンジがDpである場合、DR係数計算部104は、以下の式に従ってDR係数D04としての係数Dcを算出する。
Dc=Dp/Dt
この際、例えば画像信号D19における画素値のダイナミックレンジDtが256であり、圧縮後のダイナミックレンジDpが128であった場合、Dcは0.5である。
なお、DR設定値D20としてDcが直接、画像符号化部U1に供給される場合には、DR係数計算部104は、DR設定値D20をそのままDR係数D04として、DRCフィルタ部106及びビットストリーム伝送部112に供給するようにしても良い。
次に、DRCフィルタ部106が、画像信号D02に含まれる画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより、ダイナミックレンジを圧縮した低DR画像D06を生成する(ステップS104)。
具体的には、ダイナミックレンジの圧縮前の画素値をPb、ダイナミックレンジの圧縮後の画素値をPaとした場合、DRCフィルタ部106は、例えば以下の式に従って画素値をPbにDR係数Dcを乗算することによりPaを求める。
Pa=Pb×Dc
つまり、DRCフィルタ部106は、背景領域に分類される画素に対応した画素値Pbに対しては、画素値Paを圧縮後の画素値として得る一方、ROIに分類される画素に対応した画素値に対しては、圧縮前の画素値Pbをそのまま圧縮後の画素値とする。そして、DRCフィルタ部106は、圧縮後の画素値(Pa又はPb)の系列を含む低DR画像信号D06を生成する。
ところで、画素値が色差信号のように例えば「128」を中心に分布している場合もある。このような場合、DRCフィルタ部106は、所定の定数Cを用いた、以下の式に従ってダイナミックレンジの圧縮後の画素値Paを算出するようにしても良い。この際、定数Cを中心にしてダイナミックレンジの圧縮が為されることになる。
Pa=(Pb−C)×Dc+C
次に、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−H HEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。
そして、ビットストリーム伝送部113が、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS113)。
以下に、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2の動作について説明する。
図4は、画像復号部U2の動作を表す動作フロー図である。図4に示すように、画像復号部U2では、先ず、ビットストリーム受信部113が、ビットストリーム信号D12を受信し、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報及びDR係数を抽出し、夫々画像圧縮データD13、ROI情報D15及びDR係数D16として出力する(ステップS151)。
次に、画像復号部U2では、復号部514が、画像圧縮データD13をH.264/MPEG−4 AVC等の画像符号化方式を用いて復号し、データ量抑圧画像信号D14を生成する(ステップS552)。
次に、画像復号部U2では、逆DRCフィルタ部118が、データ量抑圧画像信号D14に含まれる画素値の系列中において、ROI情報D15で背景領域に分類される画素に対応した画素値に対して、DR係数D16の逆数を乗算することにより、ダイナミックレンジを伸長した復号画像信号D18を生成し、これを出力する(ステップS156)。
具体的には、ダイナミックレンジの伸長前の画素値をQb、ダイナミックレンジの伸長後の画素値をQaとした場合、逆DRCフィルタ部118は、例えば以下の式に示すように、QbをDR係数Dcで除算することによりQaを求める。
Qa=Qb×(1/Dc)
つまり、逆DRCフィルタ部118は、背景領域に分類される画素に対応した画素値に対してはQaを伸長後の画素値とする一方、ROIに分類される画素に対してはQbを伸長後の画素値とする。そして、逆DRCフィルタ部118は、伸長後の画素値(Qa、Qb)の系列を含む復号画像信号D18を出力する。
なお、DRCフィルタ部106が定数Cを中心にダイナミックレンジを圧縮している場合には、逆DRCフィルタ118でも次式を使用して伸長する。
Qa=(Qb−C)×(1/Dc)+C
以上のように、図1に示される画像処理システムP1は、各画素に対応した複数の画素値を含む入力画像信号(D19)を圧縮して伝送するものであり、以下の注目領域検出部、ダイナミックレンジ圧縮部、符号化圧縮部及びビットストリーム伝送部を含む。すなわち、注目領域検出部(103、501)は、入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、この注目領域の画像内での位置を示す注目領域情報(D01、D03)を生成する。ダイナミックレンジ圧縮部(104、106)は、画像内における注目領域を除く領域を背景領域とし、入力画像信号に基づく複数の画素値のうちで背景領域に対応した画素値の各々のダイナミックレンジを所定係数(D04)の分だけ圧縮した低ダイナミックレンジ画像信号(D06)を生成する。符号化圧縮部(511)は、この低ダイナミックレンジ画像信号を所定の画像符号化方式(例えばJPEG、MPEG等)に従って圧縮した画像圧縮データ(D11)を生成する。そして、ビットストリーム伝送部(112)は、上記した注目領域情報、所定係数及び画像圧縮データを含むビットストリーム信号を出力する。
要するに、画像処理システムP1では、所定の画像符号化方式に従って画像信号の圧縮を行う符号化圧縮部と共に、画像信号によって表現される画像中のROIを除く背景領域に対応した画素値各々のダイナミックレンジを圧縮するダイナミックレンジ圧縮部を設けることにより、情報量の削減を図るのである。よって、背景領域の情報量を削減する為に、当該背景領域の全域に亘りトランスフォームドメインの形態で高周波成分の振幅を小さくするという、低域通過フィルタを用いた場合に比べて、復号後の画像品質の低下が抑えられ、且つ情報の削減量を増やすことが可能となる。すなわち、図1に示す画像処理システムP1では、所定の画像符号化方式に従って画像信号の圧縮を行う圧縮部(511)の外部に、ダイナミックレンジ圧縮部(103、104、106、501)を設けることにより、画像品質の低下を抑えて、効率良く情報量を削減することが可能となるのである。
図5は、画像処理システムP1及び画像復号部U2の第2の実施例の構成を示すブロック図である。尚、図5において、画像復号部U2は図1に示すものと同一であるので、当該画像復号部U2の構成及び動作の説明は省略する。また、図5に示される画像処理システムP1では、閾値決定部208、バッファ部209及びUSP(Update Source Picture)フィルタ部210を新たに設け、且つ新たに閾値設定値D21の供給を受けるようにした点を除く他の構成は、図1に示すものと同一である。ただし、図5に示す構成では、DRCフィルタ部106は、低DR画像信号D06を符号化圧縮部511ではなくUSPフィルタ部210に供給する。そこで、以下に、閾値決定部208、バッファ部209及びUSPフィルタ部210を中心に、図5に示される構成について説明する。
閾値決定部208は、閾値設定値D21及びDR係数D04に基づき閾値D08を算出し、これをUSPフィルタ部210に供給する。
USPフィルタ部210は、ROI補正済情報D03及び閾値D08に基づき、バッファ部209から供給された予測画像信号D09、及び低DR画像信号D06のうちの一方を選択し、選択した方をデータ量抑圧画像信号D10として符号化圧縮部511及びバッファ部209に供給する。
バッファ部209は、データ量抑圧画像信号D10を取り込んで保持しつつ、これを1ピクチャ期間後に予測画像信号D09としてUSPフィルタ部210に供給する。尚、符号化圧縮部511が、画像圧縮データD11に復号処理を施してその圧縮状態を解除したローカル復号画像信号を出力する機能を備えている場合には、バッファ部209は、データ量抑圧画像信号D10に代えてこのローカル復号画像信号を取り込んで保持するようにしても良い。よって、この際、バッファ部209は、この保持したローカル復号画像信号を予測画像信号D09としてUSPフィルタ部210に供給することになる。
以下に、図5に示す構成の具体的な動作について説明する。
図6及び図7は、図5に示す画像符号化部U1の動作を表す動作フロー図である。
図6に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、正規化処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。
次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。
次に、DRCフィルタ部106が、画像信号D02に含まれる画素値の系列内で、ROI補正済情報D03で背景領域に分類される画素に対応した画素値に、DR係数D04を乗算することにより、ダイナミックレンジを圧縮した低DR画像D06を生成する(ステップS104)。
尚、これらステップS101、S102及びS104での具体的な動作については、前述した、図2に示すステップS101、S102及びS104で説明したものと同一であるので、その説明は省略する。
次に、閾値決定部208が、外部供給された閾値設定値D21と、DR係数計算部104から供給されたDR係数D04に基づき、USPフィルタ部210で用いる閾値を算出し、その閾値を閾値D08としてUSPフィルタ部210に供給する(ステップS206)。尚、閾値D08は、低DR画像D06の画素値を、予測画像信号D09の画素値で上書きするか否かを判断するためのパラメータである。閾値D08は、低DR画像信号D06と予測画像信号D09との差を表す量に対する閾値となる。この際、低DR画像信号D06と予測画像信号D09との差は、例え入力画像信号が同一画像を表すものであったとしても、DR係数D04としてのDR係数Dcが小さいほど小さくなる。そのため、DR係数Dcに依存せずに低DR画像信号D06の画素値を、予測画像信号D09の画素値で上書きするか否かを判断したい場合、閾値D08は、DR係数Dcに追従させて、当該DR係数Dcが小さいほど小さくなることが望まれる。そこで、閾値D08としての閾値Tを、閾値設定値D21にて表される設定値Tbを用いて以下の式で求める。
T=Dc×Tb
なお、閾値設定値D21をそのまま閾値Tとする構成も考えられる。この場合、閾値決定部208は、入力された閾値設定値D20をそのまま閾値D08として出力する。
次に、バッファ部209が、データ量抑圧画像信号D10を取り込んで保持し、次のピクチャを符号化圧縮部511で圧縮するときに、保持した内容を予測画像信号D09としてUSPフィルタ部210に供給する(ステップS207)。尚、予測画像信号D09としては、バッファ部209に取り込まれた、直前のデータ量抑圧画像信号D10自体であっても良いし、或いは例えば動き補償予測処理を実施した際に生成されたものであっても良い。
次に、USPフィルタ部210が、低DR画像信号D06にて表される各画素値が属する任意のサイズのブロックの各々のうちで、ROI補正済情報D03によって背景領域に分類されるブロックを対象とし、そのブロックでの低DR画像信号D06と予測画像信号D09との差の大きさを画像差SBとして求める(ステップS208)。尚、ここでのブロックとは、互いに隣接するn行×m列分のn・m個の画素からなるブロックだけではなく、1画素だけからなるブロックをも含む。また、1つのブロックを、ROI補正部103が使用するブロックと同じサイズのブロックとしても良い。更に、任意の大きさのブロックが、背景領域に分類されるか否かを判定するにあたり、ROI補正部103と同じように複数の基準がある。
上記した画像差SBとしては、例えばSAD(Sum of Absolute Difference)、MAD(Mean Absolute Difference)、SSD(Sum of Squared Difference)、MSE(Mean Square Error)、MAX、或いはMINに代表される指標を用いる。尚、MAXとは、ブロック内で計算される画素値の差、つまり低DR画像信号D06と予測画像信号D09との差のうちで最も差が大きい値を、そのブロックの画像差SBとするものである。また、MINとは、ブロック内で計算される画素値の差のうちで最も差が小さい値を、そのブロックの画像差SBとするものである。尚、上述した指標は、直流成分と交流成分をそれぞれ同等に評価するが、予め低DR画像信号D06及び予測画像信号D09の各々において、ブロック毎にそのブロック内の画素値の平均値を差し引いたブロックを生成し、平均値を差し引いたブロック同士でSAD、MAD、SSD、MSE、MAX、MINを評価することで、交流成分での画像差SBを算出するようにしても良い。
次に、USPフィルタ部210が、画像差SBが閾値D08よりも小さいか否かをブロック毎に判定する(ステップS209)。ステップS209において画像差SBが閾値D08よりも小さいと判定されたブロックに対して、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS210)。
一方、ステップS209において画像差SBが閾値D08以上であると判定されたブロックに対しては、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから低DR画像信号D06を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS211)。
ステップS210又はS211の実行後、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−H HEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。
そして、ビットストリーム伝送部113が、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS113)。
以上のように、図5に示される画像処理システムP1では、DRCフィルタ部106及び符号化圧縮部511間に、以下の圧縮対象選択部(閾値決定部208、USPフィルタ部210)及びバッファ部209を設けている。
圧縮対象選択部は、DRCフィルタ部106から供給された低DR画像信号D06と、予測画像信号D09とのうちの一方を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する。この際、バッファ部209は、データ量抑圧画像信号D10を取り込んで保持し、保持したデータ量抑圧画像信号D10を1ピクチャ期間後に予測画像信号D09して圧縮対象選択部に供給する。
具体的には、圧縮対象選択部は、先ず、ROI補正済情報D03によって表されるROIを除く背景領域内において、低DR画像信号D06と予測画像信号D09との画像の差(SB)を求める(S208)。ここで、当該画像差SBが所定の閾値(D04)より小さい場合には、圧縮対象選択部は、予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(S210)。
尚、前述したように予測画像信号D09とは、1ピクチャ期間前に符号化圧縮部511において圧縮対象となった画像信号である。よって、この際、当該符号化圧縮部511には、2ピクチャに亘り同一画像を表すデータ量抑圧画像信号D10が供給されることになり、符号化圧縮部511はスキップモードへ移行する。スキップモードでは、符号化圧縮部511は、冗長な差分情報の伝送を抑えた形態でデータ量抑圧画像信号D10に対して符号化を行うので、情報量の削減が為される。ここで、閾値(D04)を設定する為に外部供給する閾値設定値D21を大きくするほど、閾値(D04)が大きくなり、符号化圧縮部511がスキップモードへ移行する頻度が高くなる。
要するに、図5に示される画像処理システムP1では、圧縮対象選択部(208、210)及びバッファ(209)を設けることにより符号化圧縮部511でのスキップモードへの移行頻度を高め、これにより情報量の削減を図るのである。
図8は、画像処理システムP1及び画像復号部U2の第3の実施例の構成を示すブロック図である。尚、図8に示される画像処理システムP1では、DRCフィルタ106に代えてDRCフィルタ306を採用し、ビットストリーム伝送部112に代えてビットストリーム伝送部312を採用すると共に、中心値決定用データD22の供給を受ける中心値決定部305を新たに設けた点を除く他の構成は、図5に示すものと同一である。
よって、以下に、中心値決定部305、DRCフィルタ306、ビットストリーム伝送部312及びを中心に、その構成について説明する。
中心値決定部305は、外部供給された中心値決定用データD22、又は、画像信号D19及びROI補正済情報D03に基づき、DRCフィルタ部306が画像信号のダイナミックレンジを圧縮する際の中心値を決定し、この中心値を表す中心値D05を、DRCフィルタ306及びビットストリーム伝送部312に供給する。
DRCフィルタ部306は、画像信号D02にて表される画素値の系列のうちで、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対しては、DR係数D04を乗算することにより、中心値D05の値を中心にしてダイナミックレンジを圧縮した低DR画像信号D06を生成する。ここで、DR係数D04によって示される値は1未満である。よって、背景領域に分類される各画素に対応した画素値に当該DR係数D04を乗算することにより、背景領域に対応した画素値各々のダイナミックレンジがDR係数D04に基づく圧縮率で圧縮される。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。DRCフィルタ部306は、かかる低DR画像信号D06をUSPフィルタ部210に供給する。
ビットストリーム伝送部312は、ROI補正済情報D03、DR係数D04及び画像圧縮データD11と共に、中心値D05を多重化した信号をビットストリーム信号D12として生成し、これを外部に出力する。
また、図8に示される画像復号部U2は、ビットストリーム受信部318、復号部514、及び逆DRCフィルタ部313を含む。
ビットストリーム受信部318は、ビットストリーム信号D12を受け、当該ビットストリーム信号D12中から画像圧縮データ、ROI情報、DR係数及び中心値D05を夫々抽出する。ビットストリーム受信部318は、抽出した画像圧縮データを画像圧縮データD13として復号部514に供給する。また、ビットストリーム受信部113は、抽出したROI情報をROI情報D15として逆DRCフィルタ部313に供給すると共に、当該ROI情報D15を外部に出力する。更に、ビットストリーム受信部318は、抽出したDR係数をDR係数D16として逆DRCフィルタ部313に供給すると共に、抽出した中心値を中心値D17として逆DRCフィルタ部313に供給する。
復号部514は、画像圧縮データD13に対して、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−H HEVCなどの、符号化圧縮部511で採用されている画像符号化方式に対応した復号処理を施すことにより、その圧縮状態を伸長したデータ量抑圧画像信号D14を生成する。復号部514は、データ量抑圧画像信号D14を逆DRCフィルタ部313に供給する。
逆DRCフィルタ部313は、データ量抑圧画像信号D14に含まれる画素値の系列のうちで、ROI補正済情報D15によって背景領域に分類される画素値に対しては、中心値D17の値を中心としてDR係数D16の逆数を乗算することでダイナミックレンジを伸張した復号画像信号D18を生成し、これを外部に出力する。
以下に、図8に示す構成の具体的な動作について説明する。
図9及び図10は、図8に示す画像符号化部U1の動作を表す動作フロー図である。
図9に示すように、画像符号化部U1では、先ず、ROI補正部103がROI情報D01に対して、正規化処理を施すことにより、ROI情報D01を補正したROI補正済情報D03を生成する(ステップS101)。
次に、DR係数計算部104が、DR設定値D20に基づきDR係数D04を算出する(ステップS102)。
尚、これらステップS101及びS102での具体的な動作については、前述した、図2又は図6に示すステップS101及びS102で説明したものと同一であるので、その説明は省略する。
次に、中心値決定部305が、外部供給された中心値決定用データD22、又は、画像信号D19及びROI補正済情報D03に基づき、DRCフィルタ部306が画像信号のダイナミックレンジを圧縮する際の中心値を決定し、その中心値を表す中心値D05を得る(ステップS303)。つまり、中心値決定部305は、以下に示す中心値決定処理A1〜A4のうちの1つを実行することにより、ダイナミックレンジを圧縮する際の中心値を、任意のサイズのブロック毎に求める。尚、1ブロックのサイズとしては、1ピクチャ内の全画素としても良い。
[中心値決定処理A1]
中心値決定処理A1では、中心値決定部305は、外部供給された中心値決定用データD22をそのまま中心値D05とする。例えば、画像を鑑賞する際に注目する場面や、その場面での時間帯等により、予め最も注視すべき「色」が決まっている場合には、その「色」を表す赤色成分、緑色成分及び青色成分各々の値を中心値(赤色成分、緑色成分、青色成分)として表す中心値決定用データD22を、画像処理システムP1に供給する。これにより、中心値決定部305は、この注視すべき「色」を中心値(赤色成分、緑色成分、青色成分)として表す中心値決定用データD22をそのまま中心値D05として、DRCフィルタ部306及びビットストリーム伝送部312に供給する。
中心値決定処理A2では、中心値決定部305は、画像信号D19の任意のサイズのブロック内に含まれる画素の各々に対応した画素値からなる画素値群の代表値中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内での画素値群の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。
中心値決定処理A3では、中心値決定部305は、ROI補正済情報D03に基づき、画像信号D19の各ブロック内に含まれる画素のうちで、背景領域に属する画素を抽出し、当該背景領域に属する画素の各々に対応した画素値からなる画素値群の代表値を中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内で背景領域に属する各画素に対応した画素値群の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。
中心値決定処理A4では、中心値決定部305は、ROI補正済情報D03に基づき、画像信号D19の各ブロック内に含まれる画素のうちで、ROIに属する画素を抽出し、当該ROIに属する画素の各々に対応した画素値からなる画素値群の代表値を中心値D05とする。例えば、中心値決定部305は、ブロック毎に、そのブロック内でROIに属する画素に対応した画素値の平均値、中央値、又は最頻値を算出し、その算出結果を中心値として表す中心値D05を、DRCフィルタ部306及びビットストリーム伝送部312に供給する。
このように、ROIに属する画素の画素値の代表値(平均値、中央値、又は最頻値)を、DRCフィルタ部306で画像信号D02のダイナミックレンジを圧縮する際の中心値とすることで、ROIの周辺において、本来はROIに含めるべきものを誤検出により背景領域とみなされてしまった場合にも、当該背景領域の品質劣化を抑えられる。
上記したステップS303の実行後、DRCフィルタ部306は、画像信号D02にて表される画素値の系列中において、ROI補正済情報D03によって背景領域に分類される画素に対応した画素値に対してDR係数D04を乗算することで、中心値D05の値を中心としたダイナミックレンジの圧縮を行い、低DR画像信号D06を求める(ステップS304)。具体的には、ダイナミックレンジの圧縮前の画素値をPb、ダイナミックレンジの圧縮後の画素値をPa、中心値D05をCとした場合、DRCフィルタ部306は、例えば以下の式に従って、ダイナミックレンジの圧縮後の画素値Paを求める。
Pa=(Pb−C)×Dc+C
Dc:DR係数
すなわち、DRCフィルタ部306は、中心値D05よりも大きい画素値に対してはその値を低下する一方、中心値D05以下の画素値に対してはその値を増加することにより、中心値D05を中心として画素値のダイナミックレンジを圧縮した画素値の系列からなる低DR画像信号D06を得るのである。一方、ROIに分類される各画素に対応した画素値の系列に対しては、DRCフィルタ部106は、その画素値の系列をそのまま低DR画像信号D06として出力する。
ステップS304の実行後、図8に示す画像符号化部U1の閾値決定部208が、外部供給された閾値設定値D21と、DR係数計算部104から供給されたDR係数D04に基づき、USPフィルタ部210で用いる閾値を算出し、その閾値を閾値D08としてUSPフィルタ部210に供給する(ステップS206)。
次に、バッファ部209が、データ量抑圧画像信号D10を取り込んで保持し、次のピクチャを符号化圧縮部511で圧縮するときに、保持した内容を予測画像信号D09としてUSPフィルタ部210に供給する(ステップS207)。
次に、USPフィルタ部210が、低DR画像信号D06にて表される各画素値が属する任意のサイズのブロックの各々のうちで、ROI補正済情報D03によって背景領域に分類されるブロックを対象とし、そのブロックでの低DR画像信号D06と予測画像信号D09との差の大きさを画像差SBとして求める(ステップS208)。
次に、USPフィルタ部210が、画像差SBが閾値D08よりも小さいか否かをブロック毎に判定する(ステップS209)。ステップS209において画像差SBが閾値D08よりも小さいと判定されたブロックに対して、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから予測画像信号D09を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS210)。
一方、ステップS209において画像差SBが閾値D08以上であると判定されたブロックに対しては、USPフィルタ部210は、低DR画像信号D06及び予測画像信号D09のうちから低DR画像信号D06を選択し、これをデータ量抑圧画像信号D10として符号化圧縮部511に供給する(ステップS211)。
尚、図9及び図10に示されるステップS206〜S211各々での具体的な動作については、前述した、図6及び図7に示すステップS206〜S211において説明したものと同一であるので、その説明は省略する。
ステップS210又はS211の実行後、符号化圧縮部511が、JPEGや、H.264/MPEG−4 AVC、或いはH.265/MPEG−H HEVC等の画像符号化方式を用いて、低DR画像信号D06を圧縮し、画像圧縮データD11を生成する(ステップS512)。
そして、ビットストリーム伝送部113が、中心値D05、ROI補正済情報D03、DR係数D04、画像圧縮データD11などの情報を多重化したビットストリーム信号D12を生成し、これを外部出力する(ステップS313)。
以下に、かかるビットストリーム信号D12を受けて、このビットストリーム信号D12に対して画像復号処理を施す画像復号部U2での動作について説明する。
図11は、図8に示す画像復号部U2の動作を表す動作フロー図である。図11に示すように、画像復号部U2では、先ず、ビットストリーム受信部318が、ビットストリーム信号D12を受信し、当該ビットストリーム信号D12中から、中心値、画像圧縮データ、ROI情報及びDR係数を抽出し、夫々を中心値17、画像圧縮データD13、ROI情報D15及びDR係数D16として出力する(ステップS351)。
次に、復号部514が、画像圧縮データD13をH.264/MPEG−4 AVC等の画像符号化方式を用いて復号し、データ量抑圧画像信号D14を生成する(ステップS552)。
次に、逆DRCフィルタ部118が、データ量抑圧画像信号D14に含まれる画素値の系列中において、ROI情報D15に基づき背景領域に分類される画素に対応した画素値に対して、中心値D17の値を中心にしてDR係数D16の逆数を乗算することにより、ダイナミックレンジを伸長した復号画像信号D18を生成する。
具体的には、中心値D17の値をV、ダイナミックレンジの伸長前の画素値をQbとした場合、逆DRCフィルタ部313は、例えば以下の数式に従ってダイナミックレンジ伸長後の画素値をQaを求める。
Qa=(Qb−V)×(1/Dc)+V
つまり、逆DRCフィルタ部313は、背景領域に分類される画素に対応した画素値に対してはQaを伸長後の画素値とする一方、ROIに分類される画素に対してはQbを伸長後の画素値とする。そして、逆DRCフィルタ部118は、伸長後の画素値(Qa、Qb)の系列を含む復号画像信号D18を出力する。
以上のように、図8に示される画像処理システムP1には、DRCフィルタ部306においてダイナミックレンジの圧縮を行う際の中心値(D05)を設定する中心値決定部305が設けられている。尚、中心値とは、画質劣化を生じさせたくない色(赤色成分、緑色成分、青色成分)、つまり視覚上において重要となる色を表す画素値である。DRCフィルタ部306は、画像信号D02によって表される画素値が中心値よりも高い場合には、その画素値を低下させる一方、画像信号D02によって表される画素値が当該中心値D05以下である場合には、その画素値を増加させることにより、中心値(D05)を中心としたダイナミックレンジの圧縮を行う。これにより、中心値以外の画素値に対しては圧縮処理に伴う量子化誤差が生じるが、中心値を有する画素値に対しては圧縮処理に伴う量子化誤差が発生しない為、視覚上において重要となる色に対して画像品質の劣化を抑えることが可能となる。
尚、図1、図5及び図8では、画像符号化部U1と画像復号部U2とを常に組み合わせた構成を示しているが、画像符号化部U1単独であっても情報量の削減は同様に為される。また、図8に示される画像符号化部U1と図1に示される画像復号部U2とを組み合わせて採用しても、情報量の削減は同様に為される。
また、図8に示す構成では、図5に示される圧縮対象選択部(閾値決定部208、バッファ部209、USPフィルタ部210)に、中心値決定部305が加わった構成となっているが、当該圧縮対象選択部を排除した構成を採用しても良い。
また、図1、図5及び図8に示す実施例では、背景領域に対してはダイナミックレンジの圧縮を行う一方、ROIに対してはこれを実施しないようにしているが、ROIに対しても背景領域とは異なる圧縮率でダイナミックレンジの圧縮処理を施すようにしても良い。
また、上記した実施例ではDR係数D04を1未満としているが、図5に示す構成に関しては、DR係数D04を1.0とした場合でも、背景領域に対する情報量の削減が為される。尚、DR係数D04が1.0である場合、USPフィルタ部210に画像信号D02をそのまま入力する構成と等価となる。換言すると、図5に示す画像符号化部U1の構成からDRCフィルタ部106を省き、画像信号D02を直接、USPフィルタ部210に供給する構成を採用しても良いのである。
103 ROI補正部
104 DR係数計算部
106、306 DRCフィルタ部
208 閾値決定部
209 バッファ部
210 USPフィルタ部
305 中心値決定部
501 ROI検出部
511 圧縮部
P1 画像符号化部



Claims (25)

  1. 各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、
    前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、
    前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、
    前記低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、
    前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。
  2. 前記注目領域情報を補正する注目領域補正部を有し、
    前記ダイナミックレンジ圧縮部は、前記注目領域補正部による補正後の前記注目領域情報に基づいて前記注目領域及び前記背景領域を特定し、
    前記ビットストリーム伝送部は、前記注目領域補正部による補正後の前記注目領域情報と、前記所定係数及び前記画像圧縮データとを含む前記ビットストリーム信号を出力することを特徴とする請求項1に記載の画像処理システム。
  3. 前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素のうちで少なくとも1つの画素が前記注目領域に属する場合にはそのブロックに属する全ての前記画素を前記注目領域に属するものに補正することを特徴とする請求項2に記載の画像処理システム。
  4. 前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素のうちの半数以上の画素が前記注目領域に属する場合にはそのブロックに属する全ての前記画素を前記注目領域に属するものに補正することを特徴とする請求項2に記載の画像処理システム。
  5. 前記注目領域補正部は、前記画像内において互いに隣接する複数の画素からなるブロック毎に、前記ブロックに属する前記画素の全てが前記注目領域に属する場合にだけそのブロックに属する全ての前記画素を前記注目領域に属するものとすることを特徴とする請求項2に記載の画像処理システム。
  6. ダイナミックレンジを指定するダイナミックレンジ設定値を受け、前記ダイナミックレンジ設定値に基づき前記所定係数を算出する係数計算部を有することを特徴とする請求項1〜5のいずれか1に記載の画像処理システム。
  7. 前記係数計算部は、前記入力画像信号に含まれる前記複数の画素値のダイナミックレンジをDt、前記ダイナミックレンジ設定値をDp、前記所定係数をDcとした場合、
    Dc=Dp/Dt
    なる数式にて前記所定係数を算出することを特徴とする請求項6に記載の画像処理システム。
  8. 前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として前記符号化圧縮部に供給する圧縮対象選択部と、
    前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、
    を有し、
    前記符号化圧縮部は、前記データ量抑圧画像信号を前記所定の画像符号化方式に従って圧縮することを特徴とする請求項1〜7のいずれか1に記載の画像処理システム。
  9. 前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として前記符号化圧縮部に供給する圧縮対象選択部と、
    ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、を有し、
    前記符号化圧縮部は、前記画像圧縮データを復号した信号を前記ローカル復号画像信号として出力する手段を含み、前記データ量抑圧画像信号を前記所定の画像符号化方式に従って圧縮することを特徴とする請求項1〜7のいずれか1に記載の画像処理システム。
  10. 前記圧縮対象選択部は、前記画像内において互いに隣接する複数の画素からなるブロックの各々のうちで前記背景領域に分類されるブロックについて、前記低ダイナミックレンジ画像信号と前記予測画像信号との差が所定閾値よりも小さいか否かを判定し、前記差が前記所定閾値よりも小さいと判定されたブロックに対しては前記予測画像信号を選択する一方、前記差が前記所定閾値以上であると判定されたブロックに対しては前記低ダイナミックレンジ画像信号を選択することを特徴とする請求項8又は9に記載の画像処理システム。
  11. 設定する閾値を示す閾値設定値を受け、前記閾値設定値及び前記所定係数に基づき前記所定閾値を算出する閾値決定部を含むことを特徴とする請求項10に記載の画像符号化部。
  12. 前記閾値決定部は、前記閾値設定値をTb、前記所定閾値をT、前記所定係数をDcとした場合、
    T=Dc×Tb
    なる数式にて前記所定閾値を算出することを特徴とする請求項11に記載の画像処理システム。
  13. 前記ダイナミックレンジ圧縮部は、前記複数の画素値のうちで前記背景領域に分類される画素の画素値に前記所定係数を乗算することにより前記低ダイナミックレンジ画像信号を生成することを特徴とする請求項1〜12のいずれか1に記載の画像処理システム。
  14. 前記ダイナミックレンジ圧縮部は、前記背景領域に分類される画素の画素値をPb、 ダイナミックレンジ圧縮後の画素値をPa、前記所定係数をDc、ダイナミックレンジ圧縮の中心値をCとした場合、
    Pa=(Pb−C)×Dc+C
    なる数式にて前記ダイナミックレンジ圧縮後の画素値Paを算出することを特徴とする請求項1〜12のいずれか1に記載の画像処理システム。
  15. ダイナミックレンジの中心値を指定する中心値決定用データを受け、前記入力画像信号、前記中心値決定用データ又は前記注目領域情報に基づき前記中心値Cを決定する中心値決定部を含み、
    前記ダイナミックレンジ圧縮部は、前記中心値Cを中心にダイナミックレンジの圧縮を行い、
    前記ビットストリーム伝送部は、前記注目領域情報、前記所定係数及び前記画像圧縮データと共に前記中心値Cを含むビットストリーム信号を出力することを特徴とする請求項14に記載の画像処理システム。
  16. 前記中心値決定部は、前記中心値決定用データによって指定された前記中心値をそのまま前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。
  17. 前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素の各々に対応した画素値からなる画素値群の代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。
  18. 前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素各々のうちで前記背景領域に属する画素各々の画素値群の代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。
  19. 前記中心値決定部は、前記入力画像信号における前記ブロック毎に当該ブロックに含まれる画素各々のうちで前記注目領域に属する画素各々の画素値群の代表値を前記中心値Cとすることを特徴とする請求項15に記載の画像処理システム。
  20. 画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、を含むビットストリーム信号を復号する画像復号装置であって、
    前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、
    前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、
    前記データ量抑圧画像信号にて表される各画素値のうちで、前記注目領域情報によって前記背景領域に分類される画素に対応した画素値に対しては、前記所定係数の逆数を乗算することによってダイナミックレンジを伸長することにより前記画像信号を復元するダイナミックレンジ伸張部と、を有することを特徴とする画像復号装置。
  21. 画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、
    前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、及び前記所定係数を抽出するビットストリーム受信部と、
    前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、
    前記データ量抑圧画像信号に含まれる複数の画素値に対してダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、
    前記ダイナミックレンジ伸張部は、
    前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、ダイナミックレンジの圧縮の中心値をVとした場合、
    Qa=(Qb−V)×(1/Dc)+V
    なる数式にて前記伸張処理後の画素値Qaを算出することを特徴とする画像復号装置。
  22. 画像信号に基づく画像内において所定のオブジェクトが表示される注目領域の前記画像内での位置を示す注目領域情報と、前記画像内における前記注目領域を除く領域を背景領域とし前記画像信号に含まれる複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを所定中心値を中心として所定係数の分だけ圧縮した低ダイナミックレンジ画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データと、前記所定係数と、前記所定中心値と、を含むビットストリーム信号を復号する画像復号装置であって、
    前記ビットストリーム信号を受けて、前記ビットストリーム信号から、前記画像圧縮データ、前記注目領域情報、前記所定係数、及び前記所定中心値を抽出するビットストリーム受信部と、
    前記画像圧縮データに対して前記画像符号化方式に対応した伸張処理を施してデータ量抑圧画像信号を生成する復号部と、
    前記データ量抑圧画像信号に含まれる複数の画素値に対して前記所定中心値に基づくダイナミックレンジの伸長処理を施すことにより前記画像信号を復元するダイナミックレンジ伸張部と、を有し、
    前記ダイナミックレンジ伸張部は、
    前記伸長処理を施す前の画素値をQb、前記伸張処理後の画素値をQa、前記所定係数をDc、前記所定中心値をVとした場合、
    Qa=(Qb−V)×(1/Dc)+V
    なる数式にて前記伸張処理後の画素値Qaを算出することを特徴とする画像復号装置。
  23. 各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、
    前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、
    前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、
    前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、
    前記データ量抑圧画像信号を取り込んで保持し、保持した前記データ量抑圧画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、
    前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成する符号化圧縮部と、
    前記注目領域情報、前記所定係数及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。
  24. 各画素に対応した複数の画素値を含む入力画像信号を圧縮して伝送する画像処理システムであって、
    前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を注目領域として検出し、前記注目領域の前記画像内での位置を示す注目領域情報を生成する注目領域検出部と、
    前記画像内における前記注目領域を除く領域を背景領域とし、前記複数の画素値のうちで前記背景領域に対応した前記画素値の各々のダイナミックレンジを圧縮した低ダイナミックレンジ画像信号を生成するダイナミックレンジ圧縮部と、
    前記低ダイナミックレンジ画像信号及び予測画像信号のうちの一方を選択しこれをデータ量抑圧画像信号として出力する圧縮対象選択部と、
    前記データ量抑圧画像信号を所定の画像符号化方式に従って圧縮した画像圧縮データを生成すると共に、前記画像圧縮データを復号したローカル復号画像信号を生成する符号化圧縮部と、
    前記ローカル復号画像信号を取り込んで保持し、保持した前記ローカル復号画像信号を1ピクチャ期間後に前記予測画像信号として前記圧縮対象選択部に供給するバッファと、
    前記注目領域情報及び前記画像圧縮データを含むビットストリーム信号を出力するビットストリーム伝送部と、を有することを特徴とする画像処理システム。
  25. 前記圧縮対象選択部は、前記画像内において互いに隣接する複数の画素からなるブロックの各々のうちで前記背景領域に分類されるブロックについて、前記低ダイナミックレンジ画像信号と前記予測画像信号との差が所定閾値よりも小さいか否かを判定し、前記差が前記所定閾値よりも小さいと判定されたブロックに対しては前記予測画像信号を選択する一方、前記差が前記所定閾値以上であると判定されたブロックに対しては前記低ダイナミックレンジ画像信号を選択することを特徴とする請求項23又は24に記載の画像処理システム。
JP2016162408A 2016-08-23 2016-08-23 画像処理システム及び画像復号装置 Active JP6729170B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016162408A JP6729170B2 (ja) 2016-08-23 2016-08-23 画像処理システム及び画像復号装置
US15/614,698 US10475313B2 (en) 2016-08-23 2017-06-06 Image processing system and image decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016162408A JP6729170B2 (ja) 2016-08-23 2016-08-23 画像処理システム及び画像復号装置

Publications (3)

Publication Number Publication Date
JP2018032921A true JP2018032921A (ja) 2018-03-01
JP2018032921A5 JP2018032921A5 (ja) 2019-05-23
JP6729170B2 JP6729170B2 (ja) 2020-07-22

Family

ID=61243147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162408A Active JP6729170B2 (ja) 2016-08-23 2016-08-23 画像処理システム及び画像復号装置

Country Status (2)

Country Link
US (1) US10475313B2 (ja)
JP (1) JP6729170B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170948A (ja) * 2019-04-03 2020-10-15 沖電気工業株式会社 符号化装置、復号装置、画像処理システム及び画像処理方法
JP7443325B2 (ja) 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびhdr
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006302B2 (ja) * 2018-01-23 2022-01-24 株式会社リコー 画像処理装置、画像処理システム、及びビデオ会議システム
CN108875535B (zh) * 2018-02-06 2023-01-10 北京旷视科技有限公司 图像检测方法、装置和系统及存储介质
JP7073191B2 (ja) * 2018-05-25 2022-05-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
CN113301337A (zh) * 2020-02-24 2021-08-24 北京三星通信技术研究有限公司 编解码方法和装置
EP4093026A1 (en) * 2021-05-20 2022-11-23 Axis AB Method for identifying stationary regions in frames of a video sequence

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002510177A (ja) * 1998-01-16 2002-04-02 サーノフ コーポレイション デジタル画像の領域ベース情報短縮
JP2002140183A (ja) * 2000-11-02 2002-05-17 Seiko Epson Corp 画像処理装置及びその方法、その画像処理装置を備えたプリンタ装置、並びにコンピュータが読出し可能なプログラムを格納した記憶媒体
JP2002191052A (ja) * 2000-12-21 2002-07-05 Sharp Corp 画像符号化装置
JP2004015708A (ja) * 2002-06-11 2004-01-15 Sharp Corp 画像信号のダイナミックレンジ制御装置
JP2009253747A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046379B2 (ja) 1990-03-26 2000-05-29 株式会社東芝 画像符号化装置
JP2002091691A (ja) * 2000-09-20 2002-03-29 Nagano Fujitsu Component Kk ポインティングデバイス
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
US6798424B2 (en) * 2000-07-06 2004-09-28 Fujitsu Limited Image processing method and apparatus and storage medium
DE10231613B4 (de) * 2002-07-12 2004-12-30 Atvisican Ag Verfahren zum Komprimieren und Dekomprimieren von Videobilddaten od. dgl.
US7489814B2 (en) * 2003-02-21 2009-02-10 Ramot At Tel Aviv University Ltd. Method of and device for modulating a dynamic range of still and video images
US7162095B2 (en) * 2003-06-13 2007-01-09 National Chung Cheng University Method of automatically determining the region of interest from an image
CN1655620B (zh) * 2004-02-09 2010-09-22 三洋电机株式会社 图像显示装置
CN101820537B (zh) * 2004-04-23 2013-04-03 住友电气工业株式会社 活动图像数据的编码方法、终端装置以及双向对话型系统
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
JP2007180808A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 映像符号化装置、映像復号化装置、及び映像符号化方法
EP1892666A1 (en) * 2006-08-16 2008-02-27 Toyota Motor Europe NV A method, an apparatus and a computer-readable medium for processing an image dataset
JP2009049979A (ja) 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP5135953B2 (ja) * 2007-08-28 2013-02-06 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8433150B2 (en) * 2009-09-28 2013-04-30 Peking University Sample based tone mapping method for high dynamic range images
JP6081360B2 (ja) * 2010-09-16 2017-02-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 改善された画像の符号化及び/又は復号のための装置、方法並びに画像データ記憶媒体
JP5492139B2 (ja) * 2011-04-27 2014-05-14 富士フイルム株式会社 画像圧縮装置、画像伸長装置、方法、及びプログラム
GB2519363A (en) * 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
RU2689411C2 (ru) * 2014-11-10 2019-05-28 Конинклейке Филипс Н.В. Способ для кодирования, процессор видео, способ для декодирования, декодер видео
KR20170042431A (ko) * 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
JP6226440B2 (ja) * 2016-02-08 2017-11-08 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
JP6678541B2 (ja) * 2016-08-31 2020-04-08 富士フイルム株式会社 画像処理装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002510177A (ja) * 1998-01-16 2002-04-02 サーノフ コーポレイション デジタル画像の領域ベース情報短縮
JP2002140183A (ja) * 2000-11-02 2002-05-17 Seiko Epson Corp 画像処理装置及びその方法、その画像処理装置を備えたプリンタ装置、並びにコンピュータが読出し可能なプログラムを格納した記憶媒体
JP2002191052A (ja) * 2000-12-21 2002-07-05 Sharp Corp 画像符号化装置
JP2004015708A (ja) * 2002-06-11 2004-01-15 Sharp Corp 画像信号のダイナミックレンジ制御装置
JP2009253747A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443325B2 (ja) 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびhdr
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
JP2020170948A (ja) * 2019-04-03 2020-10-15 沖電気工業株式会社 符号化装置、復号装置、画像処理システム及び画像処理方法
JP7404640B2 (ja) 2019-04-03 2023-12-26 沖電気工業株式会社 符号化装置、復号装置及び画像処理方法

Also Published As

Publication number Publication date
JP6729170B2 (ja) 2020-07-22
US10475313B2 (en) 2019-11-12
US20180061199A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6729170B2 (ja) 画像処理システム及び画像復号装置
EP3416386B1 (en) Hash-based encoder decisions for video coding
US7620261B2 (en) Edge adaptive filtering system for reducing artifacts and method
WO2017160606A1 (en) Opportunistic frame dropping for variable-frame-rate encoding
JP5766877B2 (ja) 類似度、視覚的品質、および関心に基づくフレーム符号化選択
JP5133290B2 (ja) 動画像符号化装置および復号装置
JP2010199656A (ja) 動画撮像装置
JP2006229411A (ja) 画像復号化装置及び画像復号化方法
JP2010183402A (ja) 映像信号符号化装置及び、映像信号符号化方法
US20090080517A1 (en) Method and Related Device for Reducing Blocking Artifacts in Video Streams
US20120002723A1 (en) Stereo video coding apparatus and stereo video coding method
US20130251279A1 (en) Image encoding method using adaptive preprocessing scheme
JP2012034225A (ja) 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
JP2016506201A (ja) デジタルビデオストリーム中の圧縮ノイズを低減する方法および装置
US9930352B2 (en) Reducing noise in an intraframe appearance cycle
WO2016116984A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP4942208B2 (ja) 符号化装置
JP2009231905A (ja) トランスコーダ
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
JP2007158770A (ja) 映像復号装置および映像復号プログラム
JP7068925B2 (ja) 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム
Basavaraju et al. Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec
WO2013073422A1 (ja) 動画像符号化装置
JP3958281B2 (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150