JP2006352509A - 画像データ処理装置、画像データ処理方法およびプログラム - Google Patents

画像データ処理装置、画像データ処理方法およびプログラム Download PDF

Info

Publication number
JP2006352509A
JP2006352509A JP2005175961A JP2005175961A JP2006352509A JP 2006352509 A JP2006352509 A JP 2006352509A JP 2005175961 A JP2005175961 A JP 2005175961A JP 2005175961 A JP2005175961 A JP 2005175961A JP 2006352509 A JP2006352509 A JP 2006352509A
Authority
JP
Japan
Prior art keywords
compression
bits
image data
image
decompression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005175961A
Other languages
English (en)
Other versions
JP4321496B2 (ja
Inventor
Kyoko Fukuda
京子 福田
Yutaka Yoneda
豊 米田
Masatsugu Fukunaga
将嗣 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005175961A priority Critical patent/JP4321496B2/ja
Priority to PCT/JP2006/308494 priority patent/WO2006134723A1/ja
Priority to KR1020077028007A priority patent/KR101241662B1/ko
Priority to EP20060732252 priority patent/EP1901547B1/en
Priority to CNB2006800213247A priority patent/CN100539636C/zh
Priority to US11/922,155 priority patent/US8233060B2/en
Publication of JP2006352509A publication Critical patent/JP2006352509A/ja
Application granted granted Critical
Publication of JP4321496B2 publication Critical patent/JP4321496B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 視覚的に劣化が少ない画像データの圧縮を実現する。
【解決手段】 非線形圧縮とＤＰＣＭ圧縮とが直列になされる。非線形変換を用いた圧縮器４１には、各色成分の画像データ（１画素がＬビット）がそれぞれ入力され、原画像データから抽出された画像情報に基づいて設定された適切な圧縮変換テーブルＴＢ１に従って画像データがＭビット（Ｍ＜Ｌ）へ圧縮される。圧縮器４１では、後段のガンマ補正で用いられるガンマカーブ特性に似た特性の圧縮変換を行う。非線形圧縮器４１によって、Ｍビットに圧縮変換された画像データがＤＰＣＭ圧縮器４２に入力される。ＤＰＣＭ圧縮器４２において量子化テーブルＴＢ２を使用して最終的にＮビット（例えばＮ＝１０）に圧縮される。圧縮された画像データがパッキング部４３を介して画像メモリ７に格納される。
【選択図】 図３

Description

この発明は、画像処理装置に関し、特にデジタルスチルカメラ、カメラ・レコーダ（ビデオカメラとレコーダが一体構成とされた装置）などの撮像装置において撮像された画像データを処理するのに適用される画像データ処理装置、画像データ処理方法および処理方法をコンピュータに実行させるプログラムに関する。
デジタルスチルカメラ、カメラ・レコーダなどの撮像装置では、シャッターの押下に応答して、静止画の取り込みが行われる。撮像された原画像データは撮像信号処理やエンコード処理などの内部信号処理が施されて、例えば着脱可能な記録媒体に記録される。その際、撮像された原画像データは、内部信号処理がなされる前に一旦、画像メモリに保持される。この画像メモリはＤＲＡＭ（Dynamic Random Access Memory) やＳＤＲＡＭ（Synchronous DRAM）等で構成される。近年の高画素数化に伴って、画像メモリとしてより大規模な容量が必要とされ、ハードウェアコスト上昇や、や消費電力の増大が問題となっている。
そのため、下記の特許文献１に記載されているように、従来の撮像装置では、撮像された原画像データを圧縮し、圧縮後のデータを画像メモリ（原画像データバッファメモリ）に格納し、この画像メモリから読み出されたデータを再び伸張してからその後の処理を行うようにしていた。一般的な原画像データの圧縮処理としては、原画像信号に対するＤＰＣＭ処理、ハフマン符号化、算術符号化、これら適宜用いたＪＰＥＧロスレス符号化、Ziv-Lempel法に代表されるユニバーサル符号化等が知られている。
特開２００２−１１１９８９号公報
例えば、ＤＰＣＭ処理は、近接する画素と対象画素との相関性が高ければ高いほど、高い圧縮率が得られる。したがって、相関性が高い上位ビット例えば１画素１２ビットの画像データの内の上位の６〜８ビットに対してはＤＰＣＭ処理は有効であるが、相関性が低い下位ビットに対してはＤＰＣＭ処理を施しても高い圧縮率を得ることはできない。また、ＤＰＣＭでは、画像のエッジのように、相関性が低い画像を圧縮すると、歪みが増える問題がある。さらに、ＤＰＣＭでは、エラーの伝播が生じる問題がある。
画像メモリから読み出した圧縮データを伸張して原画像データを得て、原画像データに対してガンマ補正、ホワイトバランス補正、リニアマトリクス等の信号処理を行い、輝度信号と二つの色差信号を生成するようになされる。ガンマ補正は、ブラウン管の発光特性の非線形性をカメラ側で逆補正するための処理である。ガンマ補正では、輝度が高い画像データが圧縮される割合が高いので、ガンマ補正の特性に合わせて輝度が高い画像データが圧縮される割合が高い非線形変換を用いた圧縮方式が提案されている。
かかる非線形変換を用いた圧縮処理は、構成自体が非常に簡易とできるが、圧縮率をあげればあげるほど、下位ビットの情報が欠落し、ソラリゼーション(solarization)等視覚的に見苦しい画質劣化を発生するので、高い圧縮率を得ることができない。ソラリゼーションは、極端に露光過剰になってしまい写真乳剤の現像可能な濃度が低下することを意味する。視覚上では、量子化ビット数が少なくなった粗い階調の画像となり、平坦な画像部分で画質の劣化が目立つ問題がある。
このように、従来の圧縮処理は、圧縮処理の種類によって、生じる圧縮歪みが異なるのが普通である。また、何れの圧縮処理においても、圧縮率を高くするほど、画質の劣化が大きくなる傾向がある。
したがって、この発明の目的は、符号化効率を向上させ、画質を向上させることが可能な画像データ処理装置、画像データ処理方法およびプログラムを提供することにある。
上述した課題を解決するために、この発明は、撮像素子によって撮像された原画像データを圧縮する画像データ処理装置において、
カラーフィルタの同色成分の信号を取り出す手段と、
同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮手段と、
第１の圧縮手段と直列に接続され、第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮手段と、
第２の圧縮手段からの圧縮後のデータを保持する画像メモリと、
第２の圧縮処理の逆の処理である第２の伸張処理によって、画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張手段と、
第２の伸張手段と直列に接続され、第１の圧縮処理の逆の処理である第１の伸張処理によって第２の伸張手段の出力データの各画素をＭビットからＬビットへ伸張する第１の伸張手段と、
第１の伸張手段からの画像データに対してガンマ補正を含む信号処理を行う信号処理手段と
を備える画像データ処理装置である。
この発明は、撮像素子によって撮像された原画像データを圧縮する画像データ処理方法において、
カラーフィルタの同色成分の信号を取り出すステップと、
同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮ステップと、
第１の圧縮ステップ後に、第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮ステップと、
第２の圧縮ステップからの圧縮後のデータを画像メモリに保持するステップと、
第２の圧縮処理の逆の処理である第２の伸張処理によって、画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張ステップと、
第２の伸張ステップ後に、第１の圧縮処理の逆の処理である第１の伸張処理によって第２の伸張ステップで伸張されたデータの各画素をＭビットからＬビットへ伸張する第１の伸張ステップと、
第１の伸張ステップで伸張された画像データに対してガンマ補正を含む信号処理を行う信号処理ステップと
からなる画像データ処理方法である。
この発明は、撮像素子のカラーフィルタの同色成分の信号を取り出すステップと、
同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮ステップと、
第１の圧縮ステップ後に、第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮ステップと、
第２の圧縮ステップからの圧縮後のデータを画像メモリに保持するステップと、
第２の圧縮処理の逆の処理である第２の伸張処理によって、画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張ステップと、
第２の伸張ステップ後に、第１の圧縮処理の逆の処理である第１の伸張処理によって第２の伸張ステップで伸張されたデータの各画素をＭビットからＬビットへ伸張する第１の伸張ステップと、
第１の伸張ステップで伸張された画像データに対してガンマ補正を含む信号処理を行う信号処理ステップと
からなる画像データ処理方法をコンピュータに実行させるプログラムである。
この発明によれば、複数の特性が異なる圧縮方法を組み合わせることにより、異なった特性をもったノイズに圧縮歪みが分散され、視覚的に劣化が抑制されるので、高い圧縮率を実現することができる。
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態における撮像装置１の一構成例を示す。この撮像装置１は、レンズ部２と、撮像素子３と、タイミング生成部４と、フロントエンド５と、画像処理部６と、画像メモリ７と、画像モニタ８と外部記憶媒体９とカメラ制御マイクロコンピュータ１０とを備えて構成される。
レンズ部２は、被写体からの光を集光するものであり、レンズ１１、絞り１２およびシャッター１３を含む。絞り１２は、光量を制御する。シャッター１３は、光の通過を遮断することにより露光を制御する。絞り１２がシャッター１３の機能を兼ね備えてもよい。これら絞り１２およびシャッター１３がカメラ制御マイクロコンピュータ１０によって制御される。
撮像素子３は、ＣＣＤ(Charged Coupled Device)、ＣＭＯＳセンサー(Complemetary Metal Oxide Semiconductor sensor)等の画像センサーであり、被写体の光情報を電気信号
に変換する。センサー表面には、３原色フィルタ、補色フィルタ等の複数の色フィルタが配置される。タイミング生成部４は、撮像素子３を駆動する。また、タイミング生成部４は、高速・低速電子シャッター等の露光制御も行う。このタイミング生成部４は、カメラ制御マイクロコンピュータ１０によって制御される。
フロントエンド５は、撮像素子３から出力されるアナログ信号をデジタル信号に変換する。このフロントエンド５の内部では、撮像素子３におけるノイズ成分を除去して撮像信号を取り出す相関二重サンプリング、撮像信号のレベルを制御するゲインコントロール、アナログ信号をデジタル信号に変換するＡ／Ｄ変換の各処理がなされる。フロントエンド５は、カメラ制御マイクロコンピュータ１０によって制御される。
画像処理部６は、デジタル信号に変換された撮像素子３からの撮像データに基づいて各種デジタル信号処理を行い、輝度信号および色信号を生成する。また、画像処理部６は、画像データをＪＰＥＧ(Joint Pohtograpihic Experts Group)などの所定のファイル形式
に符号化する機能を有する。
画像メモリ７は、画像処理部６における信号処理の際に一時的に画像データを格納するための記憶素子であり、例えばＤＲＡＭ(Dynamic Random Access Memory)、ＳＤＲＡＭ(Synchoronous DRAM)等が使用される。画像メモリ７にフロントエンド５からの原画像デー
タが格納される場合、メモリ容量の節減のために、画像処理部６によって圧縮された圧縮データが画像メモリ７に記憶される。
画像モニタ８は、撮像素子３によって撮像された画像（スルー画像）をユーザが確認し、また、撮像装置の操作に必要なメニューを表示し、さらに、再生画像データを表示するためのモニタである。例えばＬＣＤパネル（Liquid Crystal Display Panel）等が使用される。外部記憶媒体９は画像データを格納するための記録媒体であり、書き換え可能な不揮発性メモリとしてフラッシュメモリが用いられることが多い。
カメラ制御マイクロコンピュータ１０は、撮像装置１全体の制御を行う。すなわち、絞り１２による露光制御、シャッター１３の開閉制御、タイミング生成部４における電子シャッター制御、フロントエンド５におけるゲインコントロール、画像処理部６における各種モード制御やパラメータ制御がマイクロコンピュータ１０によってなされる。
図２は、この発明の一実施形態における画像処理部６の一構成例を示す。画像処理部６は、信号処理部２１と検波部２２と、圧縮部２３と伸張部２４と、メモリコントローラ２５と、メモリインターフェース２６と、モニターインターフェース２７と、マイクロコンピュータインターフェース２８とを備える。また、これら各部はデータバス２９および制御バス３０によって相互に接続されている。図２において、画像データの流れが実線で示され、制御データの流れが破線で示されている。
信号処理部２１は、フロントエンド５においてデジタル化された原画像情報（RAWデー
タ）に対して撮像素子３に関連する補正例えば欠陥補正を行う。補正後の原画像データが圧縮部２３で圧縮され、メモリコントローラ２５およびメモリインターフェース２６を介して画像メモリ７に書き込まれる。画像メモリ７から読み出された圧縮データが伸張部２４で伸張され、伸張部２４から原画像データが得られる。
画像メモリ７から読み出され、伸張処理に得られた原画像データが信号処理部２１に供給される。信号処理部２１は、デジタルクランプ、ホワイトバランス、ガンマ補正、補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理を行い、輝度および色差信号からなる画像信号を生成する。また、信号処理部２１はＪＰＥＧなどの所定のファイル形式に符号化した画像データを生成する。
なお、この発明は、原画像データに対して信号処理を行い、得られた輝度信号および色差信号からなる画像信号を圧縮して画像メモリに書き込む構成に対しても適用することが可能である。さらに、外部記憶媒体９に対しても、画像メモリ７と同様に、圧縮した画像データを記憶するようにしても良い。
検波部２２は、各種カメラ制御の基準となるカメラ撮像画像の検波処理を行う。この検波部２２が検出する検波信号は、例えばオートフォーカスに関する検波信号、自動露出制御に関する検波信号等である。検波部２２は、オートフォーカスに関する検波信号として、撮像画像上の所定の位置に設定されたオートフォーカス検波エリア内における輝度のエッジ成分を検出し、そのエッジ成分を検出し、そのエッジ成分を積算して得られるコントラスト値を出力する。また、検波部２２は自動露出制御に関する検波信号として、撮像画面上の所定の位置に設定された輝度の検波エリアの輝度を検出し、その輝度レベルを出力する。
圧縮部２３は、例えば静止画の取り込みの際にフロントエンド５からのキャプチャ画像を色別に圧縮する。この圧縮された画像データはメモリインターフェース２６において、画像メモリ７のバス幅に応じてパッキングを行う。パッキングされたデータはメモリインターフェース２６を介して画像メモリ７に一旦保持される。一方、画像メモリ７から圧縮データをメモリーインターフェース２６に読み出し、パッキング処理をほどく。その後、伸張部２４は、信号処理部２１における信号処理のためにデパッキングされた画像データを伸張する。
メモリコントローラ２５は、画像処理部６内の各部間または各部と画像メモリ７との間での画像データの受け渡しやデータの流れるデータバス２９を制御する。メモリインターフェース２６は、画像処理部６における信号処理の際に用いられる画像メモリ７との間で画像データや圧縮されたデータの受け渡しを行う。モニターインターフェース２７は、画像データを画像モニタ８に表示するために各種表示フォーマットに変換する。例えば、ＮＴＳＣモニターに表示するためのＮＴＳＣエンコーダ等が知られている。マイクロコンピュータインターフェース２８は、画像処理部６を制御するカメラ制御マイクロコンピュータ１０と画像処理部６との間の制御データや画像データの受け渡しを行う。
図３は、画像処理部６における圧縮部２３、伸張部２４、メモリコントローラ２５、メモリインターフェース２６の部分を機能構成として表したものである。この画像処理装置は、異なる第１および第２の圧縮処理を行うもので、第１の圧縮処理として非線形圧縮を行い、第２の圧縮処理としてＤＰＣＭ圧縮を行う。第１および第２の圧縮処理は、圧縮により生じる画像歪みが互いに異なるものである。圧縮方式が異なる場合、画像歪みが異なることが多いので、直列に組み合わされる２種類の圧縮方式としては、種々のものが可能である。例えば非線形圧縮とＡＤＲＣ（Adaptive Dynamic Ranｇe Coding）等の他の圧縮回路との組み合わせであってもよいし、さらに、３種類以上の圧縮方式を組み合わせてもよい。
図３を参照して、静止画像をＬビット例えばＬ＝１４からＮ（Ｎ＜Ｌ）ビット例えばＮ＝１０に圧縮する処理を説明する。なお、圧縮動作と伸張動作が同時になされないので、図３の構成は、圧縮および伸張で共用するものである。
タイミング発生器４０に対して画像データの水平同期信号および垂直同期信号、画像データのイネーブル信号等が入力される。タイミング発生器４０では、圧縮器４１および４２、伸張器４６および４７、パッキング部４３、デパッキング部４５、画像メモリ７等に配るタイミング信号およびコントロール信号を生成する。
非線形変換を用いた圧縮器４１は、３原色信号の各色成分の画像データ（１画素がＬビット）がそれぞれ入力される。例えばフロントエンド５からの原画像データから輝度情報が画像情報ＰＩ１として抽出され、マイクロコンピュータ１０にこの情報ＰＩ１が出力される。マイクロコンピュータ１０では、この情報から入力画像の特性を識別し、その情報に適切な圧縮変換テーブルＴＢ１を設定する。設定された圧縮変換テーブルＴＢ１を非線形変換を用いた圧縮器４１にフィードバックする。なお、画像情報ＰＩ１は、検波部２２において求められた自動露出制御のための情報を用いるようにしても良い。
非線形変換を用いた圧縮器４１では、この圧縮変換テーブルＴＢ１に従って画像データをＭビット（Ｍ＜Ｌ）例えばＭ＝１２へ圧縮する。この圧縮器４１では、後段の信号処理部２１（図１参照）のガンマ補正で用いられるガンマカーブ特性に似た特性の圧縮変換を行うことにより、後段の信号処理と同様な重みづけを画像データに対して行う。
非線形圧縮器４１によって、非線形変換によりＭビットに圧縮変換された画像データがＤＰＣＭ圧縮器４２に入力される。ＤＰＣＭ圧縮器４２において量子化テーブルＴＢ２を使用して最終的にＮビット（例えばＮ＝１０）に圧縮される。量子化テーブルＴＢ２を設定するための情報ＰＩ２が生成される。圧縮された画像データがパッキング部４３に入力され、画像メモリのバス幅に詰め込みされた上で、画像メモリ７に格納される。図４は、バス幅が１６ビットの場合にパッキングされた画像データの一例を示す。この一実施形態では、非線形変換を用いた圧縮器４１の圧縮比が１／４であり、ＤＰＣＭ圧縮器４２の圧縮比が１／４であり、総合して１／１６の圧縮比が実現されている。
次に、図３を参照してＮビットからＬビットへの伸張時の処理を説明する。伸張処理は、上述した圧縮処理と逆の順序でなされる処理である。伸張処理も圧縮処理と同様に、３原色成分の各色信号ごとになされる。画像メモリ７に格納されていた画像データが読み出され、デパッキング部４５に入力される。バス幅に多重化されていた圧縮データがデパッキング部４５によってＮビットの画像データに戻され、第２の伸張手段としてのＤＰＣＭ伸張器４６に入力される。
ＤＰＣＭ伸張器４６は、逆変換テーブルＴＢ１２によってＮビットからＭビットへ伸張を行う。伸張後の画像データは、第１の伸張手段としての非線形変換を用いた伸張器４７に入力される。伸張器４７は、圧縮器４１で選択された圧縮変換テーブルＴＢ１と対の逆圧縮テーブルＴＢ１１に従って画像データを元のビット数であるＬビットに伸張する。非線形変換を用いた伸張器４７からのＬビットの各色成分の原画像データが信号処理部２１（図２参照）に供給され、デジタルクランプ、ホワイトバランス、ガンマ補正、補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理によって輝度および色差信号からなる画像信号が生成される。
図５は、非線形変換を用いた圧縮のための構成を示す。ある色に対応する画像データが圧縮器４１および輝度抽出部５３に供給される。輝度抽出部５３は、フロントエンド５からの原画像データから輝度に対応する画像情報ＰＩ１を抽出する。抽出された画像情報ＰＩ１が圧縮変換規則設定部５１に供給される。
圧縮変換規則設定部５１は、抽出された輝度情報ＰＩ１に基づいて圧縮変換規則を圧縮変換テーブル５２に設定する。すなわち、圧縮変換規則によって圧縮変換テーブルの特性が設定される。設定された圧縮変換テーブルＴＢ１が圧縮器４１に対して供給される。圧縮器４１が圧縮変換テーブルＴＢ１にしたがって非線形変換を用いた圧縮処理を行う。圧縮後のＭビットのデータが次段のＤＰＣＭ圧縮器４２に供給される。使用された圧縮変換テーブルの特性を識別する情報が圧縮データと関連付けて伝送され、伸張時に伸張変換テーブルを指示するために使用される。この情報をマイクロコンピュータ１０に保持しても良い。
図６は、非線形変換を用いた伸張のための構成を示す。画像メモリ７から読み出され、ＤＰＣＭ伸張器４６によってＭビットに伸張後のデータが変換規則設定部５４および非線形変換を用いた伸張器４６に供給される。変換規則設定部５４は、圧縮時で使用されたの圧縮変換テーブルと対をなす伸張変換テーブルＴＢ１１を伸張変換テーブル５５から出力させる。伸張器４６が伸張変換テーブルＴＢ１１にしたがってデータをＮビットに伸張する。
図７は、圧縮変換テーブルＴＢ１に対応するカーブの一例を示す。圧縮変換テーブルＴＢ１は、圧縮前のデータと圧縮後のデータの変換対の集合からなる。圧縮器４１は、圧縮変換テーブルＴＢ１における変換対を参照してデータを圧縮する。圧縮変換テーブルＴＢ１は、固定領域と可変領域とからなる。固定領域においては、各変換対が固定である。可変領域においては、圧縮変換規則設定部５１によって適宜変換対が変更可能とされている。
図７の例では、可変領域に３種類の変換カーブ６１，６２および６３が示されている。輝度抽出部５３により抽出された輝度情報ＰＩ１によって、これらのカーブが選択される。例えば輝度情報がフレーム単位で抽出される場合では、フレーム単位で変換カーブが切り換えられる。抽出された輝度が低輝度であれば、変換カーブ６１が採用され、中輝度であれば、変換カーブ６２が採用され、高輝度であれば、変換カーブ６３が採用される。なお、これらの変換カーブ６１、６２、６３は、後段の信号処理部２１で用いられるガンマ補正カーブと同様のものであることが好ましい。
例えば圧縮変換テーブルＴＢ１は、図８に示すように、折れ線カーブで近似されたものが使用される。例えばしきい値ＴＨ０，ＴＨ１，ＴＨ２，ＴＨ３とオフセットＯＦＴ０，ＯＦＴ１，ＯＦＴ２，ＯＦＴ３とによって折れ線カーブが規定される。すなわち、（ＴＨ０，ＯＦＴ０）によって直線６４ａが規定され、（ＴＨ１，ＯＦＴ１）によって直線６４ｂが規定され、（ＴＨ２，ＯＦＴ２）によって直線６４ｃが規定され、（ＴＨ３，ＯＦＴ３）によって直線６４ｄが規定され、圧縮前のデータの最大値２の１４乗の値と、圧縮後のデータの最大値２の１２乗の値とによって直線６４ｅが規定される。直線６４ａから直線６４ｅになるほど傾きが小とされている。例えば直線６４ａ〜６４ｅのそれぞれがしきい値とオフセットに応じて可変とされる。
圧縮前のデータが各しきい値と比較され、５つの線６４ａ〜６４ｅの何れの範囲に含まれるかが決定される。各直線は、１次関数として表されるので、各直線上の圧縮後のデータの値は、１次補間によって求めることができる。さらに、しきい値またはオフセットを変更することによって、圧縮変換テーブルの特性を抽出された輝度情報ＰＩ１に適応して変更することができる。例えばオフセットＯＦＴ３をオフセットＯＦＴ４に変更することによって、直線６４ｄおよび６４ｅをそれぞれ直線６５ｄおよび６５ｅに変更することができる。
なお、変換カーブを固定領域と可変領域に分ける必要はなく、全体のカーブを可変できるようにしても良い。また、１次補間に限らず、非線形補間によって代表点としてのオフセット以外の値を求めるようにしても良い。
図９は、圧縮動作と伸張動作の回路を共用するように構成されたＤＰＣＭ圧縮器４２および４６を示す。非線形変換を用いた圧縮器４１によって、Ｌビット例えば１４ビットからＭビット例えば１２ビットに圧縮された入力画像データが減算器７０に供給される。減算器７０において、予測器７１において遅延要素Ｄで規定される過去の画素例えば同じラインの隣接した画素から予測された予測値との予測誤差を求められる。ａは、予測値を生成するための重み付けの係数である。
予測誤差が差分ヒスト検出器７２、量子化器７３および量子化／逆量子化器７４に入力される。量子化／逆量子化器７４は、量子化を行う処理と、その逆に量子化値を代表値に変換する逆量子化を行う処理とを同時に行う構成を有している。量子化／逆量子化器７４の量子化特性は、量子化器７３の量子化特性および逆量子化器７５の逆量子化特性と同一とされる。量子化／逆量子化器７４の出力データがセレクタ７６を介して加算器７７に供給される。
セレクタ７６は、圧縮／伸張切り換え信号ＳＣによって、圧縮時には、入力端子ａを選択し、伸張時に、入力端子ｂを選択するように制御される。圧縮時には、量子化／逆量子化器７４の出力と予測器７１の出力とが加算器７７で加算されたデータが減算器７０に供給され、予測誤差が計算される。量子化器をフィードバックループに入れて、伸張器と同様な構成の回路を設けることで、量子化器で発生する量子化雑音の伸張器での累積を回避している。
差分ヒスト検出器７２は、捕捉された１枚の静止画像に関して予測誤差の発生頻度を示すヒストグラムを作成し、画像情報ＰＩ２としてこの値を出力する。差分ヒスト検出器７２で得られるヒストグラムは、画像信号によって分布に著しい偏りが見られる。検出されたヒストグラムに基づいて、量子化器７３および量子化／逆量子化器７４で用いる量子化テーブルＴＢ２を適応的に変化させ、効率的な圧縮がなされる。圧縮時には、量子化器７３からＮビット例えば１０ビットに圧縮された圧縮データが得られる。圧縮データは、画像メモリ７に書き込まれる。
画像メモリ７から読み出されたデータが逆量子化器７５に供給される。逆量子化器７５は、量子化器７３で使用された量子化テーブルＴＢ２と対をなす逆変換テーブルＴＢ１２によって、ＮビットをＭビットに伸張する。どの逆変換テーブルを選択するかを指示する情報は、画像メモリ７に格納される。但し、マイクロコンピュータ１０からの情報によって逆変換テーブルを設定しても良い。
逆量子化器７５からのＭビットに伸張された予測誤差がセレクタ７６を介して加算器７７に供給される。加算器７７には、予測器７１で生成された予測値がフィードバックされ、復元値が加算器７７から得られる。この復元値が非線形変換を用いた伸張器４７に対して供給される。
図１０は、減算器７０の出力に得られる、予測誤差の発生頻度を示すヒストグラムの模式的な例を示す。横軸が予測誤差を示し、縦軸が頻度を示す。予測誤差は、横軸に沿って値が次第に大きくなるが、予測誤差の最小値から最大値の範囲を所定数に分割し、分割範囲のそれぞれの発生頻度を検出しても良い。一例として、１枚の画像に関して予測誤差の発生頻度が調べられ、ヒストグラムが作成される。ヒストグラムに基づいて量子化器７３および量子化／逆量子化器７４の非線形圧縮に使用される量子化テーブルＴＢ２が設定される。
図１１は、量子化テーブルＴＢ２の一例を示す。横軸が予測誤差を示し、縦軸が代表値を示す。参照符号８１が標準的な量子化テーブルを示し、量子化テーブル８１に対して量子化テーブル８２および量子化８３が設定されている。これらの量子化テーブルは、差分が大きな部分より小さな部分の方が人間の目の感度が敏感であることに基づいて、予測誤差が大きい部分の圧縮率が小さい部分に比較して高くされている。
図１０Ａに示すように、予測誤差の分布が小さな値に集中している画像、すなわち、平坦な画像に対しては、量子化テーブル８２が設定される。量子化テーブル８２は、０からしきい値Ａで示す比較的小さなレベルの範囲の予測誤差に対しては、それぞれ異なる代表値を出力し、しきい値Ａを越えるレベルの予測誤差に対しては、共通に最大の代表値を出力するものである。つまり、予測誤差の小さなレベルに対してビットの配分を多くするものである。ここでは、１フレーム等の１枚の画像で発生するビット数が所定の値以下とされているので、使用できるビット数をどのように予測誤差に対して振り分けるかが圧縮の歪みを少なくするために必要である。
図１０Ｂに示すように、予測誤差の分布がある程度の大きさまでのレベル範囲に比較的均等に含まれている通常の画像に対しては、量子化テーブル８１が設定される。量子化テーブル８１は、０からしきい値Ｂ（＞Ａ）で示す範囲の予測誤差に対しては、それぞれ異なる代表値を出力し、しきい値Ｂを越えるレベルの予測誤差に対しては、共通に最大の代表値を出力するものである。つまり、予測誤差の小さなレベルおよび中間のレベルに対してビットの配分を多くするものである。
図１０Ｃに示すように、予測誤差の分布が大きなレベル範囲にまで分布している画像、すなわち、絵柄が細かいために隣接画素間の相関が小さい画像に対しては、量子化テーブル８３が設定される。量子化テーブル８３は、０からしきい値Ｃ（＞Ｂ）で示すレベルの範囲の予測誤差に対しては、それぞれ異なる代表値を出力し、Ｃを越えるレベルの予測誤差に対しては、共通に最大の代表値を出力するものである。つまり、予測誤差の小さなレベルから大きいレベルまでの全体に対してビットを配分するものである。
上述したように、捕捉した１枚の静止画像の予測誤差のレベル分布に応じて量子化テーブルを設定することによって、圧縮による歪みが小さい量子化を行うことができる。
量子化テーブルは、実際には、図１２に示すように、折れ線特性で近似することができる。図１２において、縦軸が予測誤差を示し、横軸が代表値を示す。予測誤差に対しては、しきい値ｔｈ０〜ｔｈ６が規定され、代表値に対しては、オフセットｏｆｔ０〜ｏｆｔ５が規定されている。これらのしきい値とオフセットで規定される各直線は、予測誤差に乗算される変換の係数が（１，１／２，１／４，１／８，１／１６，１／３２，１／６４）となるような傾きをそれぞれ有している。
しきい値およびオフセット値の対のデータがメモリに記憶されている。しきい値と予測誤差とが比較され、予測誤差がどの直線の範囲に含まれるかが決定され、予測誤差に対応する代表値が求められる。その場合、１次補間の演算によって代表値が求められる。しきい値およびオフセット値の少なくとも一方を変更することによって量子化テーブルの特性を変更することができる。
このように、この発明の一実施形態によれば、低い階調の部分に対して人間の目の感度が敏感であるという視覚特性を利用した非線形変換による圧縮と、差分が大きな部分より小さな部分の方が人間の目の感度が敏感であるという差感度と画像信号の相関を利用したＤＰＣＭ圧縮という、ふたつの異なる圧縮手段を兼ね備えることにより、量子化誤差を分散させ、ノイズを感知し難くすることができる。更に、非線形圧縮／伸張変換テーブルをヒストグラムに適したビット配分に適応的に変化させ、また、予測誤差のヒストグラム分布により、最適な量子化テーブルを適応的に変化させ、予測誤差の分布に適した代表値配分を行うことができる。
その結果、信号処理を経た後での視覚的なノイズ感を変えずに圧縮率を上げることができる。圧縮率を高くすることにより、画像メモリに格納する静止画枚数を増やすことができる。また、画像メモリにアクセスする周波数帯域を下げ、低消費電力化を実現することにより、デジタルスチルカメラ、カメラ・レコーダーのバッテリーをより長く持続させることが可能となる。
図１３は、この発明の他の実施形態を示す。他の実施形態は、２つの異なる特性をもつ圧縮変換として、非線形圧縮とＡＤＲＣ（Adaptive Dynamic Ranｇe Coding）圧縮を組み合わせた例である。図１３を参照して、静止画像をＬビット例えばＬ＝１４からＮ（Ｎ＜Ｌ）ビット例えばＮ＝１０に圧縮する処理を説明する。なお、圧縮動作と伸張動作が同時になされないので、図１３の回路を圧縮および伸張で共用することができる。
タイミング発生器９０に対して画像データの水平同期信号および垂直同期信号、画像データのイネーブル信号等が入力される。タイミング発生器９０では、圧縮器９１および９２、伸張器９６および９７、パッキング部９３、デパッキング部９５、画像メモリ７等に配るタイミング信号およびコントロール信号を生成する。
非線形変換を用いた圧縮器９１は、図３に示す一実施形態における圧縮器４１と同様のものである。すなわち、３原色信号の各色成分の画像データ（１画素がＬビット）がそれぞれ入力され、画像情報ＰＩ３例えばフロントエンド５からの原画像データから輝度情報が抽出され、マイクロコンピュータ１０が画像情報ＰＩ３から入力画像の特性を識別する。マイクロコンピュータ１０が画像情報ＰＩ３に基づいて設定した圧縮変換テーブルＴＢ３が非線形変換を用いた圧縮器９１に供給される。
非線形変換を用いた圧縮器９１では、この圧縮変換テーブルＴＢ３に従って画像データをＭビット（Ｍ＜Ｌ）例えばＭ＝１２へ圧縮する。この圧縮器９１における非線形変換のための変換カーブは、後段の信号処理部２１（図１参照）のガンマ補正で用いられるガンマ補正カーブと同様の特性である。
非線形圧縮器９１によって、非線形変換によりＬビットからＭビットへ圧縮変換された画像データがＡＤＲＣ圧縮器９２に入力される。ＡＤＲＣ圧縮器９２は、画像情報ＰＩ４に基づいて設定された量子化テーブルＴＢ４を使用して最終的にＮビット（例えばＮ＝１０）に圧縮された画像データを出力する。圧縮された画像データがパッキング部９３に入力され、画像メモリのバス幅に詰め込みされた上で、画像メモリ７に格納される。
次に、図１３を参照してＮビットからＬビットへの伸張時の処理を説明する。伸張処理は、上述した圧縮処理と逆の順序でなされる処理である。伸張処理も圧縮処理と同様に、３原色成分の各色信号ごとになされる。画像メモリ７に格納されていた画像データが読み出され、デパッキング部９５に入力される。バス幅に多重化されていた圧縮データがデパッキング部９５によってＮビットの画像データに戻され、ＡＤＲＣ伸張器９６に入力される。
ＡＤＲＣ伸張器９６が量子化テーブルＴＢ４と対の逆変換テーブルＴＢ１４を使用してＮビットからＭビットへの伸張を行う。伸張後の画像データは、非線形変換を用いた伸張器９７に入力される。伸張器９７は、圧縮器９１で選択された圧縮変換テーブルＴＢ３と対の逆圧縮テーブルＴＢ１３に従って画像データを元のビット数であるＬビットに伸張する。非線形変換を用いた伸張器９７からのＬビットの各色成分の原画像データが信号処理部２１（図２参照）に供給され、デジタルクランプ、ホワイトバランス、ガンマ補正、補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理によって輝度および色差信号からなる画像信号が生成される。
非線形変換を用いた圧縮器９１は、上述した図５の構成を使用でき、非線形変換を用いた伸張器９７は、上述した図６の構成を使用できる。
ＡＤＲＣは、空間的または時間的に近接した複数の画素が相関を有していることに着目し、レベル方向に圧縮を行うものである。図１４は、ＡＤＲＣ圧縮器９１の一例を示す。各画素がＭビットの画像データ（一つの色成分のデータ）がブロック化回路１０１に供給され、複数の画素からなる２次元領域であるブロックに分割される。ダイナミックレンジ（ＤＲ）検出回路１０２が各ブロックの画素の最大値ＭＡＸと最小値ＭＩＮを検出し、ＭＡＸ−ＭＩＮによってダイナミックレンジＤＲを検出する。
減算器１０３において、各画素の値から最小値ＭＩＮが減算される。減算器１０３に供給されるデータを検出回路１０２が検出に要する時間遅延させるようにしても良い。減算器１０３によってブロック内のデータが正規化される。減算器１０３の出力データが量子化器１０４に供給される。
量子化器１０４では、量子化テーブルＴＢ４とダイナミックレンジＤＲとを使用して量子化を行い、ＮビットのコードＤＴを出力する。線形量子化を行うと仮定した場合では、ダイナミックレンジＤＲを１／２Nした量子化ステップΔを生成し、量子化ステップΔで
最小値除去後のデータを除算することで量子化を行う。ここでは、量子化器１０４が例えば一実施形態におけるＤＰＣＭ圧縮器４２の量子化テーブルと同様の量子化テーブルＴＢ４によって非線形量子化を行い、その量子化特性が処理ブロックの画像の特徴例えば処理ブロックにおけるレベル分布のヒストグラムに応じて変更される。
例えば量子化ステップΔを一定とせずに、最小値除去後のデータのレベルを分割した複数の範囲で量子化ステップΔを相違させる。すなわち、最小値除去後のデータのレベルが小さい範囲では、量子化ステップが小さくされ、そのレベルが大きい範囲では、量子化ステップが大きくされる。このような量子化ステップの制御が一定ではなく、レベル分布のヒストグラムに応じて変化される。なお、量子化特性をブロックの画像に適応して制御する方法以外にブロック毎のダイナミックレンジＤＲに応じてブロック毎に割り振るビット数を変化させる方法を使用しても良い。
ダイナミックレンジＤＲ、最小値ＭＩＮ、コードＤＴおよび量子化テーブルＴＢ４を示す情報（図示しない）がパッキング部９３によってパッキングされ、画像メモリ７に対して書き込まれる。量子化テーブルＴＢ４を示す情報は、マイクロコンピュータ１０において保持されるようにしても良い。
画像メモリ７から読み出されたデータがデパッキング部９５でデパッキングされ、逆量子化器１１２に対してダイナミックレンジＤＲおよびコードＤＴが供給される。逆量子化器１１２には、量子化テーブルＴＢ４と対をなす逆変換テーブルＴＢ１４も供給される。量子化テーブルＴＢ４を使用して量子化したことを示す情報から逆変換テーブルＴＢ１４が特定される。
逆量子化器１１２が逆変換テーブルＴＢ１４にしたがってコードＤＴを代表値へ変換する。線形量子化を仮定した場合には、ダイナミックレンジＤＲから量子化ステップΔが求められ、コードＤＴの値に量子化ステップΔを乗じることで代表値が得られる。逆変換テーブルＴＢ１４によって規定される量子化ステップΔを使用して代表値が計算される。
ＡＤＲＣ処理は、ブロック単位で独立して量子化を行うので、ブロック内の相関が高い場合、すなわち、ダイナミックレンジＤＲが小さい場合には高い圧縮率が得られるが、ブロック内の相関が低い場合、すなわち、ダイナミックレンジＤＲが大きい場合には、ブロック間の量子化の相違がブロック歪みとして生じるおそれがある。一方、非線形変換を用いた圧縮処理は、構成を簡略とできる反面、圧縮率を高くするほど下位ビットの情報が欠落し、ソラリゼーション等の視覚的に見苦しい画質劣化が生じる。
上述したこの発明の他の実施形態においては、このような異なる圧縮特性を有する圧縮処理を直列に施すことにより、さらに高い圧縮率を得ることができ、また、圧縮歪みが複数の違った特性のノイズに分散されることになり、視覚的に劣化が抑制されたようにすることができる。
この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、直列に接続した各圧縮器が圧縮するビット数を固定としている。例えば初段でＬビットからＭビットに圧縮し、２段目でＭビットからＮビットに圧縮している。しかしながら、圧縮される（Ｌ−Ｎ）ビットの各圧縮器に対する割り振りを処理の対象の画像の特徴に適応して変化させるようにしても良い。
また、色信号の各色成分別に圧縮器／伸張器を設けているが、回路削減のために、全ての色成分を多重化して時分割処理をすることも可能である。撮像素子が４色以上のカラーフィルタを有する場合に対しても適用できる。また、この発明は、色成分全てに対して、同じビット配分を行っているが、配列の偏りに応じてビットの配分、すなわち圧縮率を変えることにより、更に高い圧縮率を期待できる。更に、後段で行う信号処理の色成分ごとの重みやカラーフィルタの配列条件に応じて、色別に異なるビット数に配分するようにしても良い。
また、この発明はモニタリング時の静止画キャプチャ時だけでなく、動画記録中に静止画をキャプチャする際にも適用できる。動画中の静止画キャプチャを考えると、時間的な画像の変化が殆ど無いことを前提に１フィールド前の画像の特徴を使用して現在のフィールドに対する符号化処理がなされる。また、ＤＰＣＭの処理を１フィールドまたは１フレーム前の空間的に同一位置の画素の予測値と、符号化対象画素の値との差分を形成する処理としても良い。
さらに、この発明の一実施形態および他の実施形態における処理手段は、これら一連の手段をステップとして有する方法として捉えなくてもよく、また、これら一連の手段をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体と捉えても良い。
この発明の一実施形態による撮像装置の構成を示すブロック図である。 この発明の一実施形態における画像処理部の一例を示すブロック図である。 画像処理部における圧縮／伸張器の構成の一例を示すブロック図である。 画像メモリのデータバス幅へのパッキングの説明に用いる略線図である。 非線形変換を用いた圧縮器の構成例を示すブロック図である。 非線形変換を用いた伸張器の構成例を示すブロック図である。 非線形変換を用いた圧縮器の変換カーブの説明に用いる略線図である。 非線形変換を用いた圧縮器の変換カーブを折れ線カーブで実現した例を示す略線図である。 この発明の一実施形態におけるＤＰＣＭ圧縮／伸張器の構成の一例を示すブロック図である。 この発明の一実施形態におけるＤＰＣＭ圧縮器の量子化テーブルを選択するための画像のレベル分布のヒストグラムの例を示す略線図である。 この発明の一実施形態におけるＤＰＣＭ圧縮器の量子化テーブルの一例を示す略線図である。 この発明の一実施形態におけるＤＰＣＭ圧縮器の量子化テーブルを折れ線カーブで実現した例を示す略線図である。 画像処理部における圧縮／伸張器の構成の他の例を示すブロック図である。 ＡＤＲＣ圧縮器の一例を示すブロック図である。 ＡＤＲＣ伸張器の一例を示すブロック図である。
符号の説明
１・・・撮像装置
３・・・撮像素子
６・・・画像処理部
７・・・画像メモリ
１０・・・マイクロコンピュータ
４１，９１・・・非線形変換を用いた圧縮器
４２・・・ＤＰＣＭ圧縮器
４６・・・ＤＰＣＭ伸張器
４７，９７・・・非線形変換を用いた伸張器
９２・・・ＡＤＲＣ圧縮器
９６・・・ＡＤＲＣ伸張器

Claims (6)

  1. 撮像素子によって撮像された原画像データを圧縮する画像データ処理装置において、
    カラーフィルタの同色成分の信号を取り出す手段と、
    上記同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮手段と、
    上記第１の圧縮手段と直列に接続され、上記第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮手段と、
    上記第２の圧縮手段からの圧縮後のデータを保持する画像メモリと、
    上記第２の圧縮処理の逆の処理である第２の伸張処理によって、上記画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張手段と、
    上記第２の伸張手段と直列に接続され、上記第１の圧縮処理の逆の処理である第１の伸張処理によって上記第２の伸張手段の出力データの各画素をＭビットからＬビットへ伸張する第１の伸張手段と、
    上記第１の伸張手段からの画像データに対してガンマ補正を含む信号処理を行う信号処理手段と
    を備える画像データ処理装置。
  2. 請求項１において、
    上記第１および第２の圧縮手段のそれぞれの圧縮処理を行う際に、画像と圧縮方法に適した圧縮変換規則を決定するために必要な画像情報を抽出する第１および第２の画像情報抽出手段と、
    抽出された上記画像情報に応じて上記第１および第２の圧縮手段における上記圧縮変換規則を設定する圧縮変換規則設定手段と、
    上記第１および第２の伸張手段においてそれぞれ伸張変換規則を設定する伸張規則設定手段とを有する画像データ処理装置。
  3. 請求項２において、
    上記圧縮変換規則が上記第１および第２の圧縮手段のそれぞれの変換特性であり、
    上記伸張変換規則が上記第１および第２の伸張手段のそれぞれの逆変換特性である画像データ処理装置。
  4. 請求項２において、
    上記圧縮変換規則が上記第１および第２の圧縮手段のそれぞれに割り振られる圧縮配分であり、
    上記伸張変換規則が上記第１および第２の伸張手段のそれぞれに割り振られる伸張配分である画像データ処理装置。
  5. 撮像素子によって撮像された原画像データを圧縮する画像データ処理方法において、
    カラーフィルタの同色成分の信号を取り出すステップと、
    上記同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮ステップと、
    上記第１の圧縮ステップ後に、上記第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮ステップと、
    上記第２の圧縮ステップからの圧縮後のデータを画像メモリに保持するステップと、
    上記第２の圧縮処理の逆の処理である第２の伸張処理によって、上記画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張ステップと、
    上記第２の伸張ステップ後に、上記第１の圧縮処理の逆の処理である第１の伸張処理によって上記第２の伸張ステップで伸張されたデータの各画素をＭビットからＬビットへ伸張する第１の伸張ステップと、
    上記第１の伸張ステップで伸張された画像データに対してガンマ補正を含む信号処理を行う信号処理ステップと
    からなる画像データ処理方法。
  6. 撮像素子のカラーフィルタの同色成分の信号を取り出すステップと、
    上記同色成分に分離されたそれぞれの画像データに対して、各画素をＬビットからＭ（＜Ｌ）ビットへ圧縮する第１の圧縮処理を行う第１の圧縮ステップと、
    上記第１の圧縮ステップ後に、上記第１の圧縮処理と発生する歪みの特性が異なる第２の圧縮処理を行い、各画素をＭビットからＮ（＜Ｍ）ビットへ圧縮する第２の圧縮ステップと、
    上記第２の圧縮ステップからの圧縮後のデータを画像メモリに保持するステップと、
    上記第２の圧縮処理の逆の処理である第２の伸張処理によって、上記画像メモリに保持されたデータの各画素をＮビットからＭビットへ伸張する第２の伸張ステップと、
    上記第２の伸張ステップ後に、上記第１の圧縮処理の逆の処理である第１の伸張処理によって上記第２の伸張ステップで伸張されたデータの各画素をＭビットからＬビットへ伸張する第１の伸張ステップと、
    上記第１の伸張ステップで伸張された画像データに対してガンマ補正を含む信号処理を行う信号処理ステップと
    からなる画像データ処理方法をコンピュータに実行させるプログラム。
JP2005175961A 2005-06-16 2005-06-16 画像データ処理装置、画像データ処理方法およびプログラム Expired - Fee Related JP4321496B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005175961A JP4321496B2 (ja) 2005-06-16 2005-06-16 画像データ処理装置、画像データ処理方法およびプログラム
PCT/JP2006/308494 WO2006134723A1 (ja) 2005-06-16 2006-04-18 画像データ処理装置、画像データ処理方法およびプログラム
KR1020077028007A KR101241662B1 (ko) 2005-06-16 2006-04-18 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체
EP20060732252 EP1901547B1 (en) 2005-06-16 2006-04-18 Image data processing device, image data processing method, and program
CNB2006800213247A CN100539636C (zh) 2005-06-16 2006-04-18 图像数据处理装置和图像数据处理方法
US11/922,155 US8233060B2 (en) 2005-06-16 2006-04-18 Image data processing apparatus, image data processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005175961A JP4321496B2 (ja) 2005-06-16 2005-06-16 画像データ処理装置、画像データ処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2006352509A true JP2006352509A (ja) 2006-12-28
JP4321496B2 JP4321496B2 (ja) 2009-08-26

Family

ID=37532090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005175961A Expired - Fee Related JP4321496B2 (ja) 2005-06-16 2005-06-16 画像データ処理装置、画像データ処理方法およびプログラム

Country Status (6)

Country Link
US (1) US8233060B2 (ja)
EP (1) EP1901547B1 (ja)
JP (1) JP4321496B2 (ja)
KR (1) KR101241662B1 (ja)
CN (1) CN100539636C (ja)
WO (1) WO2006134723A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296353A (ja) * 2008-06-05 2009-12-17 Fujifilm Corp 撮像素子モジュール及びその撮像データ出力方法並びに撮像装置
JP2011130214A (ja) * 2009-12-17 2011-06-30 Canon Inc 画像処理装置、その制御方法、及びプログラム
JP2012113657A (ja) * 2010-11-26 2012-06-14 Mitsubishi Electric Corp データ圧縮装置及びデータ復元装置及びデータ処理システム及びコンピュータプログラム及びデータ圧縮方法及びデータ復元方法
JP2014099780A (ja) * 2012-11-15 2014-05-29 Jvc Kenwood Corp 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法
WO2015125719A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9351002B2 (en) 2012-06-11 2016-05-24 Fujifilm Corporation Image processing apparatus, image pickup apparatus, computer, image processing method and computer readable non-transitory medium
JP2017063344A (ja) * 2015-09-25 2017-03-30 シャープ株式会社 映像処理装置、映像処理方法およびプログラム
JP2018098730A (ja) * 2016-12-16 2018-06-21 コニカミノルタ株式会社 画像データ転送システム及び画像データの転送方法
JP2018157606A (ja) * 2018-06-20 2018-10-04 株式会社ニコン 画像処理装置及び撮像装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331663B2 (en) * 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
WO2009035148A1 (en) * 2007-09-14 2009-03-19 Ricoh Company, Ltd. Imaging apparatus and imaging method
US20090238198A1 (en) * 2008-03-20 2009-09-24 Sheng-Chun Niu Packing Switching System and Method
US8213728B2 (en) * 2008-06-16 2012-07-03 Taiwan Imagingtek Corporation Method and apparatus of image compression with output control
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
TW201028018A (en) * 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
JP5237215B2 (ja) * 2009-07-15 2013-07-17 キヤノン株式会社 画像処理装置及び方法
US8203619B2 (en) * 2009-09-30 2012-06-19 Sony Corporation Target bit rate decision method for wavelet-based image compression
CN102209202B (zh) * 2011-06-01 2012-12-05 展讯通信（上海）有限公司 相机伽马校正曲线提取方法
KR101921079B1 (ko) 2012-02-14 2018-11-23 삼성디스플레이 주식회사 표시 장치
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
KR102456474B1 (ko) * 2018-04-27 2022-10-20 삼성디스플레이 주식회사 영상 처리 회로, 영상 처리 회로를 포함하는 표시 장치 및 그것의 구동 방법
CN108924567B (zh) * 2018-07-10 2020-11-06 广州市盛光微电子有限公司 数据处理方法及装置
CN109640088A (zh) * 2018-12-30 2019-04-16 成都纵横自动化技术股份有限公司 图像数据处理方法、装置及系统
JP7296745B2 (ja) * 2019-03-05 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS567346B2 (ja) * 1972-10-11 1981-02-17
JPS56128070A (en) * 1980-03-13 1981-10-07 Fuji Photo Film Co Ltd Band compressing equipment of variable density picture
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
CA2195110A1 (en) * 1994-07-14 1996-02-01 Stephen G. Johnson Method and apparatus for compressing images
DE19524808A1 (de) * 1995-07-07 1997-01-09 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Datenstrom
JP3081538B2 (ja) * 1996-08-28 2000-08-28 三洋電機株式会社 デジタルスチルカメラ
JPH10243402A (ja) * 1997-02-27 1998-09-11 Toshiba Corp 画像処理装置及び画像処理方法
US6363175B1 (en) * 1997-04-02 2002-03-26 Sonyx, Inc. Spectral encoding of information
US6694061B1 (en) * 1997-06-30 2004-02-17 Intel Corporation Memory based VLSI architecture for image compression
JP3356663B2 (ja) * 1997-10-22 2002-12-16 松下電器産業株式会社 画像符号化装置、画像符号化方法および画像符号化プログラムを記録した記録媒体
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
JP2000270299A (ja) * 1999-03-16 2000-09-29 Ricoh Co Ltd 画像記録再生装置
JP2001094985A (ja) * 1999-09-20 2001-04-06 Ricoh Co Ltd 画像符号化装置
JP4288398B2 (ja) * 2000-01-18 2009-07-01 株式会社ニコン 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
JP2001257977A (ja) * 2000-03-14 2001-09-21 Olympus Optical Co Ltd 電子カメラ
JP2004112603A (ja) * 2002-09-20 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP2005150985A (ja) * 2003-11-12 2005-06-09 Sharp Corp 画像情報処理システムおよび画像情報処理方法
JP4470485B2 (ja) * 2003-12-25 2010-06-02 株式会社ニコン 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP4385841B2 (ja) 2004-04-22 2009-12-16 ソニー株式会社 画像処理装置
US7656561B2 (en) * 2004-05-31 2010-02-02 Phase One A/S Image compression for rapid high-quality imaging

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296353A (ja) * 2008-06-05 2009-12-17 Fujifilm Corp 撮像素子モジュール及びその撮像データ出力方法並びに撮像装置
JP2011130214A (ja) * 2009-12-17 2011-06-30 Canon Inc 画像処理装置、その制御方法、及びプログラム
JP2012113657A (ja) * 2010-11-26 2012-06-14 Mitsubishi Electric Corp データ圧縮装置及びデータ復元装置及びデータ処理システム及びコンピュータプログラム及びデータ圧縮方法及びデータ復元方法
US9351002B2 (en) 2012-06-11 2016-05-24 Fujifilm Corporation Image processing apparatus, image pickup apparatus, computer, image processing method and computer readable non-transitory medium
JP2014099780A (ja) * 2012-11-15 2014-05-29 Jvc Kenwood Corp 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法
JPWO2015125719A1 (ja) * 2014-02-21 2017-03-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015125719A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10674181B2 (en) 2014-02-21 2020-06-02 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10735771B2 (en) 2014-02-21 2020-08-04 Sony Corporation Transmission device, transmission method, reception device, and reception method
US11330303B2 (en) 2014-02-21 2022-05-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP2017063344A (ja) * 2015-09-25 2017-03-30 シャープ株式会社 映像処理装置、映像処理方法およびプログラム
JP2018098730A (ja) * 2016-12-16 2018-06-21 コニカミノルタ株式会社 画像データ転送システム及び画像データの転送方法
JP2018157606A (ja) * 2018-06-20 2018-10-04 株式会社ニコン 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
KR20080025048A (ko) 2008-03-19
US20090290045A1 (en) 2009-11-26
CN100539636C (zh) 2009-09-09
JP4321496B2 (ja) 2009-08-26
EP1901547B1 (en) 2012-09-05
KR101241662B1 (ko) 2013-03-11
CN101199198A (zh) 2008-06-11
EP1901547A1 (en) 2008-03-19
US8233060B2 (en) 2012-07-31
WO2006134723A1 (ja) 2006-12-21
EP1901547A4 (en) 2011-03-16

Similar Documents

Publication Publication Date Title
JP4321496B2 (ja) 画像データ処理装置、画像データ処理方法およびプログラム
JP4337911B2 (ja) 撮像装置、撮像回路、および撮像方法
JP4508132B2 (ja) 撮像装置、撮像回路、および撮像方法
US20070110155A1 (en) Method and apparatus of high efficiency image and video compression and display
US20070196023A1 (en) Image processing device
WO2005125216A1 (ja) 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
US8823832B2 (en) Imaging apparatus
US11336896B2 (en) Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
JP2009130562A (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2008113070A (ja) 撮像装置および撮像方法
US20170359471A1 (en) Imaging apparatus
US10003801B2 (en) Image capturing apparatus that encodes and method of controlling the same
US11895447B2 (en) Encoder, decoder, encoding method, decoding method, and recording medium
JP5213604B2 (ja) 撮像装置
JP2010074597A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2006197181A (ja) 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置
KR100771138B1 (ko) 촬영 장치 및 영상 보정 방법
JP2009290556A (ja) 画像情報処理装置及び画像情報処理方法
JP2009130561A (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JPH10117351A (ja) 信号圧縮方法および信号圧縮装置
JP2011239240A (ja) 撮像装置
JP2007228514A (ja) 撮像装置および方法
JP2007135010A (ja) 画像処理方法
JP2005311502A (ja) 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees