JP2006166403A - イメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置およびその方法 - Google Patents

イメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置およびその方法 Download PDF

Info

Publication number
JP2006166403A
JP2006166403A JP2005198692A JP2005198692A JP2006166403A JP 2006166403 A JP2006166403 A JP 2006166403A JP 2005198692 A JP2005198692 A JP 2005198692A JP 2005198692 A JP2005198692 A JP 2005198692A JP 2006166403 A JP2006166403 A JP 2006166403A
Authority
JP
Japan
Prior art keywords
image
unit
image data
input
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005198692A
Other languages
English (en)
Inventor
Tae Eung Kim
キム、テウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of JP2006166403A publication Critical patent/JP2006166403A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9264Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】カメラモジュール内の画像処理部から画面の複雑度に応じる情報を取得して複雑な画像を圧縮する場合、データをさらに割り当てることができるようにするイメージ圧縮装置およびその方法を提供する。
【解決手段】本発明のイメージ圧縮装置は、光信号を電気的信号に変換するイメージセンサと、前記イメージセンサからの電気的信号を入力とし、デジタル化された画像データを出力するISP部と、前記ISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出し、レンズ部のフォーカスレンズを駆動しながら最大焦点値を算出して出力する自動焦点デジタル信号処理器と、前記自動焦点デジタル信号処理器からの最大焦点値を入力とし、その焦点値に応じて定められた量子化パラメータを用いて前記ISP部からの画像データを量子化しながらイメージ圧縮を行う圧縮モジュールとを含んでなる。
【選択図】図3

Description

本発明は、移動通信端末機の圧縮モジュールおよびその制御方法に関する。さらに詳しくは、携帯電話、スマートホーン、PDAなどに装着される圧縮モジュールの圧縮比をイメージの複雑度に応じて可変できるようにする圧縮モジュールおよびその制御方法に関するものである。
現在、移動通信端末機は、単純な電話機能をユーザに提供する元の機能以外にも様々な付加機能を提供してユーザの利便性を増進させる必需品になっている。
また、別個に備えるべきであった多数の電子機器を移動通信端末機(特に携帯電話)と複合した形態、たとえばラジオ聴取および電話機能を併せ持つ携帯電話とラジオを複合したラジオホーンや、TV視聴および電話機能を併せ持つ携帯電話とTVを複合したTVホーンなどが利便性を増進させる必需品になっている。
さらに、別個に備えるべきであった多数の電子機器を携帯電話と複合した形態、たとえばラジオ聴取および電話機能を併せ持つ携帯電話とラジオとを複合したラジオホーンや、TV視聴および電話機能を併せ持つ携帯電話とTVとを複合したTVホーン、インターネットおよび電話機能を併せ持つインターネットホーン、カメラおよび電話機能を提供する携帯電話とカメラとを複合したカメラホーンなどの複合携帯電話が開発され、携帯に便利な携帯電話から提供する他の付加機能をユーザが便利に使用できるようにしており、ひいては携帯電話効率およびユーザの便利さを極大化させる次世代携帯電話の開発努力に鎬を削っている。
上述したように、携帯かつ使用の簡便な複合携帯電話の中でも、カメラと携帯電話とを複合した形態のいわゆる「カメラホーン」は、事物を撮影した後格納しておき、これを再生し、あるいは背景画面として使用し、あるいは電子メールまたは電話番号を用いて他所に伝送する機能を提供している。
図1は従来の技術に係るイメージプロセッサが上部筐体に位置したカメラホーンの構成図である。下部筐体220には、基地局との通信のための無線回路部130と、音声通話のためのオーディオ回路部140と、キー入力のためのキーパッド120と、各種プログラムおよびデータを格納するためのメモリ110と、これらの動作を制御するための制御部100とが設けられている。
CDMA(Code Division Multiple Access)方式の携帯電話の場合には、通常MSM(Mobile Station Modem)と呼ばれるワンチップ型のモデムチップが制御部100として用いられる。制御部100には無線通信のためのPLL(Phase Locked Loop)、CDMAプロセッサ、ボコーダ、キーパッドインタフェース、直列インタフェース、プロセッサコアなどが内蔵されている。
また、下部筐体220には、ユーザの音声を電気信号に変換するためのマイク50と、電波を送出し受信するためのアンテナとが設けられる。
上部筐体213には、文字や画像などの表示のための表示素子としてLCD(液晶表示)モジュール30が設置される。
LCDモジュール30は、通常モジュールの形態をしており、LCDパネルとこれを駆動するためのLCDドライバが共に含まれる。また、文字表示などの制御のためのLCDコントローラ150がLCDモジュールまたはフレキシブル回路に設けられる。
また、通話の際に相手からの音声を出力するためのスピーカ26が上部筐体213に設けられる。一方、図示してはいないが、電話着信を知らせるためのラウドスピーカーやピエゾ素子、そしてエチケットモードで電話着信などを知らせるための振動モータなどが上部筐体に設けられることが一般的である。
また、上部筐体213には、カメラモジュール27とカメラインタフェース170が配置されている。動画像を受信することが可能な携帯電話、またはカメラモジュール27を用いて画像通信を行うことが可能な携帯電話の場合には、動画像処理のためのイメージプロセッサ160が下部筐体220に設けられる。
イメージプロセッサ160としては、たとえば東芝のMPEG4プロセッサTC35273XBなどが使用できる。イメージプロセッサ160は、メインプロセッサのみでは処理不可能な動画像の復号化および/またはコード化を専担して処理することにより、携帯電話における動画像処理を可能とする。
イメージプロセッサ160には、LCDモジュール、カメラ、マイク、スピーカなどとの連結のためのポートが設けられていることが一般的である。
このように、携帯電話では、小さい大きさでも大画面を得ることができるという利点があるが、上部筐体と下部筐体との電気的接続のための手段が必要である。よって、組立性の向上や雑音の減少、雑音に対する耐性強化などのためにその連結線の数を抑制する必要がある。
その上、携帯電話のライフサイクルが短くなり且つ様々な形態の表示素子が登場する趨勢に合わせて、メインボードの修正なくあるいは簡単な修正のみで様々な形態の表示素子とマルチメディア機能に対応することが可能な携帯電話の構造が必要である。
図2は、従来の改善された技術に係るイメージプロセッサを上部筐体に備えたカメラホーンの構造図である。図2によれば、イメージプロセッサ160が上部筐体213側に設けられる。この際、上部筐体213にイメージプロセッサ160用として別途のボードを設けることもできるが、イメージプロセッサ160をLCDモジュール内あるいはフレキシブル回路に配置することが好ましい。
LCDパネルに動画像または静止画像を表示しようとする場合、制御部100は、圧縮された画像データをメモリ110から読み取ってこれをイメージプロセッサ160に伝達する。
すると、イメージプロセッサ160は、画像データの圧縮を解除してLCDコントローラ150に伝達する。LCDコントローラ150は、このデータに応じてLCDモジュール30を制御することにより、所望の画像がLCDパネルに表示される。
このように制御部100とイメージプロセッサ160との間、すなわち上部筐体と下部筐体との間では圧縮されたデータが伝送されるため、フィルタと下部筐体との間で伝送される信号の量は圧縮率だけ減少する。
一方、イメージプロセッサにおいて、イメージ圧縮は内部の圧縮モジュールの量子化器の量子化パラメータを調整して行うが、普通精巧な画像を得るために圧縮比を低くする場合には、量子化パラメータを調整して量子化ステップサイズを小さくし、圧縮比を高くして精巧でなくてもデータ量を減らそうとする場合には、量子化ステップサイズを大きくする。
しかし、このような方式は問題がある。たとえば、精巧な画像を所望する場合、単純なイメージまたは複雑なイメージのいずれも同等に量子化パラメータを介して量子化ステップサイズを与えるので、イメージの複雑度による加重値なく圧縮することになる。このため、単純なイメージは小さく圧縮比を与えても精巧に出られるが、そうしないから、メモリが損失し、複雑なイメージにデータをさらに割り当てることができなくなるので、データ量の調整に問題がある。
したがって、カメラモジュールの画像処理部から画面の複雑度に応じる情報を取得し、複雑なイメージは圧縮する場合にデータをさらに割り当てることができるようにする必要がある。
このような従来の技術の問題点を解決するための方法としては、移動通信端末機に装着されるカメラモジュールではないが、デジタルカメラに関する技術である特許文献1の「適応的再圧縮が行われるデジタルカメラの制御方法」がある。
特許文献1では、ユーザが野外で撮影する途中でメモリカードの残量が足りなくなった場合、ユーザがメモリカードに既に格納されていた画像ファイルを選択して削除せず、より高い圧縮比を適用して再圧縮し、格納している画像ファイルのデータ量を減らすようにする方法を開示している。
特許文献1の技術は、画像ファイルがユーザの選択による少なくとも第1圧縮率〜第3圧縮率で圧縮されてメモリカードに格納されるデジタルカメラの制御方法であって、確認段階、第1および第2圧縮段階を含む。
ここで、確認段階は、メモリカードの容量が足りない場合、低圧縮率の第1圧縮率または中間圧縮率の第2圧縮率で圧縮されている画像ファイルが存在するか否かを確認する。
第1圧縮段階では、第1圧縮率で圧縮されている画像ファイルが存在すれば、ユーザの許諾に従い、前記第1圧縮率で圧縮されている画像ファイルの一つが前記第2圧縮率で格納される。
前記第2圧縮段階では、前記第1圧縮率で圧縮されている画像ファイルが存在せず、前記第2圧縮率で圧縮されている画像ファイルが存在すれば、ユーザの許諾に従い、前記第2圧縮率で圧縮されている画像ファイルの一つが高圧縮率の前記第3圧縮率で圧縮されて格納される。
このような従来の技術によれば、ユーザの要求に応えてメモリカードの残量が適応的に拡大されるので、ユーザが野外で撮影する途中でメモリカードの残量が足りなくなった場合、ユーザがメモリカードに既に格納された画像ファイルを選択して削除する必要がない。よって、ユーザが各画像ファイルに対して設定したことのある圧縮率が最大限維持できる。
しかし、このような従来の技術は、移動通信端末機に適用することも容易ではないうえ、移動通信端末機に適が適応的に拡用するとしても、依然としてメモリカードの残量が足りない場合に適用するものであり、各イメージの複雑度を考慮することができないという問題点があった。
韓国特許出願公開第2003−0001109号公報
本発明は、かかる問題点を解決するためのもので、その目的は、カメラモジュール内の画像処理部から画面の複雑度に応じる情報を取得して複雑なイメージを圧縮する場合、データをさらに割り当てることができるようにするイメージ圧縮装置およびその方法を提供することにある。
上記目的を達成するために、本発明は、光信号を電気的信号に変換するイメージセンサと、前記イメージセンサからの電気的信号を入力とし、デジタル化された画像データを出力するISP部と、前記ISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出し、レンズ部のフォーカスレンズを駆動しながら最大焦点値を算出して出力する自動焦点デジタル信号処理器と、前記自動焦点デジタル信号処理器からの最大焦点値を入力とし、その焦点値に応じて定められた量子化パラメータを用いて前記ISP部からの画像データを量子化しながらイメージ圧縮を行う圧縮モジュールとを含んでなる、イメージ圧縮装置を提供する。
また、本発明は、イメージセンサおよびISP部が光信号を入力として電気的信号に変換した後、デジタル化された画像データを出力する第1段階と、自動焦点デジタル信号処理器が前記イメージセンサおよびISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出する第2段階と、前記自動焦点デジタル信号処理器がレンズ部のフォーカスレンズを駆動しながら最大焦点値を算出して出力する第3段階と、圧縮モジュールが前記自動焦点デジタル信号処理器からの最大焦点値を入力とし、その焦点値に応じて定められた量子化パラメータを用いて前記イメージセンサおよびISP部からの画像データを量子化しながらイメージ圧縮を行う第4段階とを含んでなる、イメージ圧縮方法を提供する。
本発明によれば、カメラモジュールは自動焦点のシステム内にイメージ圧縮部を含んで、携帯電話のような画像機器などへ圧縮データを伝送することができ、圧縮の際に自動焦点調節を行うために使用する画像処理装置内の画像情報を用いて複雑なイメージと単純なイメージを判別した後、イメージ圧縮の際に差別化して圧縮を行うことができるという効果がある。
以下、添付図面を参照しながら本発明の好適な一実施例を詳細に説明する。
図3は本発明の好適な一実施例に係るイメージ圧縮装置の構成図である。本発明の一実施例に係るイメージ圧縮装置は、図3に示すように、焦点値を抽出するためのカメラモジュール310と、カメラモジュール310から抽出された焦点値に応じて可変的な量子化パラメータを設定して量子化を行うことにより画像を圧縮する圧縮モジュール320とから構成されている。
ここで、カメラモジュール310は、レンズ部311、イメージセンサおよび画像信号処理部(以下、「ISP部(Image Signal Process)」という)312、自動焦点デジタル信号処理器313、アクチュエータドライバ314、アクチュエータ315を備えている。イメージセンサおよびISP312は、一体化されて具現されているが、イメージセンサとISP部に分離して実現することもできる。
レンズ部311はズームレンズ(Zoom Lens)、焦点レンズ(Focus Lens)からなり、ズームレンズは画像を拡大するレンズ、焦点レンズは画像の焦点を合わせるレンズになる。
イメージセンサおよびISP部312は、光学信号を電気信号に変換するCDD(Charged coupled device)イメージセンサまたはCMOS(complementary metal oxide semiconductor)イメージセンサを使用し、ISPは、人の視覚に合わせてイメージデータを変換して画質を改善し、改善された画質のイメージデータを出力する。
ここで、CCDイメージセンサは、シリコンのウェーハ上に超小型金属電極を多数配置したもので、多数の光ダイオードからなり、ここに光が加えられると、光学的エネルギーが電気に変換される。
画素毎にあるフォトダイオードから生成された電荷を垂直伝達CCDおよび水平伝達CCDを介して高電位差を用いて増幅器へ伝達するので、電力消耗は大きいが、雑音に強く、均一に増幅するという特性がある。
CMOSイメージセンサは、画素毎にフォトダイオードおよび増幅器を設置したものであって、CCDイメージセンサより電力消耗が小さく、小型化が可能であるうえ、画質が低下するという欠点がある。
このようなCCDイメージセンサまたはCMOSイメージセンサは、その種類も様々であり、各製造社によってISPのためのインタフェースおよび特性が異なる。したがって、ISPは特定のセンサに応じて設計および製作される。
ここで、ISPは色フィルタ配列補間(color filer array interpolation)、色マトリックス(color matrix)、色補正(color correction)、色向上(color enhancement)などの画像処理を経る。
この際、各画像フレームの同期信号として使われる信号は、1画像フレームの開始を知らせる垂直同期信号vsync(vertical synchronization)、フレーム内のライン別イメージの活性化状態を知らせる水平同期信号hsync(horizontal synchronization)、および各画素データの同期化を示すピクセルクロック信号pixel_clockからなり、実質的な画像に対するピクセルデータはpixel_dataの形態から構成される。
イメージセンサおよびISP部312は、画像処理されたデータをCCIR656、またはCCIR601フォーマット(YUV space)に変換した後、携帯電話ホスト330からマスタクロックmaster clockを受け取り、垂直同期信号vsync、水平同期信号hsync、pixel_clockと共にY/Cb/CrまたはR/G/Bの画像データを携帯電話ホスト330へ出力する。
自動焦点デジタル信号処理器(Auto Focus DSP)313は、図4aに示すように、光検出モジュールODM(Optical Detection Module)410と、ODM結果値で自動焦点アルゴリズムを行う中央処理装置CPU420とから構成されている。
ここで、光検出モジュール410は、図4bに示すように、高域通過フィルタ(Digital Filter)411、積分器(integrator)412、ウィンドウ設定部413から構成されている。
イメージセンサおよびISP部312から伝送されるイメージデータは、Y信号を自動焦点デジタル信号処理器313に入力として受け取って高域通過フィルタ411を通過させると、イメージのエッジ成分のみが抽出される。
この際、イメージ内のウィンドウ領域に対してウィンドウ設定部413からウィンドウの開始位置と終了位置の伝送を受け、ウィンドウ内の高域通過フィルタの出力値を積分器(Integrator)412で積算する。このように積算された焦点値(Focus Value)は、カメラモジュールで焦点を調節する基準データになる。
通常、静止画像の場合、レンズ311を移動して焦点を合わせるが、同じ画像でも、焦点が合うときは焦点値が高く、焦点が合わないときは焦点値が低く出る。
図6aを参照すると、同一のイメージをカメラが入力しても焦点が合わない場合、「A」または「C」領域のように焦点値が低くまたは高く出るときに「B」のように焦点値が高く出る。また、「B」地点は、複雑なイメージの場合には焦点値がさらに高く出るし、単純なイメージの場合には焦点値が低く出る。普通、カメラの焦点は中央を基準として多く取り、ウィンドウは中心を基準として置かれる。
画面の最高焦点値を探すために、アクチュエータドライバ314を介してアクチュエータ315を動かしてレンズ311を動かせる。図6aのようにレンズ311を動かしながら焦点値の大きい所を探さなければならない。
カメラモジュールでは、このように焦点値を探すアルゴリズムを中央処理装置が行ってレンズ311を前方に押すか後ろに押すかを判断し、アクチュエータドライバ314を制御する。
一方、圧縮モジュール320は、イメージセンサおよびISP部312からの入力画像データを圧縮して出力する。図5は圧縮モジュールの内部ブロック図である。図5に示すように、圧縮モジュール320は、イメージフォーマット部510、周波数変換部515、再整列部520、量子化部525、可変長符号化器530から構成されている。
イメージフォーマット510は、ISPの出力を受け取って以後の画像データの圧縮に適した入力として動作できるようにCCIR656、CCIR601型のYCbCr4:2:2あるいはYCbCr4:2:0型のpixel_dataと1フレームの垂直、水平信号を出力する。
このために、イメージフォーマット部510は、まず色座標変換を行うが、RGBをYCbCrまたはYUVフォーマットに変換する。一例として、CCIR−601 YCbCrカラー空間変換公式は次のとおりである。
Y=(77R+150G+29B)/256 Range:16〜235
Cb=(−44R−87G+131B)/256+128 Range:16〜240
Cr=(131R−110G−21B)/256+128 Range:16〜240
このように変換されたYCbCrフォーマットに対し、イメージフォーマット部510は色差フォーマット変換を行い、4:4:4のYCbCrを4:2:2または4:2:0に変換して出力するが、図6bは1フレーム分のピクセル数が640×480の場合に出力されるYCbCrを示す。
図6bの4:2:0フォーマットは、Y信号は640×480ピクセル全てに対して図面の番号が与えられた順序に従って出力し、Cb信号はY信号に比べて1/2のピクセル、すなわち320×240ピクセルが出力され、Cr信号もY信号に比べて1/2のピクセル、すなわち320×240ピクセルが出力される。
このようなイメージフォーマット部510の色差フォーマット変換は、カラーに対する目の低い空間敏感性に基づいているが、大部分の研究で水平および垂直方向に4つの因子によってカラー成分のサブサンプルが適当であると明かした。したがって、画像信号は4つの輝度成分と2つの色度成分で表わすことができる。
また、イメージフォーマット部510は、内部にフレームメモリ(Frame Memory)を内蔵し、水平方向に入力されるY/Cb/Crピクセルデータを、メモリアドレシンング(Memory Addressing)を異にして横、縦8×8ブロックで2次元的に伝送するが、多数個の8×8ブロックをマクロブロック単位としてYCbCrを括って伝送する。
すなわち、イメージフォーマット部510は、入力された画像信号を、一定数の画素からなる単位領域(ブロック)に対応するようにブロック化し、ブロック化された画像信号を出力する。ここで、ブロックは、画像信号の符号化処理の単位となる、画像内の所定サイズの領域であり、一定数の画素からなっている。
このようなイメージフォーマット部510の変換例が図6cに示されているが、入力された画像信号は複数の8×8ブロックにブロック化されている。ここで、それぞれの値は8ビットが使用できる。
すると、周波数変換部515は、ブロック化された画像信号を離散的コサイン変換(以下、「DCT」という)などを用いて周波数変換し、各ブロックに対応する周波数成分を出力する。
ここに使用されるDCT(Discrete Cosine Transform)は、画面に不規則に広がっている画素値を周波数に変換して低周波成分から高周波成分に至るまでいろいろの周波数成分に分け、画像のエネルギーを低周波成分に集中させる。
H.261、JPEG、MPEGなどのいろいろの国際標準に核心技術として位置付けられているDCTは、8×8サイズのブロック単位で行われる。空間的に、DCTはマルチメディア関連国際標準H.261、JPEG、MPEGの核心要素である。
DCTの基本構造は、空間的に高い相関度をもっているデータを直交変換によって低周波成分から高周波成分に至るまでいろいろの周波数成分に分け、各成分別に異なるように量子化する。
低周波成分から遠く離れるほど、高い周波数成分をもつ。すなわち、DCTは、大部分のエネルギーが周波数領域の低周波成分に集中して圧縮効果を高めることができるよう、ブロックのエネルギーを移動させる。図6dは8×8ブロックの場合におけるDCT係数の配列を示す図である。ここで、DCは低周波成分を、ac01〜ac77は高周波成分をそれぞれ示す。
再整列部520は、入力されるデータを低周波成分から高周波成分に再配列して出力させる。すなわち、図6dにおいて矢印で示したようなジグザグスキャンを行ってDC、ac01、ac10、ac20・・・・・ac77の順序でDCT係数を再整列する。
その後、データは量子化部525に入力されて量子化されるが、量子化パラメータはブロック別に可変し、離散的コサイン変換係数別に可変する。
ここで、量子化パラメータは量子化ステップサイズを示すパラメータである。量子化ステップは量子化パラメータにほぼ比例する。すなわち、量子化パラメータが大きい場合には、量子化ステップが概略的(rough)になって量子化成分の絶対値が小さくなるため、量子化成分のゼロラン(0の値を有する成分が連続して羅列した長さ)が長くなってレベル値の絶対値が小さくなる。
これに対し、量子化パラメータが小さい場合には、量子化ステップが細密(fine)になって量子化成分の絶対値が大きくなるため、ランが短くなってレベル値の絶対値が大きくなる。
一般に、画像の認知性によって高周波成分は画像の細密な部分を示し、幾つかの高周波成分の損傷は肉眼で確認することができないほど全体画質に大きい影響を及ぼさないので、情報を多く有する低周波成分は、量子化パラメータを小さくして細密に符号化し、高周波成分に行くほど大きい値に量子化して若干の損失で圧縮効率を極大化する。
本発明では、量子化パラメータを量子化パラメータ決定部535から入力として受け取って使用するが、量子化パラメータ決定部535は焦点値を入力とし、この焦点値に応じて量子化パラメータを決定する。
量子化パラメータ決定部535が量子化パラメータを決定する方法は、焦点値によって異なるが、焦点値が大きい場合には、画像イメージが複雑なイメージなので、量子化パラメータを小さくして細密に符号化を行えるようにし、焦点値が小さい場合には、画像イメージが単純なので、量子化パラメータを大きくして概略的な符号化を行う。
一方、量子化部525で量子化されたデータは「0」に変わったデータを多く保有し、このようなデータは可変長符号化器(Variable Length Coder)530に入力されて圧縮コードに変えられる。一例として、図6eは、量子化されたDCT係数値を示すが、DC、ac01、ac10、0、0、0ac03、0、0、ac31、0、ac50、0、0、0、0、0、0、0、0、0、0、0、0、0、0、ac52・・・・・で表示され、DC、ac01、ac10、0が3つ、ac03、0が2つ、ac31、0が1つ、ac50、0が14つなどで表示される。
可変長符号化器530は、量子化成分の大きさを示す数値と符号との対応を示す符号表を用いて量子化成分に符号を割り当て、ブロック毎に量子化成分を符号化ストリームに変換する。
図7は本発明の一実施例に係るイメージ圧縮方法の流れ図である。図7を参照すると、まず、イメージセンサおよびISP部は、光を電気的アナログ信号に変えた後、アナログ信号を処理し、高周波ノイズを除去し振幅を調整し、デジタル信号に変化させて出力する(段階S110)。
次に、自動焦点デジタル信号処理器の光検出モジュールは、画像のエッジ成分を抽出した後、ウィンドウ領域内の値を積算して焦点値とする(段階S112)。
その後、圧縮モジュールの量子化パラメータ決定部は、焦点値を入力として、その焦点値に応じて量子化パラメータを決定して出力する(段階S114)。
この際、量子化パラメータ決定部が量子化パラメータを決定する方法は、前述したように焦点値によって異なるが、焦点値が大きい場合には、画像イメージが複雑なイメージなので、量子化パラメータを小さくして細密に符号化を行えるようにし、焦点値が小さい場合には、画像イメージが単純なので、量子化パラメータを大きくして概略的な符号化を行う。
次いで、圧縮モジュールは、イメージセンサおよびISP部からの画像データを圧縮して出力するが、内部の量子化部の量子化パラメータを量子化パラメータ決定部からの値を用いて量子化しながら画像の圧縮を行う(段階S116)。
以上、本発明を好適な実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、特許請求の範囲に記載された本発明の思想および領域から逸脱することなく、本発明を様々に修正および変更することができることを理解できよう。
従来の技術に係るイメージプロセッサを上部筐体に備えたカメラホーンの構造図である。 従来の改善された技術に係るイメージプロセッサを上部筐体に備えたカメラホーンの構造図である。 本発明の一実施例に係るイメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置の構成図である。 図3の自動焦点デジタル信号処理器の構成図である。 図3の光検出モジュールの内部ブロック図である。 図3の圧縮モジュールの内部ブロック図である。 レンズの移動距離による焦点値を示すグラフである。 図5のイメージフォーマット部の算出値を示す例示図である。 図5の周波数変換部に入力されるブロック化画像信号を示す図である。 図5の周波数変換部から出力されるDCT係数の分布図である。 図5の量子化器の出力値を示す図である。 本発明の好適な一実施例に係るイメージ圧縮方法の流れ図である。
符号の説明
310 カメラモジュール
311 レンズ部
312 イメージセンサおよびISP
313 自動焦点デジタル信号処理器
314 アクチュエータドライバ
315 アクチュエータ
320 圧縮モジュール
410 光検出モジュール
420 中央処理装置
411 高域通過フィルタ
412 積分器
413 ウィンドウ設定部
510 イメージフォーマット部
515 周波数変換部
520 再整列部
525 量子化部
530 量子化パラメータ決定部
535 可変長符号化器

Claims (7)

  1. 光信号を電気的信号に変換するイメージセンサと、
    前記イメージセンサからの電気的信号を入力とし、デジタル化された画像データを出力するISP部と、
    前記ISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出し、レンズ部のフォーカスレンズを駆動しながら最大焦点値を算出して出力する自動焦点デジタル信号処理器と、
    前記自動焦点デジタル信号処理器からの最大焦点値を入力とし、その焦点値に応じて定められた量子化パラメータを用いて前記ISP部からの画像データを量子化しながらイメージ圧縮を行う圧縮モジュールとを含んでなることを特徴とするイメージ圧縮装置。
  2. 前記自動焦点デジタル信号処理器は、
    前記ISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出する光検出モジュールと、
    前記光検出モジュールからの焦点値を入力とし、前記レンズ部の前記フォーカスレンズを駆動しながら最大焦点値を算出して自動焦点調節を行う中央処理装置とを含んでなることを特徴とする請求項1記載のイメージ圧縮装置。
  3. 前記光検出モジュールは、
    前記ISP部からの画像データを入力としてエッジ成分を抽出する高域通過フィルタと、
    前記高域通過フィルタから抽出されたエッジ成分を入力とし、ウィンドウ設定領域のエッジ成分値を積分して出力する積分器と、
    前記積分器に、設定されたウィンドウ領域の開始番地と終了番地を伝送するウィンドウ設定部とを含んでなることを特徴とする請求項2記載のイメージ圧縮装置。
  4. 前記圧縮モジュールは、
    前記ISP部から画像データが入力されると、フレームメモリを内蔵して、入力された画像データをフレーム別に区別し、区別された各フレームを所定サイズの複数のブロックにブロック化して出力するイメージフォーマット部と、
    前記イメージフォーマット部から入力された各ブロックに対して離散的コサイン変換を行って離散的コサイン変換係数を出力する離散的コサイン変換部と、
    前記離散的コサイン変換部から入力された離散的コサイン変換係数を低周波成分から高周波成分に再整列して出力する再整列部と、
    前記再整列部から入力されたブロック別離散的コサイン変換係数に対して、前記自動焦点デジタル信号処理器からの焦点値に応じて定められた量子化値を適用して量子化する量子化部と、
    前記量子化部によって量子化された離散的コサイン変換係数を可変長符号化して出力する可変長符号化器とを含んでなることを特徴とする請求項1記載のイメージ圧縮装置。
  5. イメージセンサおよびISP部が光信号を入力として電気的信号に変換した後、デジタル化された画像データを出力する第1段階と、
    自動焦点デジタル信号処理器が前記イメージセンサおよびISP部からの画像データを入力としてエッジ成分を抽出した後、ウィンドウ設定領域のエッジ成分値を積分して焦点値を算出する第2段階と、
    前記自動焦点デジタル信号処理器がレンズ部のフォーカスレンズを駆動しながら最大焦点値を算出して出力する第3段階と、
    圧縮モジュールが前記自動焦点デジタル信号処理器からの最大焦点値を入力とし、その焦点値に応じて定められた量子化パラメータを用いて前記イメージセンサおよびISP部からの画像データを量子化しながらイメージ圧縮を行う第4段階とを含んでなることを特徴とするイメージ圧縮方法。
  6. 前記第2段階は、
    前記自動焦点デジタル信号処理器の光検出モジュールが前記イメージセンサおよびISP部からの画像データを入力としてエッジ成分を抽出する第2−1段階と、
    前記光検出モジュールがウィンドウ設定領域内のエッジ成分値を積分して焦点値を算出する第2−2段階とを含んでなることを特徴とする請求項5記載のイメージ圧縮方法。
  7. 前記第4段階は、
    前記圧縮モジュールのイメージフォーマット部が、前記イメージセンサおよびISP部から画像データが入力されると、フレームメモリを内蔵して、入力された画像データをフレーム別に区別し、区別された各フレームを所定サイズの複数のブロックにブロック化して出力する第4−1段階と、
    前記圧縮モジュールの離散的コサイン変換部が前記イメージフォーマット部からの各ブロックに対して離散的コサイン変換を行って離散的コサイン変換係数を出力する第4−2段階と、
    前記圧縮モジュールの再整列部が前記離散的コサイン変換部からの離散的コサイン変換係数を低周波成分から高周波成分に再整列して出力する第4−3段階と、
    前記圧縮モジュールの量子化部が、前記再整列部からのブロック別離散的コサイン変換係数に対して、前記自動焦点デジタル信号処理器からの焦点値に応じて定められた量子化値を適用して量子化する第4−4段階と、
    前記圧縮モジュールの可変長符号化器が前記量子化部によって量子化された離散的コサイン変換係数を可変長符号化して出力する第4−5段階とを含んでなることを特徴とする請求項5記載のイメージ圧縮方法。
JP2005198692A 2004-12-09 2005-07-07 イメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置およびその方法 Pending JP2006166403A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040103830A KR100601475B1 (ko) 2004-12-09 2004-12-09 이미지 복잡도에 따라 가변적 양자화 크기를 갖는 이미지압축 장치 및 그 방법

Publications (1)

Publication Number Publication Date
JP2006166403A true JP2006166403A (ja) 2006-06-22

Family

ID=34858905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005198692A Pending JP2006166403A (ja) 2004-12-09 2005-07-07 イメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置およびその方法

Country Status (5)

Country Link
US (1) US20060126954A1 (ja)
JP (1) JP2006166403A (ja)
KR (1) KR100601475B1 (ja)
DE (1) DE102005040570B4 (ja)
GB (1) GB2421137B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131143B2 (en) 2009-07-15 2012-03-06 Sanyo Semiconductor Co., Ltd. Focus control circuit for adjusting the focus by moving a lens
US8190014B2 (en) 2009-06-18 2012-05-29 Sanyo Semiconductor Co., Ltd. Focus control circuit for adjusting the focus by moving a lens
US8559529B2 (en) 2008-11-04 2013-10-15 Seiko Epson Corporation Display system, image output device and image display device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570393B2 (en) 2007-11-30 2013-10-29 Cognex Corporation System and method for processing image data relative to a focus of attention within the overall image
US9189670B2 (en) 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
KR101093372B1 (ko) * 2009-07-15 2011-12-14 산요 세미컨덕터 컴퍼니 리미티드 포커스 제어 회로
US8571403B2 (en) * 2010-05-14 2013-10-29 National Taiwan University Autofocus system
WO2012075541A2 (en) * 2010-12-09 2012-06-14 Community Connections Australia A mobility aid system
US8687086B1 (en) * 2012-03-30 2014-04-01 Gopro, Inc. On-chip image sensor data compression
KR101931631B1 (ko) * 2012-05-02 2018-12-21 삼성전자주식회사 카메라 장치의 이미지 부호화장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143110B2 (ja) * 1989-07-24 2001-03-07 株式会社リコー 画像入力装置
KR930011694B1 (ko) * 1991-03-27 1993-12-18 삼성전자 주식회사 디지탈 영상 데이타의 압축방식 및 장치
JP3143159B2 (ja) * 1991-07-25 2001-03-07 オリンパス光学工業株式会社 画像記録装置
US5357281A (en) * 1991-11-07 1994-10-18 Canon Kabushiki Kaisha Image processing apparatus and terminal apparatus
JPH06169420A (ja) * 1992-05-07 1994-06-14 Gold Star Co Ltd ビデオカメラシステムの焦点調節装置及び焦点調節方法
US5432552A (en) * 1992-11-04 1995-07-11 Sanyo Electric Co., Ltd. Automatic focusing apparatus including improved digital high-pass filter
US5502485A (en) * 1993-06-23 1996-03-26 Nikon Corporation Camera which compresses digital image data in correspondence with the focus control or the stop value of the camera
JP3163880B2 (ja) * 1993-12-16 2001-05-08 松下電器産業株式会社 画像圧縮符号化装置
JP3279417B2 (ja) * 1993-12-27 2002-04-30 オリンパス光学工業株式会社 カメラ
JPH11234669A (ja) * 1998-02-17 1999-08-27 Hitachi Ltd 画像圧縮処理装置および方法、ならびにそれを利用したデジタルカメラ
US6298166B1 (en) * 1998-03-30 2001-10-02 Seiko Epson Corporation Image transformations in the compressed domain
JP2000201287A (ja) * 1999-01-05 2000-07-18 Fuji Photo Film Co Ltd 電子スチルカメラおよび撮影パラメ―タ決定方法
DE60039689D1 (de) * 2000-07-10 2008-09-11 St Microelectronics Srl Verfahren zur Kompression digitaler Bilder
JP2003199019A (ja) * 2001-12-26 2003-07-11 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
KR20040063625A (ko) * 2003-01-08 2004-07-14 삼성테크윈 주식회사 적응적 재압축이 수행되는 디지털 카메라의 제어 방법
EP1669786A4 (en) * 2003-09-10 2009-12-23 Sharp Kk IMAGING OBJECTIVE POSITION ADJUSTING DEVICE

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559529B2 (en) 2008-11-04 2013-10-15 Seiko Epson Corporation Display system, image output device and image display device
US8190014B2 (en) 2009-06-18 2012-05-29 Sanyo Semiconductor Co., Ltd. Focus control circuit for adjusting the focus by moving a lens
US8131143B2 (en) 2009-07-15 2012-03-06 Sanyo Semiconductor Co., Ltd. Focus control circuit for adjusting the focus by moving a lens

Also Published As

Publication number Publication date
KR20060065096A (ko) 2006-06-14
GB2421137A (en) 2006-06-14
DE102005040570B4 (de) 2009-01-22
GB2421137B (en) 2008-02-20
GB0513004D0 (en) 2005-08-03
US20060126954A1 (en) 2006-06-15
DE102005040570A1 (de) 2006-06-14
KR100601475B1 (ko) 2006-07-18

Similar Documents

Publication Publication Date Title
CN110267036B (zh) 一种滤波方法及设备
JP2006166403A (ja) イメージの複雑度に応じて可変的量子化パラメータを有するイメージ圧縮装置およびその方法
US11245932B2 (en) Encoding method and apparatus and decoding method and apparatus
TWI723849B (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
JP2006163350A (ja) 離散的コサイン変換係数を用いたカメラの自動焦点調節装置およびカメラの自動調節方法
JP5749401B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
KR100689384B1 (ko) 카메라 기능을 가진 이동 통신 단말기 및 그 방법
JP2008543203A (ja) 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ
US8179452B2 (en) Method and apparatus for generating compressed file, and terminal comprising the apparatus
US10032252B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
KR102114252B1 (ko) 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
JPWO2010101063A1 (ja) 画像処理装置および方法
US7606432B2 (en) Apparatus and method for providing thumbnail image data on a mobile terminal
JP2011244210A (ja) 画像処理装置および方法
JP2012124673A (ja) 画像処理装置、画像処理方法、およびプログラム
CN1901667A (zh) 视频电话模式下执行呈现的方法及实现该方法的无线终端
KR101666927B1 (ko) 압축 파일 생성 방법 및 장치, 이를 포함하는 단말기
KR20050121718A (ko) 개선된 휴대용 카메라폰
KR100663429B1 (ko) 줌 기능을 제어하는 이동 통신 단말기 및 그 방법
WO2012077575A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
KR100591812B1 (ko) 정지 영상 압축 및 변환 기능을 구비한 이동통신 단말기
KR100693661B1 (ko) 카메라가 장착된 휴대용 단말기의 화질 설정 방법
KR100786413B1 (ko) 이미지 데이터 처리 시스템
JP2015050688A (ja) 撮像装置、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080812